通过 PXD 部署

PXD 是 PolarDB-X 的快速部署工具，支持通过 Yaml 文件配置的方式在一组服务器上快速安装与启动 PolarDB-X 分布式数据库。在按照本文部署 PolarDB-X 数据库之前，我们假设已满足以下前提条件：

1. 已准备一组服务器，并且按照 系统与环境配置 完成了服务器参数配置与软件安装；
2. 部署机（ops）可以访问互联网，或者您已经按 软件包下载 提前准备了相关的软件包及镜像。

   如果您使用的是阿里云ECS,可以参考文档：连接公网概述 为云服务器开通访问互联网的能力。

准备工作

首先，我们需要在部署机（ops）上安装 python3 与 virtual environment 环境。

安装 Python3

如果你的机器上已经安装了 python3，则可以跳过该步骤。

Python3 检查命令：

which python3

如果有返回，则代表 python3 已安装。

yum install -y python3

安装 Docker

PXD 使用容器方式运行 PolarDB-X 数据库，因此需要安装 Docker 环境。另外，我们也推荐使用私有镜像仓库。您可以参考文档《安装 Docker 与镜像仓库》进行部署。

安装 PXD

在线安装

如果部署机（ops）可以访问互联网，建议选择在线方式安装。

推荐在 virtual environment 下安装与使用 PXD 工具。

首先用以下命令创建一个 Python3 的 virtual environment 环境并激活：

python3 -m venv venv 
source venv/bin/activate

执行以下命令更新 Pip 工具：

pip install --upgrade pip

使用阿里云 Pypi 镜像下载与安装 PXD 工具：

pip install -i https://mirrors.aliyun.com/pypi/simple/ pxd

成功后，下面的命令输出已安装的 PXD 版本：

pxd version

离线安装

如果部署环境无法访问互联网，请参考《软件包下载》，下载对应架构离线安装包，并将离线安装包拷贝到部署环境中的部署机（ops）上。

PXD 离线安装包的目录结构如下所示：

polardbx-install
|-- images                                      # Docker 镜像目录
|   |-- image.list                              # 下载的 Docker 镜像列表
|   |-- image.manifest                          # 离线环境镜像清单，导入脚本参数
|   |-- load_image.sh                           # 离线环境导入镜像的脚本
|   |-- polardbx-cdc-latest-arm64.tar.gz
|   |-- polardbx-engine-latest-arm64.tar.gz
|   |-- polardbx-init-latest-arm64.tar.gz
|   |-- polardbx-sql-latest-arm64.tar.gz
|   `-- xstore-tools-latest-arm64.tar.gz
|-- pxd-0.4.3-py3-none-any.whl                  # PXD 安装包
`-- pxd-denpendency-arm64.tar.gz                # PXD 的依赖包
`-- install.sh                                  # 安装脚本

在部署环境的部署机(ops) 上执行如下命令，进入离线安装包目录，一键安装 PXD 并导入 Docker 镜像：

cd polardbx-install
sh install.sh

上述 install.sh 脚本主要进行如下几项工作：

• 导入 images 目录下的 Docker 镜像，推送到指定的私有仓库中。本文档以 registry:5000 为例进行说明。
• 在 polardbx-install 目录下创建一个 python3 的venv目录，并安装 PXD

等安装脚本执行完成后，执行如下命令，验证 PXD 安装完成：

source polardbx-install/venv/bin/activate
pxd version

目录映射

由于 PXD 使用 $HOME/.pxd/data 路径映射容器数据目录，需要提前软链接路径到数据盘。

ansible -i ${ini_file} all -m shell -a " mkdir -p /polarx/data "
ansible -i ${ini_file} all -m shell -a " mkdir -p \$HOME/.pxd "
ansible -i ${ini_file} all -m shell -a " ln -s /polarx/data \$HOME/.pxd/data "

检查路径是否正确映射：

ansible -i ${ini_file} all -m shell -a " df -lh \$HOME/.pxd/data "

部署 PolarDB-X

规划集群拓扑

PolarDB-X 数据库集群由计算节点（CN），存储节点（DN），元数据服务（GMS）以及日志节点（CDC）组成。生产场景的最小部署规模为 3 台服务器，典型数据库集群包含 2 个以上的计算节点，2 组以上的存储节点，1 组元数据节点，以及作为可选功能的 1 组日志节点。 其中，存储节点（DN）、元数据服务（GMS）通过 X-Paxos 协议实现高可用，因此同一组存储节点或元数据服务由 3 个独立的副本容器实例组成，需要分开部署在不同服务器上。 根据服务器型号/数量的不同，规划 PolarDB-X 集群拓扑的主要原则是：

• 由于对计算与 I/O 能力的不同要求，我们建议计算节点（CN）与存储节点（DN）分别在两组不同的服务器上部署。
• 选择 I/O 能力较优、磁盘空间较大的服务器部署存储节点（DN）； I/O 能力较弱，而 CPU 能力较优的服务器部署计算节点（CN）。
• 如果单台服务器的 CPU 数量小于 16，建议部署一个计算节点（CN），否则建议部署多个计算节点。
• 所有计算节点（CN）应该分配相同的服务器资源，防止集群出现“短板效应”：资源最少的节点成为性能瓶颈。所有存储节点（DN）除 log 副本外也应该遵循相同的原则。
• 同一组存储节点的三个副本应该在三台服务器上分离部署，不同存储节点的三副本可以在同一台服务器上混合部署，保证集群高可用的同时，最大化利用服务器性能。
• 元数据服务（GMS）存储集群的元数据，它的三个副本应该在三台服务器分别部署，保证高可用。

下面是一份按照上述原则规划的集群拓扑：

备注：DN 的 log 节点默认内存限制为 4G，因为 log 只记录日志，需要使用的内存与 CPU 很少。

准备拓扑配置

首先执行如下命令获取 PolarDB-X 各个组件的最新镜像版本（需要填入YAML文件）：

curl -s "https://polardbx-opensource.oss-cn-hangzhou.aliyuncs.com/scripts/get-version.sh" | sh

输出内容如下所示(以 PolarDB-X V2.4.0 版本为例)：

CN polardbx/polardbx-sql:v2.4.0_5.4.19
DN polardbx/polardbx-engine:v2.4.0_8.4.19
CDC polardbx/polardbx-cdc:v2.4.0_5.4.19

之后按照上述拓扑规划，编写如下的 Yaml 配置文件，并更新各个组件的image tag。

vi polarx_pxd.yaml

配置文件内容：

version: v1
type: polardbx
cluster:
  name: pxc-product
  gms:
    image: registry:5000/polardbx-engine:v2.4.0_8.4.19
    engine: galaxy
    engine_version: "8.0"
    host_group: [192.168.1.102, 192.168.1.103, 192.168.1.104]
    resources:
      mem_limit: 16G
      cpu_limit: 8
  cn:
    image: registry:5000/polardbx-sql:v2.4.0_5.4.19
    replica: 3
    nodes:
      - host: 192.168.1.102
      - host: 192.168.1.103
      - host: 192.168.1.104
    resources:
      mem_limit: 64G
      cpu_limit: 16
  dn:
    image: registry:5000/polardbx-engine:v2.4.0_8.4.19
    engine: galaxy
    engine_version: "8.0"
    replica: 3
    nodes:
      - host_group: [192.168.1.105, 192.168.1.106, 192.168.1.107]
      - host_group: [192.168.1.106, 192.168.1.107, 192.168.1.105]
      - host_group: [192.168.1.107, 192.168.1.105, 192.168.1.106]
    resources:
      mem_limit: 50G
      cpu_limit: 16

部署数据库

执行以下命令，使用 PXD 快速部署 PolarDB-X 集群：

pxd create -file polarx_pxd.yaml -repo="registry:5000/"

创建成功后，PXD 在日志中输出 PolarDB-X 数据的访问方式：

PolarDB-X cluster create successfully, you can try it out now.
Connect PolarDB-X using the following command:

    mysql -h192.168.1.102 -P54674 -upolardbx_root -p******
    mysql -h192.168.1.103 -P50236 -upolardbx_root -p******
    mysql -h192.168.1.104 -P52400 -upolardbx_root -p******

创建后，推荐用 PXD check 自动调整存储节点（DN）的当前 leader 分布：

pxd check pxc-product -t dn -r true

访问数据库

如果部署机（ops）上已安装 MySQL 客户端，可以用以下命令连接 PolarDB-X 数据库并开始使用：

mysql -h192.168.1.102 -P54674 -Ac -upolardbx_root -p******

通过 MySQL 客户端连接成功后，可以执行以下 SQL 显示存储节点信息：

MySQL [(none)]> show storage;

输出示例：

+--------------------+---------------------+------------+-----------+----------+-------------+--------+-----------+-------+--------+
| STORAGE_INST_ID    | LEADER_NODE         | IS_HEALTHY | INST_KIND | DB_COUNT | GROUP_COUNT | STATUS | DELETABLE | DELAY | ACTIVE |
+--------------------+---------------------+------------+-----------+----------+-------------+--------+-----------+-------+--------+
| pxc-product-dn-0   | 192.168.1.105:15420 | true       | MASTER    | 5        | 21          | 0      | false     | null  | null   |
| pxc-product-dn-1   | 192.168.1.106:17907 | true       | MASTER    | 5        | 19          | 0      | true      | null  | null   |
| pxc-product-dn-2   | 192.168.1.107:16308 | true       | MASTER    | 5        | 19          | 0      | true      | null  | null   |
| pxc-product-gms    | 192.168.1.105:17296 | true       | META_DB   | 2        | 2           | 0      | false     | null  | null   |
+--------------------+---------------------+------------+-----------+----------+-------------+--------+-----------+-------+--------+
4 rows in set (0.01 sec)