基于 TiDB v6.0 部署两地三中心

2022 年 7 月 11 日
本文字数：9104 字
阅读完需：约 30 分钟

作者：边城元元原文来源：https://tidb.net/blog/91a8cbdf

一、背景

   项目需要做两地三中心的架构，目前只考虑数据存储层的两地三中心，对 TiDB 了解的比较多一点，就尝试着使用 TiDB 做两地三中心的方案；主要用到的 Placement Rules in SQL 特性。
   Placement Rules in SQL 用于通过 SQL 接口配置数据在 TiKV 集群中的放置位置。通过该功能，用户可以将表和分区指定部署至不同的地域、机房、机柜、主机。适用场景包括低成本优化数据高可用策略、保证本地的数据副本可用于本地 Stale Read 读取、遵守数据本地要求等。
   因为要考虑到全球化的因素，正好 TiDB 也可以开启 Follower Read，很期待这次的尝试！

复制代码

二、准备知识

2.1 两地三中心

通常的两地三中心是 2 个城市 3 个中心是指生产中心、同城容灾中心、异地容灾中心

2.2 全球化思路

在全球目标地数据中心增加对应的 Region 副本，采用 Follower Read 从就近的副本读数据。

2.3 架构详解

2.3.1 架构图

这里是 5 个 TiKV 副本的集群节点说明参考下表：

全部 TiKV 节点放置规划表

2.3.2 Labels 设计

area:northern,southern,europe,americadc:bj1,bj2,sjz,hk1,hk2,shzhrack:ssd,hhdhost:host编号replication.location-labels: ["area","dc","rack","host"]

复制代码

2.3.3 参数配置优化

启用 TiKV gRPC 消息压缩。server.grpc-compression-type: gzip

调整 PD balance 缓冲区大小，提高 PD 容忍度 schedule.tolerant-size-ratio: 20.0

调整 PD balance 缓冲区大小，提高 PD 容忍度，因为 PD 会根据节点情况计算出各个对象的 score 作为调度的依据，当两个 store 的 Leader 或 Region 的得分差距小于指定倍数的 Region size 时，PD 会认为此时 balance 达到均衡状态。参考：https://docs.pingcap.com/zh/tidb/v6.0/three-data-centers-in-two-cities-deployment#两地三中心部署

2.4 安装集群

2.4.1 集群拓扑

cluster115.yaml

# # Global variables are applied to all deployments and used as the default value of# # the deployments if a specific deployment value is missing.global:  user: "tidb"  ssh_port: 22  deploy_dir: "/tidb-deploy"  data_dir: "/tidb-data"# # Monitored variables are applied to all the machines.monitored:  node_exporter_port: 9100  blackbox_exporter_port: 9115 server_configs:  tidb:    log.slow-threshold: 300    binlog.enable: false    binlog.ignore-error: false  tikv:    # server.grpc-concurrency: 4    # raftstore.apply-pool-size: 2    # raftstore.store-pool-size: 2    # rocksdb.max-sub-compactions: 1    # storage.block-cache.capacity: "16GB"    # readpool.unified.max-thread-count: 12    server.grpc-compression-type: gzip    readpool.storage.use-unified-pool: false    readpool.coprocessor.use-unified-pool: true  pd:    schedule.leader-schedule-limit: 4    schedule.region-schedule-limit: 2048    schedule.replica-schedule-limit:     schedule.tolerant-size-ratio: 20.0    replication.location-labels: ["area","dc","rack","host"]pd_servers:  - host: 10.0.2.15    # ssh_port: 22    # name: "pd-1"    client_port: 2379    # peer_port: 2380tidb_servers:  - host: 10.0.2.15tikv_servers:  - host: 10.0.2.15    port: 20160    status_port: 20180    config:      server.labels:         area: northern        dc: bj1        rack: r1        host: host100  - host: 10.0.2.15    port: 20161    status_port: 20181    config:      server.labels:         area: northern        dc: bj1        rack: r2        host: host101  - host: 10.0.2.15    port: 20162    status_port: 20182    config:      server.labels:         area: northern        dc: bj2        rack: r1        host: host102  - host: 10.0.2.15    port: 20163    status_port: 20183    config:      server.labels:         area: northern        dc: bj2        rack: r2        host: host103  - host: 10.0.2.15    port: 20164    status_port: 20184    config:      server.labels:         area: northern        dc: sjz        rack: r1        host: host104      monitoring_servers:  - host: 10.0.2.15grafana_servers:  - host: 10.0.2.15alertmanager_servers:  - host: 10.0.2.15

复制代码

2.4.2 离线安装 TiDB v6.0

参考 https://tidb.net/blog/87a38392#离线安装 TiDBV6.0 https://tidb.net/blog/af8080f7#Cluster111

#离线安装： https://pingcap.com/zh/product-community/#TiDB 6.0.0-DMR#1）下载安装包 tidb-community-server-v6.0.0-linux-amd64.tar.gz 2）下载tookit tidb-community-toolkit-v6.0.0-linux-amd64.tar.gzmkdir -p /usr/local0/webserver/tidb/cd /usr/local0/webserver/tidb/tar -zxvf tidb-community-toolkit-v6.0.0-linux-amd64.tar.gztar -zxvf tidb-community-server-v6.0.0-linux-amd64.tar.gzcd ./tidb-community-server-v6.0.0-linux-amd64/sh local_install.shsource /root/.bash_profiletiup update clustertiup cluster list# 检测环境配置并尝试修正tiup cluster check ./cluster115.yml --user root -p --apply# 安装cluster115tiup cluster deploy cluster115 v6.0.0 ./cluster115.yml --user root -p# 启动集群tiup cluster start cluster115tiup cluster display cluster115

复制代码

2.4.3 连接 TiDB

use test;SHOW PLACEMENT LABELS;

复制代码

三、设置规则

3.1 单库两地三中心

3.1.1 架构图

场景说明：

某比赛历史数据排名相关（通常是本赛季之前的要较大时间跨度的数据需求场景）
数据要求全球化全量数据

3.1.2 设置策略

策略描述：

Leader 节点在北京的 2 个 IDC 中的一个；
一共 5 个副本其中有 4 个副本（包括 Leader ）在北京的 2 个 IDC 中；
异地数据中心石家庄 IDC 有一个副本

3.1.3 建立库表

CREATE DATABASE `crm` /*!40100 DEFAULT CHARACTER SET utf8mb4 */ ; -- 注意：更改默认的放置规则，但更改不影响已有的表。ALTER DATABASE crm PLACEMENT POLICY=northernpolicy; use crm;CREATE TABLE `m_cust_org` (  `cust_id` char(30) not null,              `org_id` varchar(10) default null,          `org_name` varchar(100) default null,       `org_ii_id` varchar(10) default null,       `org_ii_name` varchar(100) default null,    `org_i_id` varchar(10) default null ,     `org_i_name` varchar(100) default null,     `org_level` varchar(2) default null ,  `pici` bigint(20) not null default '0',  PRIMARY KEY (`cust_id`) /*T![clustered_index] CLUSTERED */) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin COMMENT='条件筛选表';CREATE TABLE `m_cust_main` (  `cust_id` char(30) not null ,               `cust_name` varchar(200) default null,      `cert_type` varchar(13) default null,       `cert_num` varchar(40) default null ,       `cust_type` varchar(2) default null ,       `sex` varchar(13) default null,             `age` int(11) default null ,                `birth_dt` varchar(13) default null ,     `marriage` varchar(13) default null ,     `city_code` varchar(100) default null ,   `nation_code` varchar(100) default null ,  `edu` varchar(13) default null ,          `ocup` varchar(100) default null ,        `post` varchar(20) default null ,         `copy_name` varchar(200) default null ,   `contact_addr` varchar(200) default null ,  `card_level` varchar(2) default null ,    `service_level` varchar(2) default null ,  `estimate_level` varchar(2) default null ,  `mark_id` varchar(50) default null ,      `mark_name` varchar(255) default null ,   primary key (`cust_id`) /*t![clustered_index] clustered */,  key `idx_m_cust_main_desc1` (`cert_type`,`cert_num`),  key `idx_m_cust_main_desc_3` (`cust_name`)) engine=innodb default charset=utf8mb4 collate=utf8mb4_bin comment='客户主表';CREATE TABLE `m_cust_data` (  `cust_id` char(30) not null     ,            `asset` decimal(18,2) default null ,      `asset_mon_avg` decimal(18,2) default null ,  `asset_sea_avg` decimal(18,2) default null ,  `asset_yea_avg` decimal(18,2) default null ,  `asset_roll_avg` decimal(18,2) default null ,  `debt` decimal(18,2) default null ,       `dep_bal` decimal(18,2) default null ,    `dep_mon_avg` decimal(18,2) default null ,  `dep_sea_avg` decimal(18,2) default null ,  `dep_yea_avg` decimal(18,2) default null ,  `nd_bal` decimal(18,2) default null ,     `mf_bal` decimal(18,2) default null ,     `fund_bal` decimal(18,2) default null ,   `ccard_out_amt` decimal(18,2) default null ,  `ccard_bal` decimal(18,2) default null ,  `ins_bal` decimal(18,2) default null ,    `loan_bal` decimal(18,2) default null ,   `loan_amt` decimal(18,2) default null ,   `etl_date` char(8) default null ,         `qszg_bal` decimal(24,2) default null ,   `dx_fnc_bal` decimal(24,2) default null ,  `cur_dep_bal` decimal(18,2) default null ,  `rep_bal` decimal(18,2) default null ,    `rep_avg` decimal(18,2) default null ,    `is_rep_beyond` char(2) default null ,                                                                  Primary Key (`cust_id`) /*t![clustered_index] clustered */,  Key `idx_m_cust_query_desc_4` (`asset_sea_avg`,`cust_id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin COMMENT='客户频繁更新数据表';CREATE TABLE `m_cust_label` (`cust_id` char(30) NOT NULL,                   `cat1` int not null default  0 ,              `cat2` int not null default  0 ,                `cat3` int not null default  0 ,                `cat4` int not null default  0 ,                `cat5` int not null default  0 ,                `cat6` int not null default  0 ,                `cat7` int not null default  0 ,                `cat8` int not null default  0 ,                `cat9` int not null default  0 ,                `cat10` int not null default  0 ,               `cat11` int not null default  0 ,               `cat12` int not null default  0 ,               `cat13` int not null default  0 ,               `cat14` int not null default  0 ,               `cat15` int not null default  0 ,               `cat16` int not null default  0 ,               `cat17` int not null default  0 ,               `cat18` int not null default  0 ,               `cat19` int not null default  0 ,               `cat20` int not null default  0 ,               `cat21` int not null default  0 ,               `cat22` int not null default  0 ,               `cat23` int not null default  0 ,               `cat24` int not null default  0 ,               `cat25` int not null default  0 ,               `cat26` int not null default  0 ,               `cat27` int not null default  0 ,               `cat28` int not null default  0 ,               `cat29` int not null default  0 ,               `cat30` int not null default  0 ,                       PRIMARY KEY (`CUST_ID`) /*T![clustered_index] CLUSTERED */) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin COMMENT='客户检索标签'; -- m_seeddrop table if exists `m_seed`;CREATE TABLE `m_seed` (  `id` int(11) NOT NULL AUTO_INCREMENT,  PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;truncate table m_seed;SELECT * from m_seed;insert into m_seed values();-- 不连续的id 每次 【执行完后，auto_inccreaid 造成不连续】insert into m_seed select null from m_seed;insert into m_seed select null from m_seed;insert into m_seed select null from m_seed;insert into m_seed select null from m_seed;insert into m_seed select null from m_seed;insert into m_seed select null from m_seed;-- insert into m_seed values();

复制代码

3.1.4 验证副本分布

-- 若要查看当前 TiKV 集群中所有可用的标签，可执行 SHOW PLACEMENT LABELS;show placement；show table crm.m_seed regions；select * from information_schema.placement_policies;-- 1）找一个 region 进行查看  找到 regionid=9037 的记录show table crm.m_seed regions;-- 2）查看 region 副本的分布情况-- 5个副本 放置规则约定 sjz 石家庄中心只能有一个非 Leader 的副本select a.region_id,a.peer_id,a.store_id,a.is_leader,b.address,b.label  from INFORMATION_SCHEMA.TIKV_REGION_PEERS aleft join INFORMATION_SCHEMA.TIKV_STORE_STATUS b on a.store_id =b.store_idwhere a.region_id =9037;

复制代码

从图中看出 5 个副本，北京的 2 个数据中心有 4 个副本（包括 Leader ），石家庄数据中心有一个 Follower 副本，符合预期！

3.1.5 下线 Leader 查看 Leader 漂移情况

下线 10.0.2.15:20163 华北区 bj2（数据中心的）一个节点。

tiup cluster stop cluster115 -N 10.0.2.15:20163

复制代码

-- 查看 漂移select a.region_id,a.peer_id,a.store_id,a.is_leader,b.address,b.label  from INFORMATION_SCHEMA.TIKV_REGION_PEERS aleft join INFORMATION_SCHEMA.TIKV_STORE_STATUS b on a.store_id =b.store_idwhere a.region_id =9037;

复制代码

注意：这里有个问题，就是中间下线北京数据中心的一个节点的时候，这个时候执行了上面的 sql 语句，查到了把 sjz 的副作为 Leader 的时刻点 ( 规则中`-dc=sjz` 即 Leader 节点能不放在 sjz 数据中心 ) ，节点下线完毕后，过一会又重新选举 bj 的数据中心的副本为 Leader。这里的逻辑是不是需要优化一下。

3.1.6 增加副本放置在指定 IDC

3.1.6.1 扩容国外 TiKV 节点拓扑如下

global:  user: "tidb"  ssh_port: 22  deploy_dir: "/tidb-deploy"  data_dir: "/tidb-data"tikv_servers:  - host: 10.0.2.15    port: 20165    status_port: 20185    config:      server.labels:         area: europe        dc: germany        rack: r1        host: host105        - host: 10.0.2.15    port: 20166    status_port: 20186    config:      server.labels:         area: america        dc: usa        rack: r1        host: host106

复制代码

3.1.5.2 扩容 TiKV

cd  /usr/local0/webserver/tidb/tidb-community-server-v6.0.0-linux-amd64/tiup cluster scale-out cluster115 /data0/webserver/tidbv6.0/cluster115-scale-out.yaml  --user root -ptiup cluster display cluster115

复制代码

虚拟机把其他的几个 store 停掉，才起来扩容的节点

3.1.7 修改副本放置策略

如果修改数据库使用的新的规则，则仅对新增表使用新的规则
如果修改数据库原绑定的策略，则会适用已有的表

3.1.8 增加副本放置在指定 IDC 后的验证副本数

-- 若要查看当前 TiKV 集群中所有可用的标签，可执行 SHOW PLACEMENT LABELS;show placement；show table crm.m_seed regions；select * from information_schema.placement_policies;-- 1）找一个 region 进行查看  找到 regionid=903 的show table crm.m_seed regions;-- 2）查看 region 副本的分布情况-- 5 个副本 放置规则约定 sj 石家庄中心只能有一个非 Leader 的副本select a.region_id,a.peer_id,a.store_id,a.is_leader,b.address,b.label  from INFORMATION_SCHEMA.TIKV_REGION_PEERS aleft join INFORMATION_SCHEMA.TIKV_STORE_STATUS b on a.store_id =b.store_idwhere a.region_id =9037;

复制代码

3.1.9 开启 Follower read

show VARIABLES like '%tidb_replica_read%';set tidb_replica_read = 'leader-and-follower';set global tidb_replica_read = 'leader-and-follower';show VARIABLES like '%tidb_replica_read%';

复制代码

注意：开启 tidb_replica_read = ‘leader-and-follower’; 原则上将可以实现就近读！

要想实现真正的就近读，需要使用就近的 TiDB 结合 Follower read。

3.2 多库两地三中心

crm(华北），mall（华南）

3.2.1 架构图

3.2.2 扩容 TiKV 节点

3.2.2.1 拓扑

global:  user: "tidb"  ssh_port: 22  deploy_dir: "/tidb-deploy"  data_dir: "/tidb-data"tikv_servers:  - host: 10.0.2.15    port: 20167    status_port: 20187    config:      server.labels:         area: southern        dc: hk1        rack: r1        host: host107        - host: 10.0.2.15    port: 20168    status_port: 20188    config:      server.labels:         area: southern        dc: hk1        rack: r2        host: host108  - host: 10.0.2.15    port: 20169    status_port: 20189    config:      server.labels:        area: southern        dc: hk2        rack: r1        host: host109  - host: 10.0.2.15    port: 20170    status_port: 20190    config:      server.labels:        area: southern        dc: hk2        rack: r2        host: host110  - host: 10.0.2.15    port: 20171    status_port: 20191    config:      server.labels:        area: southern        dc: shzh        rack: r1        host: host111

复制代码

3.2.2.2 扩容

cd  /usr/local0/webserver/tidb/tidb-community-server-v6.0.0-linux-amd64/tiup cluster scale-out cluster115 /data0/webserver/tidbv6.0/cluster115-scale-out-mall.yaml  --user root -ptiup cluster display cluster115

复制代码

3.2.3 设置策略

策略描述：

Leader 节点在香港的 2 个 IDC 中的一个；
一共 5 个副本其中有 4 个副本（包括 Leader ）在香港的 2 个 IDC 中；
异地数据中心深圳 IDC 有一个副本

3.2.3 建立库表

CREATE DATABASE `mall` /*!40100 DEFAULT CHARACTER SET utf8mb4 */ ; -- 注意：更改默认的放置规则，但更改不影响已有的表。ALTER DATABASE mall PLACEMENT POLICY=southernpolicy; use mall;CREATE TABLE `user` (  `id` int(11) NOT NULL AUTO_INCREMENT,  `username` varchar(100) COLLATE utf8mb4_bin NOT NULL COMMENT '用户帐号',  `name` varchar(100) COLLATE utf8mb4_bin NOT NULL COMMENT '用户姓名',  `password` varchar(255) COLLATE utf8mb4_bin DEFAULT NULL COMMENT '密码',  `status` tinyint(1) NOT NULL COMMENT '1:启用 0: 停用',  `is_deleted` tinyint(1) NOT NULL DEFAULT '0' COMMENT '1:删除 0: 未删除',  `create_time` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',  `edit_time` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '修改时间',  `creator` varchar(32) COLLATE utf8mb4_bin DEFAULT 'sys',  `editor` varchar(32) COLLATE utf8mb4_bin DEFAULT 'sys',  PRIMARY KEY (`id`) /*T![clustered_index] CLUSTERED */,  UNIQUE KEY `index_uk` (`username`) USING BTREE) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

复制代码

3.2.4 验证策略应用情况

SHOW PLACEMENT LABELS;show placement；show table crm.m_seed;select * from information_schema.placement_policies;-- 华北 region 分布-- 1）找一个 region 进行查看  找到regionid=9037的show table crm.m_seed regions;-- 2）查看 region副本的分布情况select a.region_id,a.peer_id,a.store_id,a.is_leader,b.address,b.label  from INFORMATION_SCHEMA.TIKV_REGION_PEERS aleft join INFORMATION_SCHEMA.TIKV_STORE_STATUS b on a.store_id =b.store_idwhere a.region_id =9037;-- mall 库的 region 分布 -- 注意替换这里的regionid-- 3 查找一个mall.user的regionshow table mall.user regions;-- 4 查看 region 的分布select a.region_id,a.peer_id,a.store_id,a.is_leader,b.address,b.label  from INFORMATION_SCHEMA.TIKV_REGION_PEERS aleft join INFORMATION_SCHEMA.TIKV_STORE_STATUS b on a.store_id =b.store_idwhere a.region_id =9037;

复制代码

3.3 目前已知 Placement Rules in SQL 特性存在以下限制

临时表不支持放置规则。
设置 PRIMARY_REGION 和 REGIONS 时允许存在语法糖。但在未来版本中，我们计划为 PRIMARY_RACK、PRIMARY_ZONE 和 PRIMARY_HOST 添加变体支持，见 issue #18030。
不能通过放置规则语法配置 TiFlash 副本。
放置规则仅保证静态数据被放置在正确的 TiKV 节点上。该规则不保证传输中的数据（通过用户查询或内部操作）只出现在特定区域内。

四、总结

这次实践了 TiDB 两地三中心的部署及其全球化策略，为后面真实场景的使用 TiDB 做了预演，若如真实环境使用前需要做更多的准备如真实环境，数据模拟，压测等。

还需要考虑 PD 部署会不会成为瓶颈，TiDB-server 的部署方案等更多因素！

v6.0 以前的版本部署两地三中心需要使用 pd-ctl 比较麻烦，并且对指定位置放置指定数量的副本也无法做到。由此可见，Placement Rules in SQL 是很好的礼物！

谢谢 TiDB 产研的小伙伴们！

谢谢 TiDB 社区！

发布于: 刚刚阅读数: 2

原文链接:【http://xie.infoq.cn/article/b2af4beb14f5311a7dae8c07e】。文章转载请联系作者。

TiDB 社区干货传送门

关注

TiDB 社区官网:https://tidb.net/ 2021.12.15 加入

TiDB 社区干货传送门是由 TiDB 社区中布道师组委会自发组织的 TiDB 社区优质内容对外宣布的栏目，旨在加深 TiDBer 之间的交流和学习。一起构建有爱、互助、共创共建的 TiDB 社区 https://tidb.net/

发布

暂无评论

创作场景

基于 TiDB v6.0 部署两地三中心

一、背景

二、准备知识

2.1 两地三中心

2.2 全球化思路

2.3 架构详解

2.3.1 架构图

2.3.2 Labels 设计

2.3.3 参数配置优化

2.4 安装集群

2.4.1 集群拓扑

2.4.2 离线安装 TiDB v6.0

2.4.3 连接 TiDB

三、设置规则

3.1 单库两地三中心

3.1.1 架构图

3.1.2 设置策略

3.1.3 建立库表

3.1.4 验证副本分布

3.1.5 下线 Leader 查看 Leader 漂移情况

3.1.6 增加副本放置在指定 IDC

3.1.6.1 扩容国外 TiKV 节点 拓扑如下

3.1.5.2 扩容 TiKV

3.1.7 修改副本放置策略

3.1.8 增加副本放置在指定 IDC 后的验证副本数

3.1.9 开启 Follower read

3.2 多库两地三中心

3.2.1 架构图

3.2.2 扩容 TiKV 节点

3.2.2.1 拓扑

3.2.2.2 扩容

3.2.3 设置策略

3.2.3 建立库表

3.2.4 验证策略应用情况

3.3 目前已知 Placement Rules in SQL 特性存在以下限制

四、总结

TiDB 社区干货传送门

评论

3.1.6.1 扩容国外 TiKV 节点拓扑如下