一、初识 MGR
相信很多人对 MGR 这个词比较陌生，其实 MGR(全称 MySQL Group Replication 【MySQL 组复制】)是 Oracle MySQL 于 2016 年 12 月发布 MySQL 5.7.17 推出的一个全新高可用和高扩展的解决方案。具备以下特性：
单主模式(图 1)
多主模式(图 2)
MGR 架构图如下所示：主要包括 APIs 层，组件层，负责协议模块和 API+Paxos 引擎层构成。
二、MGR 技术演进
2.1 主从复制
传统 MySQL 复制默认提供了一种简单的主从复制方法，这种架构有一个主，以及一个或者多个从，当主节点执行提交事务，然后异步的方式发送到其他从节点，从库重新执行 relay log 日志内容达到主副本一致的目的，在默认情况下集群所有节点数据都是一致的。
MySQL 异步复制
2.2 半同步复制
异步复制存在一定的数据丢失风险，MySQL 又在 5.6 版本中推出半同步复制，在同步数据协议中添加了一个同步操作，这样意味主节点在 commit 操作，需要确认最少一个从节点确认接收到并且返回 ACK，只有这样主节点才能正确提交数据。
MySQL 半同步复制
2.3 组复制
MySQL MGR 集群最少 3 个 server 节点共同组成的分布式集群，一种 share-nothing 复制方案，每个 server 节点都有完整的副本。
MySQL 组复制协议
三、MGR 技术特性
3.1 故障检测
组复制自带提供一种故障检测机制，这个机制能报告哪个组成员是无响应的，并且如何判断该成员是否排除集群组。在组复制中故障检测是一种分布式服务。假设服务器 A 在预定时间段内未收到来自服务器 B 的消息，如果组内其他成员也同样未收到来自服务器 B 的消息，那么确认判断 B 发生故障，这样由其他成员判定将失联组成员从集群中剔除。
此时服务器 B 与其他服务节点都无法联系。由于无法达成最小仲裁成员数，处于独立状态，无法对外提供服务。
3.2 容错
MySQL 组复制构建在 Paxos 分布式算法基础上实现的，以提供不同 server 之间的分布式协调。因此，它需要大多数 server 处于活动状态以达到仲裁成员数，从而做出决定。这对系统可以容忍的不影响其自身及其整体功能的故障数量有直接影响。容忍 f 个故障所需的 server 数量(n)n = 2 * f + 1。
实践中，这意味着为了容忍一个故障，组必须有三个 server。如果一个服务器故障， 仍然有两个服务器形成大多数(三分之二)来允许系统自动地继续运行。但是，如果第二个 server 意外地宕掉，则该组锁定(只有一个 server)，因为没有达到多数可以达成选举(不能自己选举自己)。以下是说明上述公式的小表：
3.3 成员管理
组复制以组视图(Group View，后续简称视图)为基础来进行成员管理，视图一般在 Group 在一段时间内的成员状态，如果这段时间没有成员变化，也就是说没有成员的加入和退出，一旦有成员加入或者退出组，则视图就发生变化，并且使用视图 ID(view id)进行跟踪变化区分先后时间，下面我们来看一张图演示一下：
序号部分，初始化时，第一个视图的序号从 1 开始，成员只有引导主一个，为进行初始化节点，以后出现的任何成员的加入和退出这个序号都需要增加 1，可以通过 performance_schema 系统库下的 replication_group_member_stats 表中查询当前视图。
四、MGR 安装体验
了解任何一个新技术从部署开始，安装比较简单，我们准备如下测试节点：
10.10.1.214
10.10.1.217
10.10.6.91
安装版本均为最新版本 8.0.24，将安装包解压后进行初始化：
su - mysql wget http://mirrors.ustc.edu.cn/mysql-ftp/Downloads/MySQL-8.0/mysql-8.0.24-linux-glibc2.12-x86_64.tar tar -xf mysql-8.0.24-linux-glibc2.12-x86_64.tar cd mysql-8.0.24-linux-glibc2.12-x86_64 # 创建配置文件和数据目录 mkdir conf data 初始化数据库并且启动 ./bin/mysqld --initialize --datadir=/home/mysql/mysql-8.0.24-linux-glibc2.12-x86_64/data --basedir=/home/mysql/mysql-8.0.24-linux-glibc2.12-x86_64 ./bin/mysqld_safe --defaults-file=conf/my.cnf &
复制代码
4.1 通用配置说明
配置代码
[mysqld]bind-address=0.0.0.0datadir=/home/mysql/mysql-8.0.24-linux-glibc2.12-x86_64/databasedir=/home/mysql/mysql-8.0.24-linux-glibc2.12-x86_64port=3306socket=/home/mysql/mysql-8.0.24-linux-glibc2.12-x86_64/data/mysqld.sockuser=mysql# 每个节点要求不一样server_id=1gtid_mode=ONenforce_gtid_consistency=ONmaster_info_repository=TABLErelay_log_info_repository=TABLEbinlog_checksum=NONElog_slave_updates=ONlog_bin=binlogbinlog_format=ROWinnodb_buffer_pool_size=1g# 8.0 默认值XXHASH64，针对写事务进行哈希处理transaction_write_set_extraction=XXHASH64# 启动加载组复制插件plugin_load_add='group_replication.so'# 集群唯一IDgroup_replication_group_name="8d3cebd8-b132-11eb-8529-0242ac130003"# 是否启动MySQL服务时启动组复制，建议值:offgroup_replication_start_on_boot=off# 本地IP后面端口33061可自定义，集群通信端口，建议统一端口group_replication_local_address= "10.10.1.214:33061"# 初始化集群成员列表，可动态修改group_replication_group_seeds= "10.10.1.214:33061,10.10.1.217:33061,10.10.6.91:33061"# 判断是否为引导组group_replication_bootstrap_group=off# 设置白名单，这里特别注意，如果是同网段可以不用设置，如果是不同网段则需要修改否则通信端口不可访问loose-group_replication_ip_whitelist='10.10.1.214,10.10.1.217,10.10.6.91'
复制代码
4.2 单主模式部署
4.2.1 引导节点初始化
# 创建用户和安装插件 mysql> SET SQL_LOG_BIN=0; Query OK, 0 rows affected (0.00 sec) mysql> CREATE USER rpl_user@'%' IDENTIFIED BY 'password'; Query OK, 0 rows affected (0.01 sec) mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%'; Query OK, 0 rows affected (0.00 sec) mysql> GRANT BACKUP_ADMIN ON *.* TO rpl_user@'%'; Query OK, 0 rows affected (0.00 sec) mysql> FLUSH PRIVILEGES; Query OK, 0 rows affected (0.00 sec) mysql> SET SQL_LOG_BIN=1; Query OK, 0 rows affected (0.00 sec) mysql> CHANGE REPLICATION SOURCE TO SOURCE_USER='rpl_user', SOURCE_PASSWORD='password' FOR CHANNEL 'group_replication_recovery'; Query OK, 0 rows affected, 2 warnings (0.05 sec) mysql> INSTALL PLUGIN group_replication SONAME 'group_replication.so'; mysql> SHOW PLUGINS; +---------------------------------+----------+--------------------+----------------------+---------+ | Name | Status | Type | Library | License | +---------------------------------+----------+--------------------+----------------------+---------+ | group_replication | ACTIVE | GROUP REPLICATION | group_replication.so | GPL | +---------------------------------+----------+--------------------+----------------------+---------+ # 启动引导节点 mysql> SET GLOBAL group_replication_bootstrap_group=ON; Query OK, 0 rows affected (0.00 sec) mysql> START GROUP_REPLICATION; Query OK, 0 rows affected, 1 warning (2.33 sec) mysql> SET GLOBAL group_replication_bootstrap_group=OFF; Query OK, 0 rows affected (0.00 sec) mysql> SELECT * FROM performance_schema.replication_group_members; +---------------------------+--------------------------------------+-------------------------------------------------+-------------+--------------+-------------+----------------+ | CHANNEL_NAME | MEMBER_ID | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE | MEMBER_ROLE | MEMBER_VERSION | +---------------------------+--------------------------------------+-------------------------------------------------+-------------+--------------+-------------+----------------+ | group_replication_applier | 4cf69361-b22b-11eb-a2c9-fa163ebefc6a | 10-10-1-214 | 3306 | ONLINE | PRIMARY | 8.0.24 | +---------------------------+--------------------------------------+-------------------------------------------------+-------------+--------------+-------------+----------------+
复制代码
4.2.2 加入从节点
mysql> SET SQL_LOG_BIN=0; Query OK, 0 rows affected (0.00 sec) mysql> CREATE USER rpl_user@'%' IDENTIFIED BY 'password'; Query OK, 0 rows affected (0.01 sec) mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%'; Query OK, 0 rows affected (0.03 sec) mysql> GRANT BACKUP_ADMIN ON *.* TO rpl_user@'%'; Query OK, 0 rows affected (0.00 sec) mysql> FLUSH PRIVILEGES; Query OK, 0 rows affected (0.00 sec) mysql> SET SQL_LOG_BIN=1; Query OK, 0 rows affected (0.00 sec) mysql> CHANGE REPLICATION SOURCE TO SOURCE_USER='rpl_user', SOURCE_PASSWORD='password' FOR CHANNEL 'group_replication_recovery'; Query OK, 0 rows affected, 2 warnings (0.05 sec) mysql> START GROUP_REPLICATION; Query OK, 0 rows affected, 1 warning (3.33 sec) # 检查状态 mysql> SELECT * FROM performance_schema.replication_group_members; +---------------------------+--------------------------------------+-------------------------------------------------+-------------+--------------+-------------+----------------+ | CHANNEL_NAME | MEMBER_ID | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE | MEMBER_ROLE | MEMBER_VERSION | +---------------------------+--------------------------------------+-------------------------------------------------+-------------+--------------+-------------+----------------+ | group_replication_applier | 4cf69361-b22b-11eb-a2c9-fa163ebefc6a | 10-10-1-214 | 3306 | ONLINE | PRIMARY | 8.0.24 | | group_replication_applier | 53f39dba-b22b-11eb-bfdb-fa163e42784d | 10-10-1-217 | 3306 | ONLINE | SECONDARY | 8.0.24 | +---------------------------+--------------------------------------+-------------------------------------------------+-------------+--------------+-------------+----------------+ 2 rows in set (0.00 sec) 其他一个节点执行上述即可，执行完成后检查 mysql> SELECT * FROM performance_schema.replication_group_members; +---------------------------+--------------------------------------+-------------------------------------------------+-------------+--------------+-------------+----------------+ | CHANNEL_NAME | MEMBER_ID | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE | MEMBER_ROLE | MEMBER_VERSION | +---------------------------+--------------------------------------+-------------------------------------------------+-------------+--------------+-------------+----------------+ | group_replication_applier | 4cf69361-b22b-11eb-a2c9-fa163ebefc6a | 10-10-1-214 | 3306 | ONLINE | PRIMARY | 8.0.24 | | group_replication_applier | 53f39dba-b22b-11eb-bfdb-fa163e42784d | 10-10-1-217 | 3306 | ONLINE | SECONDARY | 8.0.24 | | group_replication_applier | 56779526-b22b-11eb-a28e-fa163e1f9809 | 10-10-6-91 | 3306 | ONLINE | SECONDARY | 8.0.24 | +---------------------------+--------------------------------------+-------------------------------------------------+-------------+--------------+-------------+----------------+ 3 rows in set (0.00 sec)
复制代码
4.3 多主模式部署
多主模式和单主部署方式差不多，只在加入集群时多执行：
set global group_replication_single_primary_mode=off;
复制代码
单主的都是 ON。
4.3.1 引导节点初始化
mysql> set global group_replication_single_primary_mode=off; Query OK, 0 rows affected (0.00 sec) mysql> SET GLOBAL group_replication_bootstrap_group=ON; Query OK, 0 rows affected (0.00 sec) mysql> start group_replication; Query OK, 0 rows affected, 1 warning (2.16 sec) mysql> SET GLOBAL group_replication_bootstrap_group=OFF; Query OK, 0 rows affected (0.00 sec) mysql> select * from performance_schema.replication_group_members; +---------------------------+--------------------------------------+-------------------------------------------------+-------------+--------------+-------------+----------------+ | CHANNEL_NAME | MEMBER_ID | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE | MEMBER_ROLE | MEMBER_VERSION | +---------------------------+--------------------------------------+-------------------------------------------------+-------------+--------------+-------------+----------------+ | group_replication_applier | 4cf69361-b22b-11eb-a2c9-fa163ebefc6a | 10-10-1-214 | 3306 | ONLINE | PRIMARY | 8.0.24 | +---------------------------+--------------------------------------+-------------------------------------------------+-------------+--------------+-------------+----------------+ 1 row in set (0.00 sec)
复制代码
4.3.2 加入其他节点
mysql> set global group_replication_single_primary_mode=off; Query OK, 0 rows affected (0.00 sec) mysql> START GROUP_REPLICATION; Query OK, 0 rows affected, 1 warning (3.26 sec) mysql> select * from performance_schema.replication_group_members; +---------------------------+--------------------------------------+-------------------------------------------------+-------------+--------------+-------------+----------------+ | CHANNEL_NAME | MEMBER_ID | MEMBER_HOST | MEMBER_PORT | MEMBER_STATE | MEMBER_ROLE | MEMBER_VERSION | +---------------------------+--------------------------------------+-------------------------------------------------+-------------+--------------+-------------+----------------+ | group_replication_applier | 4cf69361-b22b-11eb-a2c9-fa163ebefc6a | 10-10-1-214 | 3306 | ONLINE | PRIMARY | 8.0.24 | | group_replication_applier | 53f39dba-b22b-11eb-bfdb-fa163e42784d | 10-10-1-217 | 3306 | ONLINE | PRIMARY | 8.0.24 | | group_replication_applier | 56779526-b22b-11eb-a28e-fa163e1f9809 | 10-10-6-91 | 3306 | ONLINE | PRIMARY | 8.0.24 | +---------------------------+--------------------------------------+-------------------------------------------------+-------------+--------------+-------------+----------------+ 3 rows in set (0.00 sec)
复制代码
4.4 测试体验
# 在任意节点执行 mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | mysql | | performance_schema | | sys | +--------------------+ 4 rows in set (0.00 sec) mysql> create database test; Query OK, 1 row affected (0.01 sec) # 任意节点查询mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | mysql | | performance_schema | | sys | | test | +--------------------+ 5 rows in set (0.00 sec)
复制代码
五、应用场景
六、总结
尽管 MySQL 在 2016 年就推出了 MGR 该功能，同时我们也知道有很多好处，并且有大胆的公司采用进行测试甚至部署线上环境，据公开资料网易、滴滴都有使用，国内部分商业银行也有使用，但仍然有不少人处于观望状态，主要有以下几点原因导致：
需求不是特别强烈
分布式新事物
生态不成熟
任何新鲜事物都有一个被大众接受过程，只是需要时间筛选和磨砺。
参考文档
https://dev.mysql.com/doc/refman/8.0/en/group-replication.html
作者：vivo 互联网数据库团队-Liu Shilin
评论