作者： 我是咖啡哥原文来源：https://tidb.net/blog/8e8cca1d
前言
HAProxy 提供 TCP 协议下的负载均衡能力，TiDB 客户端通过连接 HAProxy 提供的浮动 IP 即可对数据进行操作，实现 TiDB Server 层的负载均衡。同时，HAproxy 部署 2 个节点，使用 KeepAlived 来实现高可用。
环境说明
TiDB 版本：V7.1.0
haproxy 版本：2.6.2
OS 环境：Centos 7.9
简易架构：
0
此文档根据生产实际环境搭建验证后，总结输出，IP 经过脱敏。
一、安装 HAproxy
主备节点都安装，配置文件全部一致，没有主备之分。
参考：https://docs.pingcap.com/zh/tidb/stable/haproxy-best-practices#haproxy-%E5%9C%A8-tidb-%E4%B8%AD%E7%9A%84%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5
1、下载 haproxy
wget https://www.haproxy.org/download/2.6/src/haproxy-2.6.2.tar.gz
2、编译安装 HAproxy
先安装依赖包
yum -y install epel-release gcc systemd-devel
编译安装 HAproxy
tar zxf haproxy-2.6.2.tar.gz cd haproxy-2.6.2 make clean make -j 8 TARGET=linux-glibc USE_THREAD=1 make PREFIX=/opt/haproxy SBINDIR=/opt/haproxy/bin install
复制代码
3、配置环境变量
所有用户
echo 'export PATH=/opt/haproxy/bin:$PATH' >> /etc/profile . /etc/profile which haproxy
复制代码
4、haproxy.cfg 配置文件
vim /opt/haproxy/haproxy.cfg
global # 全局配置。 log 127.0.0.1 local2 # 定义全局的 syslog 服务器，最多可以定义两个。 chroot /opt/haproxy/var/lib/haproxy # 更改当前目录并为启动进程设置超级用户权限，从而提高安全性。 pidfile /opt/haproxy/var/run/haproxy.pid # 将 HAProxy 进程的 PID 写入 pidfile。 maxconn 4096 # 单个 HAProxy 进程可接受的最大并发连接数，等价于命令行参数 "-n"。 nbthread 48 # 最大线程数。线程数的上限与 CPU 数量相同。 user tidb # 同 UID 参数。 group tidb # 同 GID 参数，建议使用专用用户组。 daemon # 让 HAProxy 以守护进程的方式工作于后台，等同于命令行参数“-D”的功能。当然，也可以在命令行中用“-db”参数将其禁用。 stats socket /opt/haproxy/var/lib/haproxy/stats # 统计信息保存位置。
defaults # 默认配置。 log global # 日志继承全局配置段的设置。 retries 2 # 向上游服务器尝试连接的最大次数，超过此值便认为后端服务器不可用。 timeout connect 2s # HAProxy 与后端服务器连接超时时间。如果在同一个局域网内，可设置成较短的时间。 timeout client 30000s # 客户端与 HAProxy 连接后，数据传输完毕，即非活动连接的超时时间。 timeout server 30000s # 服务器端非活动连接的超时时间。
listen admin_stats # frontend 和 backend 的组合体，此监控组的名称可按需进行自定义。 bind 0.0.0.0:8080 # 监听端口。 mode http # 监控运行的模式，此处为 `http` 模式。 option httplog # 开始启用记录 HTTP 请求的日志功能。 maxconn 10 # 最大并发连接数。 stats refresh 30s # 每隔 30 秒自动刷新监控页面。 stats uri /haproxy # 监控页面的 URL。 stats realm HAProxy # 监控页面的提示信息。 stats auth admin:Pingcap # 监控页面的用户和密码，可设置多个用户名。 stats hide-version # 隐藏监控页面上的 HAProxy 版本信息。 stats admin if TRUE # 手工启用或禁用后端服务器（HAProxy 1.4.9 及之后版本开始支持）。
listen tidb-cluster # 配置 database 负载均衡。 bind 192.168.1.238:4000 # 浮动 IP 和 监听端口。 mode tcp # HAProxy 要使用第 4 层的传输层。 balance leastconn # 连接数最少的服务器优先接收连接。`leastconn` 建议用于长会话服务，例如 LDAP、SQL、TSE 等，而不是短会话协议，如 HTTP。该算法是动态的，对于启动慢的服务器，服务器权重会在运行中作调整。 server tidb-192.168.1.217:4000 192.168.1.217:4000 check inter 2000 rise 2 fall 3 # 检测 4000 端口，检测频率为每 2000 毫秒一次。如果 2 次检测为成功，则认为服务器可用；如果 3 次检测为失败，则认为服务器不可用。 server tidb-192.168.1.237:4000 192.168.1.237:4000 check inter 2000 rise 2 fall 3
复制代码
5、创建配置文件里面使用到的目录
mkdir -p /opt/haproxy/var/lib/haproxy/ mkdir -p /opt/haproxy/var/run
复制代码
6、修改系统参数
一定要记得 sysctl -p 生效
echo "net.ipv4.ip_nonlocal_bind = 1" >>/etc/sysctl.conf echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf sysctl -p
复制代码
7、启动 HAproxy
haproxy -f /opt/haproxy/haproxy.cfg
复制代码
8、访问 HAProxy 监控页面
密码见配置文件 auth 部分配置。
http://192.168.1.214:8080/haproxy
http://192.168.1.215:8080/haproxy
二、keepalived 安装、配置
前面已经安装了 HAproxy，并且启动。但是 VIP 并不会自动给你挂上。HAproxy 进程挂了也不会给你拉起来，HA 也不能做主备切换。这时候就该 KP 登场拉。
1、安装 keepalived
直接 yum 安装，省时省力。
yum -y install keepalived
复制代码
2、主节点 kp 配置文件
vim /etc/keepalived/keepalived.conf
global_defs { router_id haproxy1 # 虚拟路由名称 script_user root enable_script_security}
# HAProxy健康检查配置vrrp_script chk_haproxy { script "/etc/keepalived/chk_haproxy.sh" # 使用killall -0检查haproxy实例是否存在，性能高于ps命令 interval 5 # 脚本运行周期，秒}
# 虚拟路由配置vrrp_instance VI_cubc_his { state MASTER # 本机实例状态，MASTER/BACKUP，备机配置文件中请写BACKUP interface eth0 # 本机网卡名称，使用ifconfig命令查看 virtual_router_id 238 # 虚拟路由编号，主备机保持一致 priority 101 # 本机初始权重，备机请填写小于主机的值（例如99） advert_int 1 # 争抢虚地址的周期，秒 authentication { auth_type PASS auth_pass 4gjfethTonUY7kXU # 认证类型和密码主备一样，要不然无法互相认证 } virtual_ipaddress { 192.168.1.238 # 虚地址IP，主备机保持一致 } track_script { chk_haproxy # 对应的健康检查配置 }}
复制代码
3、备节点 kp 配置文件
vim /etc/keepalived/keepalived.conf
global_defs { router_id haproxy2 # 虚拟路由名称 script_user root enable_script_security}
# HAProxy健康检查配置vrrp_script chk_haproxy { script "/etc/keepalived/chk_haproxy.sh" # 使用killall -0检查haproxy实例是否存在，性能高于ps命令 interval 5 # 脚本运行周期，秒}
# 虚拟路由配置vrrp_instance VI_cubc_his { state BACKUP # 本机实例状态，MASTER/BACKUP，备机配置文件中请写BACKUP interface eth0 # 本机网卡名称，使用ifconfig命令查看 virtual_router_id 238 # 虚拟路由编号，主备机保持一致 priority 99 # 本机初始权重，备机请填写小于主机的值（例如99） advert_int 1 # 争抢虚地址的周期，秒 authentication { auth_type PASS auth_pass 4gjfethTonUY7kXU # 认证类型和密码主备一样，要不然无法互相认证 } virtual_ipaddress { 192.168.1.238 # 虚地址IP，主备机保持一致 } track_script { chk_haproxy # 对应的健康检查配置 }}
复制代码
注意：
virtual_router_id 要保持一致。
不一致的地方：router_id、priority、state
网卡名称 interface 根据你的实际环境来。
4、脚本检测扩展
kp 自动检测 haproxy 是否启动，如果没有启动会自动启动，启动一次没成功就会自动关闭 kp
vim /etc/keepalived/chk_haproxy.sh
#!/bin/bashA=`ps -C haproxy --no-header |wc -l`if [ $A -eq 0 ];then /opt/haproxy/bin/haproxy -f /opt/haproxy/haproxy.cfg sleep 3 if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then systemctl stop keepalived fifi
复制代码
记得修改权限
chmod 744 /etc/keepalived/chk_haproxy.sh
复制代码
5、设置 keepalived 自动启动
如果主机重启了就不担心 HAproxy 不自动启动了。
systemctl list-unit-files |grep keepalived
复制代码
-- 设置开机自动启动
systemctl enable keepalived.service
复制代码
三、环境验证
1、启动备节点 KP
systemctl start keepalived
复制代码
验证相关进程状态和 VIP
ps -ef|grep haproxy systemctl status keepalived ip a|grep inet
复制代码
如果进程都在，VIP 也已经挂载成功。此时可以使用 VIP 连接数据库拉。
2、启动主节点 kp
systemctl start keepalived
复制代码
验证相关进程状态和 VIP
ps -ef|grep haproxy systemctl status keepalived ip a|grep inet
复制代码
如果前面配置无误，此时 VIP 会自动漂移到主节点，因为主节点设置的 priority 更大。备节点的 VIP 会自动卸载。
3、kill haproxy 测试
kill 后 kp 会自动拉起来，如果拉不起来，kp 服务也会自动停止。
所有，正常停止 HAproxy，直接杀 ha 的进程是不行的，得手动把 kp 停掉。
四、测试 IP 透传功能
上面搭建好的 HA 环境，SHOW PROCESSLIST 看到的客户端 IP 都是 HAproxy 节点的 IP，如果要查看真实的 IP，还需要做 2 点配置。
1、修改 HAproxy 的配置文件
如要通过 SHOW PROCESSLIST 查看连接来源 IP，需要配置使用 PROXY 协议连接 TiDB。
tidb 配置那行添加 check port 10080 send-proxy
注意：这里把检测端口换成了 10080，不是 4000，不然 tidb 会一直刷 write: connection reset by peer
server tidb-192.168.1.217:4000 192.168.1.237:4000 check port 10080 send-proxy inter 2000 rise 2 fall 3 server tidb-192.168.1.237:4000 192.168.1.237:4000 check port 10080 send-proxy inter 2000 rise 2 fall 3
复制代码
2、修改 tidb 集群参数
使用 PROXY 协议时，你需要在 tidb-server 的配置文件中设置 proxy-protocol.networks。
tiup cluster edit-config tidb-test
复制代码
添加 proxy-protocol.networks 参数，里面配置的 IP 为 HAproxy 节点 IP。
server_configs: tidb: proxy-protocol.networks: 192.168.1.214,192.168.1.215
复制代码
重启 tidb 节点
tiup cluster reload tidb-test -R tidb
复制代码
3、使用 VIP 连接 tidb 验证
使用 VIP 连接 tidb，show processlist 验证 IP，测试可以看到真实 IP 拉。
mysql -h192.168.1.238 -P4000 -uroot -p -A
复制代码
常见报错：
ERROR 2013 (HY000): Lost connection to MySQL server at 'reading authorization packet', system error: 0
ERROR 2013 (HY000): Lost connection to MySQL server at 'reading initial communication packet', system error: 0
复制代码
五、常见报错、参考文档
1、HAproxy 启动报错
haproxy -f /opt/haproxy/haproxy.cfg
复制代码
[NOTICE] (3526) : haproxy version is 2.6.2-16a3646[NOTICE] (3526) : path to executable is /opt/haproxy/bin/haproxy[ALERT] (3526) : Binding [/opt/haproxy/haproxy.cfg:32] for proxy tidb-cluster: cannot bind socket (Cannot assign requested address) for [192.168.1.238:4000][ALERT] (3526) : [haproxy.main()] Some protocols failed to start their listeners! Exiting.
复制代码
没有配置系统参数，或者参数未生效。
echo "net.ipv4.ip_nonlocal_bind = 1" >>/etc/sysctl.confecho "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
sysctl -p
复制代码
2、解决 Keepalived 脚本启动时 warning、Unsafe
https://blog.csdn.net/Kangyucheng/article/details/110122893
3、配置 Haproxy 透传参数 send-proxy 后，tidb 日志一直报 write: connection reset by peer
见：https://asktug.com/t/topic/1007543/1
感谢 裤衩儿飞上天的指点。
评论