GreatSQL 连接数被打满的 3 种紧急解决方案
GreatSQL 连接数被打满的 3 种紧急解决方案
背景
使用数据库时，偶尔会出现数据库连接数飙升的场景，最严重的情况是连接打满，root 用户无法获取到连接，登陆数据库失败。这时候无法登录数据库 kill 掉相关的数据连接,影响数据库的稳定性。下面将对这类的故障的处理进行详述。
场景复现
设置
max_connections为 500
使用 sysbench 模拟并发连接
尝试登录数据库报错
场景分析
方案 1：使用 admin_port 进行故障处理
从 GreatSQL 8.0 起，GreatSQL 支持在配置文件配置admin_port和admin_address,这两个参数都是静态参数，不支持动态修改。admin_address没有默认值，如果没有显式开启，GreatSQL 不会维护任何的管理接口。admin_port即为管理接口连接 TCP/IP 的端口号，默认值为 33062。
注意如果
admin_address未设置，admin_port也将无效。
查看配置文件是否配置了
admin_address和admin_port
使用
admin_port和admin_address尝试登录数据库,登录成功。
使用 kill 将特定条件的连接杀掉,如果处于业务高峰期，也可以先使用 SET GLOBAL max_connections=[value] 临时调大连接数，要注意此时资源的负载情况。 下面表示的是查找出语句正在运行中且执行时间超过 100s,用户叫 test_user 的 id 并拼装成 kill 语句。请结合实际场景进行条件调整。
方案 2：GDB 在线关闭 TCP SOCKET
上述演示是最为顺利的情况，但是不妨假设，如果未设置admin_address 和admin_port ，难道只有剩下数据库重启这种方式了吗？
其实不然，GreatSQL 默认使用 TCP/IP 进行网络连接，那是否可以把实例上由远程机器请求的部分 TCP socket 连接 kill 掉，但保持数据库进程的运行，以腾出部分连接数供 root 用户登录呢？
通过查阅资料， gdb attach 刚好能满足我们的设想：gdb attach 是 GDB（GNU 调试器）中的一个命令，用于附加（Attach）到一个正在运行的进程，而关闭一个 SOCKET，只要调用 close 函数就可以了。简单来说就是使用gdb attach 到进程上下文，然后 call close($fd)。
不过需要注意的是，gdb attach 会暂停目标进程的所有线程。对于生产环境中需要持续运行的进程（如服务、数据库、实时系统等），这种暂停可能导致服务中断或超时。且 gdb 需要较大的性能开销，进程的运行速度会显著下降，需要经过谨慎评估后再使用此方式。
继续复现一个连接数打满，但是未启用admin_address和 admin_port 的场景，此时尝试用管理员登录报错 ERROR 1040 (HY000): Too many connections 。
通过 netstat 反查数据库的进程号为 18979
使用 lsof 找到进程号 18979 的文件描述，并找到对应的 socket
其中 NODE NAME 有(ESTABLISHED)表示两台主机 TCP 连接已经成功建立。找到对应的 FD，并记录下来
使用 gdb 连接到进程，并关闭 socket 连接
查看数据库进程，并再次尝试登录数据库，登录成功。
方案 3：预防性设置 max_user_connections
以上的情况为出现问题的时候的紧急处理，但作为 DBA，保障线上稳定性为第一前提，连接数打满已经是一个较为糟糕的情况了。且前文描述的是数据库大版本为 8.0 后才开始支持admin_address ,admin_port 作为突发情况的紧急处理。但如果 GreatSQL 5.7 或者更低的情况， 如何去保障生产的稳定性呢？
GreatSQL 还有一个参数 max_user_connections ,我们来比较max_user_connections 和max_connections 的区别
max_connections：代表允许连接数据库的所有用户的连接数总和
max_user_connections：代表允许单个用户的连接数最大值，即并发值
出故障的时候，往往是同一个用户频繁的申请连接，那如果我们把单个用户的最大连接数调整到比最大连接数再小一点的值，确保管理员账号有足够的连接数进行突发故障的处理。 也可以有效减少连接打满的情况。且可以动态调整，可以使用 SET GLOBAL max_user_connections=[value]生效。除此之外，该参数可针对特定用户设置 ：如ALTER USER 'test_user'@'%' WITH MAX_USER_CONNECTIONS 100;
总结
无论对于 5.7 还是 8.0，建议设置
max_user_connections降低连接数打满的风险对于 8.0 版本，可以通过配置增加
admin_address和admin_port来启用管理接口，以应对突发的情况。如果出现连接数打满且未启用管理端口的情况，可以使用
gdb attach在线关掉部分 socket，以避免数据库的重启。但需要注意gdb attach对机器性能的开销和 gdb 运行时数据库的所有线程都会暂停，请评估后再使用该方式。监控可以加上对连接数的监控，达到阈值时告警出来，提前介入处理。
事后应排查连接数打满的原因，和业务协调优化措施，建议采用线程池等技术提前规避连接数飙高的场景。
版权声明: 本文为 InfoQ 作者【GreatSQL】的原创文章。
原文链接:【http://xie.infoq.cn/article/8427b9098d343daff786715a7】。文章转载请联系作者。
GreatSQL社区 2023-01-31 加入
GreatSQL是由万里数据库维护的MySQL分支，专注于提升MGR可靠性及性能，支持InnoDB并行查询特性，是适用于金融级应用的MySQL分支版本。 社区：https://greatsql.cn/ Gitee: https://gitee.com/GreatSQL/GreatSQL
评论