现象:
公司自研 ESB 服务启动后、由于大量的服务同时需要与其建立连接。此时发现,当连接数量达到一定上线后、一些服务就再也连接不上。此时 ESB 服务的端口也 telnet 不通,但是 ping 地址是没问题的。
分析:
统计该端口的网络连接情况。
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
ESTABLISHED 1423
FIN_WAIT1 15
FIN_WAIT2 262
SYN_SENT 1
_WAIT 53
复制代码
涉及到 TCP 连接三次握手原理了解。TCP三次握手和四次挥手
解决:
调整网络参数: /etc/sysctl.conf
#表示如果套接字由本端要求关闭,这个参数决定了它保持在FIN-WAIT-2状态的时间
net.ipv4.tcp_fin_timeout = 30
#表示当keepalive起用的时候,TCP发送keepalive消息的频度。缺省是2小时,改为20分钟
net.ipv4.tcp_keepalive_time = 1200
#表示开启SYN Cookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭;
net.ipv4.tcp_syncookies = 1
#表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭;
net.ipv4.tcp_tw_reuse = 1
#表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭;
net.ipv4.tcp_tw_recycle = 1
#表示用于向外连接的端口范围。缺省情况下很小:32768到61000,改为1024到65000
net.ipv4.ip_local_port_range = 1024 65000
#表示SYN队列的长度,默认为1024,加大队列长度为8192,可以容纳更多等待连接的网络连接数。
net.ipv4.tcp_max_syn_backlog = 8192
#表示系统同时保持TIME_WAIT套接字的最大数量,如果超过这个数字,
#TIME_WAIT套接字将立刻被清除并打印警告信息。默认为180000,改为5000。
#对于Apache、Nginx等服务器,上几行的参数可以很好地减少TIME_WAIT套接字数量,
#但是对于Squid,效果却不大。此项参数可以控制TIME_WAIT套接字的最大数量,
#避免Squid服务器被大量的TIME_WAIT套接字拖死。
net.ipv4.tcp_max_tw_buckets = 5000
#路由缓存刷新频率, 当一个路由失败后多长时间跳到另一个默认是300
net.ipv4.route.gc_timeout = 100
#对于一个新建连接,内核要发送多少个 SYN 连接请求才决定放弃。不应该大于255,默认值是5,对应于180秒左右。
net.ipv4.tcp_syn_retries = 1
#
net.ipv4.tcp_synack_retries = 1
复制代码
编辑完 /etc/sysctl.conf,要重启 network 才会生效
/etc/rc.d/init.d/network restart
复制代码
然后,执行 sysctl 命令
使修改生效,基本上就算完成了
参考:
CLOSE_WAIT过多的解决方法
防止linux出现大量 FIN_WAIT1,提高性能
评论