Resin服务器出现大量的ESTABLISHED和TIME_WAIT连接造成响应缓慢

69 阅读 0 评论 46 点赞

我是靠谱客的博主清新墨镜，最近开发中收集的这篇文章主要介绍Resin服务器出现大量的ESTABLISHED和TIME_WAIT连接造成响应缓慢，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

Resin服务的端口为8080，执行 lsof -i:8080 命令出现大量的ESTABLISHED连接：

然后执行netstat -n | awk ‘/^tcp/ {++y[$NF]} END {for(w in y) print w, y[w]}’ 命令发现存在大量状态为TIME_WAIT的连接：

简单来说，
ESTABLISHED表示正在进行网络连接的数量，
TIME_WAIT表示表示等待系统主动关闭网络连接的数量，
CLOSE_WAIT表示被动等待程序关闭的网络连接数量，因此TIME_WAIT跟服务器的配置有关，而CLOSE_WAIT跟程序进行网络连接有关了，通常是程序没有主动关闭网络连接所致。

上图中显然TIME_WAIT的数量太多了，需要对服务器进行配置。对 /etc/sysctl.conf 文件做如下设置（包含每个配置项的说明）：

//*对于一个新建连接，内核要发送多少个 SYN 连接请求才决定放弃,不应该大于255，默认值是5，对应于180秒左右时间

net.ipv4.tcp_syn_retries=2
#net.ipv4.tcp_synack_retries=2 
//表示当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时，改为300秒 
net.ipv4.tcp_keepalive_time=1200
net.ipv4.tcp_orphan_retries=3
//表示如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间 
net.ipv4.tcp_fin_timeout=30
//表示SYN队列的长度，默认为1024，加大队列长度为8192，可以容纳更多等待连接的网络连接数。 
net.ipv4.tcp_max_syn_backlog = 4096
//表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭 
net.ipv4.tcp_syncookies = 1
//表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭 
net.ipv4.tcp_tw_reuse = 1
//表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭
net.ipv4.tcp_tw_recycle = 1
//减少超时前的探测次数

net.ipv4.tcp_keepalive_probes=5
//优化网络设备接收队列

net.core.netdev_max_backlog=3000

修改保存之后执行 /sbin/sysctl -p让参数生效即可。这里需要说明几点：
(1) net.ipv4.tcp_tw_reuse和net.ipv4.tcp_tw_recycle的开启都是为了回收处于TIME_WAIT状态的资源，net.ipv4.tcp_fin_timeout这个时间可以减少在异常情况下服务器从FIN-WAIT-2转到TIME_WAIT的时间，net.ipv4.tcp_keepalive_*一系列参数，是用来设置服务器检测连接存活的相关配置。

(2) 如果客户端访问是NAT网络，不要开启net.ipv4.tcp_tw_recycle或者在服务端关闭time stamp (echo 0 /proc/sys/net/ipv4/tcp_timestamps)，参考这篇文章：不要在linux上启用net.ipv4.tcp_tw_recycle参数和【经验总结】tcp_tw_recycle参数引发的故障。
(3) Windows服务器的解决方法请参考这篇文字：在 Windows 上遇到非常多 TIME_WAIT 連線時應如何處理。

另外如果出现大量的CLOSE_WAIT说明程序在进行网络连接的时候没有主动关闭连接，比如使用HttpClient调用网络连接的时候，当出现错误的时候没有调用abort()方法，或者网络连接结束之后没有调用close方法等等，具体在源代码中进行排查即可。