Linux [踩坑总结] nf_conntrack: table full, dropping packet

1
2
3
4
sudo sysctl -a | grep conntrack
# 只看超时相关参数（超时时间 = 连接在哈希表里保留的时间）
sudo sysctl -a | grep conntrack | grep timeout

1
2
3
4
sudo dmesg | grep conntrack
# 找类似这样的记录：
# nf_conntrack version 0.5.0 (16384 buckets, 65536 max)

1
2
3
4
grep conntrack /proc/slabinfo
# 前4个数字分别为：
# 当前活动对象数、可用对象总数、每个对象的大小（字节）、包含至少1个活动对象的分页数

1
2
3
sudo sysctl net.netfilter.nf_conntrack_count
# 或 cat /proc/net/nf_conntrack | wc -l

1
2
3
4
5
6
7
8
9
10
11
12
13
14
cat /proc/net/nf_conntrack
# 统计里面的TCP连接的各状态和条数
cat /proc/net/nf_conntrack | awk '/^.*tcp.*$/ {count[$6]++} END {for(state in count) print state, count[state]}'
# 记录数最多的10个ip
cat /proc/net/nf_conntrack | awk '{print $7}' | cut -d "=" -f 2 | sort | uniq -c | sort -nr | head -n 10
# 记录格式：
# 网络层协议名、网络层协议编号、传输层协议名、传输层协议编号、记录失效前剩余秒数、连接状态（不是所有协议都有）
# 之后都是key=value或flag格式，1行里最多2个同名key（如 src 和 dst），第1次出现的来自请求，第2次出现的来自响应
# flag：
# [ASSURED]
请求和响应都有流量
# [UNREPLIED]
没收到响应，哈希表满的时候这些连接先扔掉

1
2
3
4
# 哈希表里的实时连接跟踪数（只读）
net.netfilter.nf_conntrack_count
# 值跟 /proc/net/nf_conntrack 的行数一致

1
2
3
4
5
6
7
8
9
10
11
12
13
# 哈希表大小（只读）（64位系统、8G内存默认 65536，16G翻倍，如此类推）
net.netfilter.nf_conntrack_buckets
# 最大跟踪连接数，默认 nf_conntrack_buckets * 4
net.netfilter.nf_conntrack_max
net.nf_conntrack_max
# 跟踪的连接用哈希表存储，每个桶（bucket）里都是1个链表，默认长度为4
# 默认值参考以下公式：（使用内存的 1/16384）
# CONNTRACK_MAX = RAMSIZE (in bytes) / 16384 / (ARCH / 32)

# （ARCH为你机器CPU的架构，64或32）
# HASHSIZE = CONNTRACK_MAX / 4
# （N年前是除8，这数字就是每个桶里的链表长度）

1
2
3
4
5
6
7
8
9
10
11
12
# netfilter的哈希表存储在内核空间，这部分内存不能swap
# 操作系统为了兼容32位，默认值往往比较保守：
# 在32位Linux下，内核空间的虚拟地址空间最多 1G，通常能用的只有前 896M
# 1条跟踪记录约 300 字节，给netfilter分配太多地址空间可能会导致其他内核进程不够分配，因此当年默认最多 65535 条，占 20多MB
# 64位系统内核空间最多能用虚拟地址空间的一半（128TB），只需要关心物理内存使用多少就行了
# 内存占用参考以下公式：
# size_of_mem_used_by_conntrack (in bytes) = CONNTRACK_MAX * sizeof(struct ip_conntrack) + HASHSIZE * sizeof(struct list_head)
# sizeof(struct ip_conntrack) 在不同架构、内核版本、编译选项下不一样，192～352字节之间，可以按 352 算
# sizeof(struct list_head) = 2 * size_of_a_pointer（32位系统是4字节，64位是8字节） 
# 在64位下，当CONNTRACK_MAX为 1048576，HASHSIZE 为 262144 时，最多占350多MB
# 对现在的机器来说毫无压力

1
2
3
4
5
6
7
8
9
10
11
12
# 通常挥手的状态都不怎么重要，连接都关了，没必要继续跟踪那么久：
net.netfilter.nf_conntrack_tcp_timeout_fin_wait
# 默认 120 秒
net.netfilter.nf_conntrack_tcp_timeout_time_wait
# 默认 120 秒
# 主动方的最后1个状态，默认2MSL
net.netfilter.nf_conntrack_tcp_timeout_close_wait
# 默认 60 秒
# CLOSE_WAIT是被动方收到FIN发ACK，然后会转到LAST_ACK发FIN，除非程序写得有问题，正常来说这状态持续时间很短。
# （我们服务器 nf_conntrack文件里 time_wait 占了99%
# 把time_wait超时改成 30 秒后，nf_conntrack_count下降超过一半）

1
2
3
4
5
6
7
8
9
10
11
12
13
net.netfilter.nf_conntrack_tcp_timeout_established
# 默认 432000 秒（5天）
# 理论上不用这么长，不小于 net.ipv4.tcp_keepalive_time 就行了
# （我们调了看不出效果）
net.netfilter.nf_conntrack_generic_timeout
# 默认 600 秒（10分钟）
# 通用超时设置，作用于4层（传输层）未知或不支持的协议
# （基本不会碰到这种连接，同样调了看不出效果）
#net.netfilter.nf_conntrack_tcp_timeout_max_retrans
# 默认 300 秒
#net.netfilter.nf_conntrack_tcp_timeout_unacknowledged
# 默认 300 秒

1
2
3
4
5
6
7
8
9
10
11
# net.netfilter.nf_conntrack_buckets 不能直接改（报错）
# 需要修改模块的设置：
echo 262144 > /sys/module/nf_conntrack/parameters/hashsize
# 如果不是root：
echo 262144 | sudo tee /sys/module/nf_conntrack/parameters/hashsize
# 再查看，bucket已经变成设置的大小
sudo sysctl net.netfilter.nf_conntrack_buckets
# max设为桶的4倍
sudo sysctl -w net.netfilter.nf_conntrack_max=1048576
suod sysctl -w net.nf_conntrack_max=1048576

1
2
3
4
5
sudo sysctl -w net.netfilter.nf_conntrack_tcp_timeout_fin_wait=30
sudo sysctl -w net.netfilter.nf_conntrack_tcp_timeout_time_wait=30
sudo sysctl -w net.netfilter.nf_conntrack_tcp_timeout_close_wait=15
sudo sysctl -w net.netfilter.nf_conntrack_tcp_timeout_established=300

1
2
3
4
5
6
7
8
9
sudo vim /etc/sysctl.d/90-conntrack.conf
# 格式：<参数>=<值>，等号两边可以空格，支持 # 注释
net.netfilter.nf_conntrack_max=1048576
net.nf_conntrack_max=1048576
net.netfilter.nf_conntrack_tcp_timeout_fin_wait=30
net.netfilter.nf_conntrack_tcp_timeout_time_wait=30
net.netfilter.nf_conntrack_tcp_timeout_close_wait=15
net.netfilter.nf_conntrack_tcp_timeout_established=300

1
2
3
4
# 如果要马上应用配置文件里的设置：
sudo sysctl -p /etc/sysctl.d/90-conntrack.conf
# 不传配置文件路径默认加载 /etc/sysctl.conf

1
2
3
4
5
6
7
8
# CentOS 7.x
sudo systemctl stop firewalld
sudo systemctl disable firewalld
# CentOS 6.x
sudo service iptables stop
# 网上有些文章说关了iptables之后，用 iptables -L -n 之类查看规则也会导致nf_conntrack重新加载，实测并不会
sudo chkconfig --del iptables

1
2
3
# 查看所有规则
sudo iptables-save

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 这个必须插在第1条，凡是不跟踪的肯定是你想放行的
sudo iptables -I INPUT 1 -m state --state UNTRACKED -j ACCEPT
# 设置成不跟踪的连接无法拿到状态，包含状态（-m state --state）的规则统统失效
# iptables处理规则的顺序是从上到下，如果这条加的位置不对，可能导致请求无法通过防火墙
# 不跟踪 127.0.0.1
sudo iptables -t raw -A PREROUTING -i lo -j NOTRACK
sudo iptables -t raw -A OUTPUT -o lo -j NOTRACK
# 保存规则（否则重启服务后失效）
sudo service iptables save
# 其实就是把 iptables-save 的内容存到 /etc/sysconfig/iptables
# 假如Nginx和应用部署在同一台机子上，增加这规则的收益极为明显
# Nginx连各种upstream使得连接数起码翻了倍，不跟踪本地连接一下干掉一大半
# （其他条件不变，修改前后 nf_conntrack_count：30k+ -> 2.9k+ ，下降 90%！）

1
2
3
4
# sudo iptables -t raw -A PREROUTING -p tcp -m multiport --dports 80,443 -j NOTRACK
# sudo iptables -t raw -A OUTPUT -p tcp -m multiport --sports 80,443 -j NOTRACK
# （实测少跟踪 7% 左右的链接）

1
2
-A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# 查找相关模块
sudo lsmod | egrep "ip_table|iptable|nat|conntrack"
# 查看iptables规则
sudo iptables-save
# 把带 -t nat 、-m state 的规则都干掉
# 或删掉 /etc/sysconfig/iptables 里相应内容
# 编辑 iptables 配置文件
sudo vim /etc/sysconfig/iptables-config
# 找到 IPTABLES_MODULES ，删掉跟conntrack有关的模块（如果有）
# 停掉iptables
sudo service iptables stop
sudo chkconfig --del iptables
# 移除相关模块（如果有）
sudo rmmod iptable_nat
sudo rmmod ip6table_nat
sudo rmmod nf_defrag_ipv4
sudo rmmod nf_defrag_ipv6
sudo rmmod nf_nat
sudo rmmod nf_nat_ipv4
sudo rmmod nf_nat_ipv6
sudo rmmod nf_conntrack
sudo rmmod nf_conntrack_ipv4
sudo rmmod nf_conntrack_ipv6
sudo rmmod xt_conntrack
# 需要再开就 sudo modprobe <name>