iperf3 -s -i 1 -p 16000
iperf3 -s -i 1 -p 16001
iperf3 -s -i 1 -p 16002

iperf3 -u -l 16 -b 0 -t 120 -c 10.118.6.158 -i 1 -p 16000
iperf3 -u -l 16 -b 0 -t 120 -c 10.118.6.158 -i 1 -p 16001
iperf3 -u -l 16 -b 0 -t 120 -c 10.118.6.158 -i 1 -p 16002

image.png image.png image.png

pps 140k

最终丢包率 15% 左右

image.png

测试时 发送端的软中断不高，接收端的软中断很高，ping 发现大量丢包

可以看到si都位于一个核上
手动配置 RPS RFS 亲和

修改前

[root@cn-sh-mss-e5-asg-g7u-o34-wa7-server-jan ~]# cat /sys/class/net/eth0/queues/rx-0/rps_cpus
00

分散到4个核上

echo f > /sys/class/net/eth0/queues/rx-0/rps_cpus

修改后的效果

image.png

可以看到软中断已分散到多个核上

image.png

pps 也提高了40k

网卡丢包率大幅度下降：
只有0.5%-1.1%之间

配置rfs

[root@cn-sh-mss-e5-asg-g7u-o34-wa7-server-jan ~]# cat /proc/sys/net/core/rps_sock_flow_entries
0
[root@cn-sh-mss-e5-asg-g7u-o34-wa7-server-jan ~]#
[root@cn-sh-mss-e5-asg-g7u-o34-wa7-server-jan ~]#
[root@cn-sh-mss-e5-asg-g7u-o34-wa7-server-jan ~]#
[root@cn-sh-mss-e5-asg-g7u-o34-wa7-server-jan ~]# echo 32768 > /proc/sys/net/core/rps_sock_flow_entries
[root@cn-sh-mss-e5-asg-g7u-o34-wa7-server-jan ~]# cat /sys/class/net/eth0/queues/rx-0/rps_flow_cnt
0
[root@cn-sh-mss-e5-asg-g7u-o34-wa7-server-jan ~]# echo 2048 > /sys/class/net/eth0/queues/rx-0/rps_flow_cnt

继续观察

image.png

配置rfs的效果是，si只会作用到三个核上，因为我只起了三个进程，这就是哈希的效果

pps看起来可以到190k

image.png

丢包率几乎一致