GMAC网络延时性能优化

IT业界
2025-09-15 02:06:01

【写在前面】飞腾开发者平台是基于飞腾自身强大的技术基础和开放能力，聚合行业内优秀资源而打造的。该平台覆盖了操作系统、算法、数据库、安全、平台工具、虚拟化、存储、网络、固件等多个前沿技术领域，包含了应用使能套件、软件仓库、软件支持、软件适配认证四大板块，旨在共享尖端技术，为开发者提供一个涵盖多领域的开发平台和工具套件。点击这里开始你的技术升级之旅吧

本文分享至飞腾开发者平台《GMAC网络延时性能优化》

1 问题介绍及分析 1.1 问题介绍

问题简介：D2000 板载GMAC网卡，netperf测试网络时延，相较于i350 80μs左右的时延水平。差距接近在5倍左右。

即：两块GMAC网卡对接，时延在500μs以上。GMAC网卡与i350网卡对接，时延在350μs左右。

测试情况：

测试结果：

测试端1测试端2时延（μs）FT-2000/4 GMACFT-2000/4 GMAC550D2000 GMAC（netserver）FT-2000+/64 i350（client）350D2000 GMAC（client）FT-2000+/64 i350（netserver）341D2000 i350FT-2000+/64 i35082FT-2000+/64 i350FT-2000+/64 i35077

性能对比如下图,D2000 gmac 与FT-2000+/64 i350，分别作为netperf的client与server端的时延为341μs和350μs，取两者的平均值：345μs

未优化前性能对比:

1.2 问题分析

网络时延：时延是指一个报文或分组从一个网络的一端传送到另一个端所需要的时间。它包括了发送时延，传播时延，处理时延，排队时延。Netperf源码

测试流程分析：

1）每一轮传输取开始的时间：

2）每一轮结束取结束的时间：

3）将结束时间和开始时间作为入参，调用HIST_add;

4）HIST_add函数，会将传输次数++，然后算出最大延迟和最小延迟病存储

5）整个测试结束，调用计算延迟的接口HIST_get_stats

6）HIST_get_stats会最终算出最大延迟，最小延迟，已经平均延迟

通过netperf源码获知：网络时延测试就是客户端向服务端发送报文。服务端收到报文，发出回复报文，客户端收到回复报文作为一次传输过程，计时（存储在数组中），作为本次传输的时间。累计在固定时间内，重复以上过程，记录传输过程（有来有回）的次数，以及每次传输对应的时间。从而在所有计时（数组），算出最大时延，最小时延，以及平均时延（所有时间相加/传输次数）。

针对以上时延测算过程：发送时延（如果是发送方是i350）和传播时延可以忽略不计。主要对接收方（GMAC）处理时延和排队时延的优化。因此针对这一优化目标，主要就以下几个方面进行优化：

2 优化策略 2.1 协议栈参数优化

以下参数所在文件目录：/proc/sys/net/ipv4/ 以及/proc/sys/net/core/

名称默认值调优值net.ipv4.tcp_mem178305 237740 356610786432 1048576 1572864net.ipv4.tcp_wmem4096 16384 41943048192 131072 16777216net.ipv4.tcp_rmem4096 87380 629145632768 131072 16777216net.ipv4.tcp_syn_retries61net.core.somaxconn12816384

经过测试，以上调优手段，对时延影响不大。

2.2 Tcp分段设置

原理：当一个系统需要通过网络发送一大段数据时，计算机需要将这段数据拆分为多个长度较短的数据，以便这些数据能够通过网络中所有的网络设备，这个过程被称作分段。TCP分段卸载将TCP的分片运算（如将要发送的1M字节的数据拆分为MTU大小的包）交给网卡处理，无需协议栈参与，从而降低CPU的计算量和中断频率。虽然此种修改方式能够提高带宽。但是这样势必会增加时延，所以建议关闭。该部分详细内容可以参考：http://t.zoukankan /huaweicloud-p-11861181.html

修改方式：使用ethtool工具关闭网卡和驱动对TSO（TCP Segmentation Offload）的支持。如下命令中的参数“$eth”为待调整配置的网卡设备名称，如eth0，eth1等。

# ethtool -K $eth tso off

经过测试，以上调优手段，对时延影响不大。

2.3 中断聚合参数调整

原理：中断聚合特性允许网卡收到报文之后不立即产生中断，而是等待一小段时间有更多的报文到达之后再产生中断，这样就能让CPU一次中断处理多个报文，减少开销。

两种修改方式：

1）使用ethtool -C $eth方法调整中断聚合参数。其中参数“$eth”为待调整配置的网卡设备名称，如eth0，eth1等。

# ethtool -C eth3 adaptive-rx off adaptive-tx off rx-usecs N rx-frames N tx-usecs N tx-frames N

为了确保使用静态值，需禁用自适应调节，关闭Adaptive RX和Adaptive TX。

rx-usecs：设置接收中断延时的时间。

tx-usecs：设置发送中断延时的时间。

rx-frames：产生中断之前接收的数据包数量。