麒麟服务器【RoCE配置】

什么是RoCE呢？

RoCE 将RDMA技术与以太网技术结合起来，以实现高速、低延迟、高效的数据传输。RoCE技术利用以太网的高带宽和广泛应用的优势，同时又避免了TCP/IP协议栈的高开销，从而实现了低延迟、高吞吐量的数据传输。RoCE技术可以提高数据中心的性能和效率，降低数据传输的延迟和能耗，从而提高数据中心的可靠性和可用性。RoCE技术的应用范围非常广泛，包括高性能计算、云计算、大数据分析等领域。

简单理解：它是一种协议，能跳过操作系统和CPU干预，让数据传输的延迟降低到微秒级。

一、 驱动与工具安装

1. 卸载系统自带网卡驱动

rmmod  mlx5_core  mlx5_en  mlx5_ib

2. 安装MLNX_OFED驱动（以5.8版本为例，适配内核5.10+）

./mlnxofedinstall  --add-kernel-support  --skip-repo  --force

3. 安装RDMA工具包

yum  install  rdma-core  ibutils2  perftest  -y

4. 加载驱动并验证

modprobe  mlx5_core   rdma_rxe  mlx5_ib
ibv_devinfo  # 输出网卡信息，确认state为ACTIVE

二、 网卡RoCEv2模式配置

1. 查看网卡端口信息

ibdev2netdev   # 找到RNIC对应的网口名，如ens1f0

2. 配置RoCEv2（L3模式）+ PFC/ECN

# 绑定网口到RDMA模式
echo  "1"  >  /sys/class/net/ens1f0/device/mlx5_num_vfs
# 启用RoCEv2（UDP封装）
devlink  dev  param  set  pci/0000:01:00.0  roce_ver  2  cmode  runtime
# 启用ECN标记
ethtool  -C  ens1f0  rx-usecs  10  tx-usecs  10
ethtool  -K  ens1f0  tx-ecn  on  rx-ecn on
# 启用PFC（优先级3，与交换机配置一致）
tc  qdisc  add  dev  ens1f0  root  handle 1: prio bands 8
tc  filter  add  dev  ens1f0  parent 1: protocol ip prio 3 u32 match ip dport 4791 0xffff flowid 1:3

3. 验证RoCEv2配置

ibv_rc_pingpong  -d  mlx5_0  -i  1  -g  0  # 本地环回测试，成功则配置生效

注意事项

1. 麒麟系统需关闭防火墙或放行RoCEv2端口（UDP 4791）;
2. 交换机必须配置相同优先级的PFC+ECN，否则会出现丢包、延迟飙升;

其他

1. 分布式存储中常用的网络协议

   • IB：常用于DPC场景中的存储前端网络。
   • RoCE：常用于存储后端网络。
   • TCP/IP：常用于业务网络。

2. RDMA和TCP/IP

   面对高性能计算、大数据分析等IO高并发、低时延应用，现有TCP/IP软硬件架构不能满足应用的需求，这主要体现在传统的TCP/IP网络通信是通过内核发送消息，这种通信方式存在很高的数据移动和数据复制的开销。RDMA(RemoteDirect Memory Access)技术全称远程直接内存访问，就是为了解决网络传输中服务器端数据处理的延迟而产生的。如图1-1，RDMA技术能直接通过网络接口访问内存数据，无需操作系统内核的介入。这允许高吞吐、低延迟的网络通信，尤其适合在大规模并行计算机集群中使用。
   
    
   RoCE协议与IB协议实现的通信功能基本相同，区别在于IB协议完全抛弃了TCP/IP协议，从零开始实现了一套通信协议，RoCE则是对IB协议的一种调整，它复用了以太网协议和IP协议，从而更好地兼容现有网络，实现成本低于IB技术成本。