阿里云服务器在企业级实例上配置eRDMA-[云淘科技_教程]

背景信息

• 如果您需要了解如何在GPU实例上配置eRDMA，请参见在GPU实例上配置eRDMA。

• 有关eRDMA的更多信息，请参见eRDMA概述。

操作步骤

1. 创建支持ERI的ECS实例。

   具体操作，请参见自定义购买实例。在创建支持ERI的ECS实例时，请注意下表中的配置项。

   配置项支持列表

   配置项	说明
   地域及可用区	支持选择华北2（北京）、华东2（上海）、华东1（杭州）和华南1（深圳）及对应的可用区。
   实例规格	支持ERI的实例规格如下： 通用型实例规格族g8a 计算型实例规格族c8a 内存型实例规格族r8a 通用型实例规格族g8i 计算型实例规格族c8i 内存型实例规格族r8i 通用平衡增强型实例规格族g8ae 计算平衡增强型实例规格族c8ae 内存平衡增强型实例规格族r8ae 实例规格族 通用型实例规格族g8y 计算型实例规格族c8y 内存型实例规格族r8y 本地SSD型实例规格族i4
   镜像	支持以下镜像（任选一款）： Alibaba Cloud Linux 3（推荐） Alibaba Cloud Linux 2（仅x86系统支持） CentOS 7.9（仅x86系统支持） Ubuntu 18.04/20.04/22.04 Anolis OS 8.4 ANCK/8.6 ANCK（仅ARM版本支持） 说明 不同实例规格可选择的镜像范围不同，实际可选择的镜像以购买页面的实际展示为准。
   eRDMA设备数量	每个实例最大支持1个eRDMA网卡设备。
   热插拔特性	ERI网卡只支持热插入，不支持热拔出。
   其他限制	ERI设置不支持IPv6地址。 两个实例之间通过ERI通信，通信链路中间不支持跨网元设备（例如负载均衡SLB等）。 GPU实例与企业级实例中的eRDMA由于所处工作模式不同，所以GPU实例与企业级实例不能直接通信。如果需要通信，请在企业级实例中参考GPU实例部署eRDMA的方式进行部署。具体操作，请参见在GPU实例上配置eRDMA。

2. 创建并启用ERI的弹性网卡。

   创建启用ERI的主网卡

   说明

   主网卡不支持从实例解绑，只能随实例一起创建和释放。

   在自定义购买页面创建ECS实例时，找到弹性网卡区域，在主网卡右侧选中弹性RDMA接口。

   

   创建启用ERI的辅助弹性网卡

   说明

   辅助弹性网卡只能在单独创建时启用ERI并绑定至支持ERI的实例上使用，不支持在随实例创建辅助弹性网卡时或者修改辅助弹性网卡时启用ERI。

   1. 创建辅助弹性网卡。具体操作，请参见创建弹性网卡。

      在创建启用ERI的辅助弹性网卡时，打开增加弹性RDMA接口开关。ERI会共用该辅助弹性网卡的设置，包括弹性网卡的IP、应用于弹性网卡的安全组规则等。

      

   2. 将辅助弹性网卡绑定至ECS实例。具体操作，请参见绑定弹性网卡。

   说明

   • 单台实例最多绑定一个启用ERI的辅助弹性网卡。

   • 绑定辅助弹性网卡至实例前，请确认目标实例的主网卡和辅助网卡不在同一子网内，否则可能因为默认路由导致辅助网卡的RDMA功能在某些情况下不可用。

   • 将启用ERI的辅助弹性网卡绑定至实例后，如需解绑，必须先停止实例。具体操作，请参见停止实例。

3. 远程连接Linux实例。

   具体操作，请参见通过密码或密钥认证登录Linux实例。

4. （可选）在实例内配置弹性网卡。具体操作，请参见配置辅助弹性网卡。

   说明

   部分镜像无法自动识别新绑定的辅助弹性网卡。您可以执行ifconfig命令查看，如果不能显示该网卡，请手动配置弹性网卡。

5. 在实例内安装ERI驱动。

   您可以根据实际情况，选择实例购买页一键部署ERI驱动、脚本方式安装ERI驱动或者手动安装ERI驱动三种方式中的任意一种，来安装ERI驱动。

   实例购买页一键部署

   您可以在实例购买页面中的镜像选择部分，选中安装eRDMA驱动，在实例购买完成启动过程中，会全程自动化安装ERI驱动，无需您手动操作。

   

   一键部署安装ERI驱动仅支持主流的OS发行版，例如Alibaba Cloud Linux、Ubuntu、Anolis OS等，不支持SUSE Linux、Red Hat、Windows Server等，子版本的支持情况以购买页显示为准。

   脚本方式安装

   您也可以自行选择脚本方式安装ERI驱动。脚本方式安装需要您连接到实例之后进行操作，执行安装脚本后，脚本会自动帮助您安装ERI驱动所需的软件依赖包、下载ERI驱动包以及安装ERI驱动。

   执行内容如下：

   curl -O http://mirrors.cloud.aliyuncs.com/erdma/env_setup.sh
   sudo /bin/bash env_setup.sh > /var/log/erdma_install.log 2>&1

   等待安装脚本执行结束即可。脚本方式安装驱动如果失败，请您检查安装日志，安装日志的具体路径为：/var/log/erdma_install.log。

   手动安装

   1. 执行以下命令，更新前置软件包。

      • Alibaba Cloud Linux 3/CentOS/Anolis OS：

        yum update -y

      • Ubuntu：无需更新，跳过该步骤。

   2. 依次执行以下命令，查看最新的kernel包版本和操作系统的内核版本。

      rpm -qa | grep kernel  #查看最新的kernel包版本
      uname -r  #查看操作系统的内核版本

      系统返回示例信息如下，表示两者版本一致，无需进行额外操作。若版本不一致，则需要重启实例使其生效。

      

   3. 执行以下命令，安装依赖的软件包。

      • 对于x86实例，请执行以下操作：

        • Alibaba Cloud Linux 3/CentOS/Anolis OS：

          yum install gcc-c++ dkms cmake kernel-devel kernel-headers libnl3 libnl3-devel

        • Ubuntu：

          apt-get install dkms cmake libnl-3-dev libnl-route-3-dev kernel-headers

      • 对于ARM实例，由于需要基于源码执行构建任务，相关的软件依赖包较多且可能会发生变化，因此可以忽略本步骤，直接执行安装脚本。如果安装脚本失败，脚本会提示您需要安装的软件依赖包，请根据提示完成安装，然后重新执行软件安装即可。

   4. 执行以下命令，下载驱动安装包。

      • 从内网地址获取软件包

        wget http://mirrors.cloud.aliyuncs.com/erdma/erdma_installer-latest.tar.gz

      • 从公网地址获取软件包

        wget https://mirrors.aliyun.com/erdma/erdma_installer-latest.tar.gz

   5. 执行以下命令，解压安装包并进入文件目录。

      tar -xvf erdma_installer-latest.tar.gz && cd erdma_installer

   6. 执行以下命令，安装驱动。

      • 方式一：安装过程需手动确认相关卸载步骤及自动下载步骤

        sh install.sh

      • 方式二：安装过程无需确认过程

        sh install.sh  --batch

      根据返回信息，确认安装结果。

      若系统返回如下信息，则表示安装驱动成功。

      

      若系统返回如下信息，则表示提示安装驱动失败，请按照提示信息操作完成后，重新尝试安装驱动。

      说明

      如果您使用的是CentOS 7系统，并且重新安装驱动过程中提示缺少软件包，但您无法通过yum获取到，您可能需要执行yum install -y epel-release命令，先安装epel-release仓库，然后才能获取到对应的软件包。

6. 通过perftest工具测试eRDMA。

   说明

   perftest是测试eRDMA基础性能的benchmark工具。更多信息，请参见perftest相关文档。

   1. 分别在Server端和Client端安装perftest工具。您可以通过以下两种方式安装perftest。

      • 方式一：访问perftest官方仓库下载并安装perftest工具。该方式需确保实例具备公网访问能力。

      • 方式二：yum/apt源方式安装。执行如下命令，安装perftest工具。

        • Alibaba Cloud Linux 3/CentOS/Anolis OS

          yum install perftest -y

        • Ubuntu

          apt install perftest -y

        说明

        不同Linux发行版的软件源中包含的perftest版本可能不一致，在通信时可能存在兼容性问题。建议您通信的实例使用相同的Linux发行版，否则请采用第一种方式安装。

   2. 测试eRDMA。

      1. 在Server端执行如下命令。

         ib_write_lat -R -a -F

      2. 在Client端执行如下命令。

         ib_write_lat -R -a -F 

         其中，是Server端ECS实例上绑定的eRDMA的弹性网卡所对应的私有IP地址。获取IP地址的方法，请参见查看IP地址。

      若系统返回信息如下，则表示eRDMA通信正常。