:: - NVIDIA 文档

使用 NVIDIA Mellanox InfiniBand 驱动程序

基于 Red Hat 的操作系统的 DGX 软件堆栈不包含适用于 Linux 的 Mellanox OpenFabrics 企业发行版 (MLNX_OFED)。这是为了确保 MLNX_OFED 驱动程序与 Red Hat 发行版内核同步。本节介绍如何在运行 Red Hat Enterprise Linux 的系统上下载、安装和升级 MLNX_OFED。

确定要安装的 MLNX_OFED 版本

NVIDIA 针对每个 NVIDIA EL8 软件版本验证特定的 MLNX_OFED 版本。请查阅 NVIDIA EL8 发行说明，了解特定 NVIDIA EL8 软件版本的推荐 MLNX_OFED 版本。

安装 NVIDIA Mellanox InfiniBand 驱动程序

本节介绍如何在尚未安装 MLNX_OFED 的系统上安装它。务必为 DGX 系统正在运行的 RHEL 版本使用经过验证的 MLNX_OFED 版本。请注意，在安装 NVIDIA 驱动程序之前运行的“dnf update”命令会将系统更新到最新的 Red Hat Enterprise Linux 版本。

确定 DGX 系统上安装的 Red Hat Enterprise Linux 版本。
```
cat /etc/redhat-release
```
确定要安装的合适的 MLNX_OFED 软件包。
请参阅确定要安装的 MLNX_OFED 版本。
下载 MLNX_OFED 软件包。
1. 访问 Linux InfiniBand 驱动程序页面，向下滚动到下载向导，然后单击 LTS 下载选项卡。
2. 在 MLNX_OFED 下载中心矩阵中，选择
  - 要安装的版本（您可能需要选择存档版本），
  - RHEL/CentOS（在操作系统发行版下），以及
  - 相关的操作系统发行版版本和架构。
3. 单击所需的 ISO/tgz 软件包。
  要获取下载链接，请接受最终用户许可协议。
下载正确的 MLNX_OFED 软件包后，继续执行安装步骤。
1. 重新访问 MLNX_OFED 软件版本站点，并选择您打算使用的 MLNX_OFED 软件版本。
2. 使用侧边菜单导航到安装->安装 MLNX_OFED，并按照说明进行操作。
  注意：系统可能会报告在执行安装之前需要安装其他软件。如果出现此类消息，请安装该软件，然后重试安装 MLNX_OFED 驱动程序。
如果您打算使用 NVIDIA GPUDirect Storage (GDS)，请按照 https://docs.nvda.net.cn/gpudirect-storage/troubleshooting-guide/index.html#mofed-req-install 上的说明启用驱动程序的 GDS 支持。
安装 nvidia-mlnx-config。
```
sudo dnf install -y nvidia-mlnx-config
```
为您的内核安装内核头文件和开发包。
这些是后续 DKMS 编译所必需的。
```
sudo dnf install -y kernel-headers-$(uname -r) kernel-devel-$(uname -r)
```
安装 MLNX_OFED 驱动程序后，安装 NVIDIA 对等内存模块。
```
sudo dnf install -y nvidia-peer-memory-dkms
```

注意： nvidia-peer-memory-dkms 版本 1.2 或更高版本，需要 MOFED 版本 5.4-3.0.3.0 或更高版本。使用不符合此标准的 MOFED 版本将导致 nv_peer_mem DKMS 模块构建失败。有关更多信息，请参阅：

https://github.com/Mellanox/nv_peer_memory/issues/94#

注意：虽然可以使用内置驱动程序，但不建议使用内置驱动程序，因为它们提供的性能低于官方 MLNX OFED 驱动程序，并且不支持 GPUDirect^TM RDMA 功能。有关配置内置驱动程序的更多信息，请参阅以下 Red Hat Enterprise Linux 文档：

配置 InfiniBand 和 RDMA 网络

更新 NVIDIA Mellanox InfiniBand 驱动程序

本节介绍如何在已安装 MOFED 的系统上更新 MOFED。RPM 软件包中的 Mellanox InfiniBand 驱动程序是为特定内核版本预编译的。同样，务必为 DGX 系统已更新到的 RHEL 版本使用正确的 MOFED 版本。无需先卸载当前的 MOFED，因为“mlnxofedinstall”脚本将自动卸载任何先前安装的版本。

升级 Red Hat Enterprise Linux 发行版和内核版本。
```
sudo dnf update --nobest
```
确定 DGX 系统上安装的 Red Hat Enterprise Linux 版本。
```
cat /etc/redhat-release
```
确定要安装的合适的 MLNX_OFED 软件包。
请参阅确定要安装的 MLNX_OFED 版本。
下载 MLNX_OFED 软件包。
1. 访问 Linux InfiniBand 驱动程序页面，向下滚动到下载向导，然后单击 LTS 下载选项卡。
2. 在 MLNX_OFED 下载中心矩阵中，选择
  - 要安装的版本（您可能需要选择存档版本），
  - RHEL/CentOS（在操作系统发行版下），以及
  - 相关的操作系统发行版版本和架构。
3. 单击所需的 ISO/tgz 软件包。
  要获取下载链接，请接受最终用户许可协议。
将下载的 ISO 挂载到系统上的某个位置。
以下示例显示 ISO 被挂载到 /mnt 目录。
```
sudo mount MLNX_OFED_LINUX-<version>.iso /mnt
```
准备安装驱动程序。
1. 删除 nvidia-mlnx-config 和 nvidia-peer-memory-dkms。
```
sudo dnf remove -y nvidia-mlnx-config nvidia-peer-memory-dkms
```
  mlnxofedinstall 步骤将在安装新软件包之前删除旧软件包，这会导致 nvidia-mlnx-config 和 nvidia-peer-memory-dkms 因依赖于某些已删除的软件包而卸载。提前删除这些组件可以避免问题。这些组件将在最后一步重新安装。
2. 指定安装驱动程序时要使用的新内核版本。
```
NEXTKERNEL=$(sudo grubby --default-kernel | sed 's/.*vmlinuz\-//g')
```
使用 -k 和 -s 标志安装驱动程序，以指定新的内核版本和内核源代码路径。
```
sudo /mnt/mlnxofedinstall -k ${NEXTKERNEL} -s /lib/modules/${NEXTKERNEL}/build --force
```
注意：系统可能会报告在执行安装之前需要安装其他软件。如果出现此类消息，请安装该软件，然后重复此步骤。
重启。
```
sudo reboot
```

重新安装 nvidia-mlnx-config 和 nvidia-peer-memory-dkms。

sudo dnf install -y nvidia-mlnx-config nvidia-peer-memory-dkms

如果您打算使用 NVIDIA GPUDirect Storage (GDS)，请按照 https://docs.nvda.net.cn/gpudirect-storage/troubleshooting-guide/index.html#mofed-req-install 上的说明启用驱动程序的 GDS 支持。