双端口 ConnectX-5 PCI 网卡/PCI 转接板更换

系统随附双端口 Mellanox ConnectX-5 网卡,该网卡配置为在以太网模式下工作。该网卡安装在 PCI 转接板组件中。以下步骤概述了如何单独更换网卡或整个 PCI 转接板组件。

双端口 ConnectX-5 网卡更换概述

这是在 DGX-2 系统上更换双端口 Mellanox ConnectX-5 PCI 网卡或 PCI 转接板组件的流程的高级概述。
  1. 使用 nvsm show health 命令验证双端口 ConnectX-5 网卡是否存在问题。
  2. 从 NVIDIA 企业支持部门获取更换部件 - 双端口 ConnectX-5 网卡或 PCI 转接板组件。
  3. 关闭系统。
  4. 标记所有主板托架电缆并拔下它们。
  5. 卸下主板托架并将其放在坚固、平坦的工作表面上。
  6. 卸下右侧 PCI 网卡转接板。
  7. 如果您仅更换网卡本身,请更换 PCI 网卡。
  8. 更换右侧 PCI 网卡转接板。
  9. 将主板托架插入系统。
  10. 使用标签作为参考,插入所有电缆。
  11. 开启系统电源。
  12. 验证 ConnectX-5 网卡是否正常工作。

更换双端口 ConnectX-5 PCI 网卡

注意静电敏感设备: - 请务必遵守静电放电 (ESD) 保护的最佳实践。这包括确保人员和设备连接到公共接地,例如佩戴连接到机箱接地的腕带,并将组件放置在防静电工作表面上。

  1. 通过运行 nvsm 识别故障网卡。
    $ sudo nvsm show health
  2. 如果故障组件是位于 PCIe 总线 86:00 的 Mellanox 双端口网卡,请从 NVIDIA 企业服务部门获取更换部件。
  3. 如果单独更换网卡,请在收到后打开包装,并确认它随附矮板挡片。

更换说明

  1. 关闭系统电源。
  2. 标记连接到主板托架的所有电缆,以便于重新连接时识别。
  3. 拔下电缆。
  4. 卸下主板托架。

    请参阅 卸下主板托架 部分中的说明。

  5. 卸下右侧 PCI 网卡转接板。
    1. 通过转动右侧黑色螺钉释放右侧 PCI 网卡转接板。

    2. 从主板托架上卸下右侧 PCI 转接板卡。

  6. 更换双端口 PCI 网卡(如果适用)。
    1. 松开并卸下将 PCI 网卡固定到转接板的螺钉。

    2. 将旧网卡从转接板中拔出,并将新网卡安装到转接板中。

    3. 更换并拧紧将 PCI 网卡固定到转接板的螺钉。

  7. 安装右侧 PCI 转接板。
    1. 将右侧 PCI 转接板卡更换到主板托架上。

    2. 拧紧右侧 PCI 网卡转接板上的黑色螺钉。

  8. 更换主板托架。

    请参阅 安装主板托架 部分中的说明。

  9. 将所有电缆连接到主板托架。
  10. 为系统供电。
  11. 确认 PCI 网卡在系统中可见。
    $ sudo lspci |grep 86\:00
    86:00.0 Ethernet controller: Mellanox Technologies MT27800 Family [ConnectX-5]
    86:00.1 Ethernet controller: Mellanox Technologies MT27800 Family [ConnectX-5] 
  12. 确认系统运行状况良好。
    $ sudo nvsm show health
  13. 验证与网络的基本连接。

    验证挂载点是否可用(如果通过 ConnectX-5 网卡挂载)。

    如有必要,请参阅 DGX-2 用户指南,了解有关重新配置网络接口的说明。