主要组件#
表 7 列出了 DGX SuperPOD 配置的主要组件。这些组件代表了配置，必须根据实际设计进行最终确定。
数量 |
组件 |
推荐型号 |
|---|---|---|
机架 |
||
38 |
机架 (罗格朗) |
NVIDPD13 |
节点 |
||
127 |
GPU 节点 |
DGX H200 系统 |
4 |
UFM 设备 |
NVIDIA Unified Fabric Manager Appliance 3.1 |
5 |
管理服务器 |
基于 Intel 的 x86 2 路插槽，24 核或更多，384 GB RAM，OS (RAID 1 中的 2x480GB M.2 或 SATA/SAS SSD)，NVME 7.68 TB (原始容量)，4 个 HDR200 VPI 端口，TPM 2.0 |
以太网网络 |
||
8 |
带内管理 |
搭载 Cumulus Linux 的 NVIDIA SN4600C 交换机 |
8 |
带外管理 |
搭载 Cumulus Linux 的 NVIDIA SN2201 交换机 |
计算 InfiniBand Fabric |
||
48 |
Fabric 交换机 |
NVIDIA Quantum QM9700 交换机，920-9B210-00FN-0M0 |
存储 InfiniBand Fabric |
||
16 |
Fabric 交换机 |
NVIDIA Quantum QM9700 交换机，920-9B210-00FN-0M0 |
PDU |
||
96 |
机架 PDU |
Raritan PX3-5878I2R-P1Q2R1A15D5 |
12 |
机架 PDU |
Raritan PX3-5747V-V2 |
相关线缆和收发器在表 8 中列出。所有网络组件均为多模光纤。
数量 |
组件 |
连接 |
推荐型号 |
|---|---|---|---|
带内以太网线缆 |
|||
254 |
200 Gbps QSFP56 转 QSFP56 AOC |
DGX H200 系统 |
980-9I440-00H030 |
8 |
100 Gbps QSFP28 转 QSFP28 AOC |
管理节点 |
980-9I13N-00C030 |
4 |
100 Gbps QSFP28 CWDM4 |
上行链路至核心 DC |
980-9I17Q-00CM00 |
6 |
100 Gbps QSFP-QSFP DAC 无源铜缆 |
ISL 线缆 |
980-9I620-00C001 |
8 |
100 Gbps QSFP28 转 QSFP28 AOC |
核心 DC |
980-9I13N-00C030 |
24 |
100 Gbps QSFP28 转 QSFP28 AOC |
叶 - 核心线缆 |
980-9I13N-00C030 |
带外以太网线缆 |
|||
127 |
1 Gbps |
DGX H200 系统 |
Cat5e |
64 |
1 Gbps |
InfiniBand 交换机 |
Cat5e |
8 |
1 Gbps |
管理/UFM 节点 |
Cat5e |
8 |
1 Gbps |
带内以太网交换机 |
Cat5e |
2 |
1 Gbps |
UFM 背靠背 |
Cat5e |
108 |
1 Gbps |
PDU |
Cat5e |
4 |
QSFP 转 SFP+ 适配器 |
用于 UFM 连接 |
980-9I71G-00J000 |
4 |
以太网模块 SFP BaseT |
用于 UFM 连接 |
980-9I251-00IS00 |
16 |
100 Gbps AOC QSFP28 转 QSFP28 线缆 |
每个带外到带内两个上行链路 |
980-9I13N-00C030 |
各异 |
1 Gbps |
存储 |
Cat5e |
计算 InfiniBand 布线 |
|||
2040 |
NDR 线缆，400 Gbps |
DGX H200 系统到叶，叶到脊 |
980-9I570-00N030 |
1536 |
交换机 OSFP 收发器 |
叶和脊收发器 |
980-9I510-00NS00 |
508 |
系统 OSFP 收发器 |
DGX H200 系统中的收发器 |
980-9I51A-00NS00 |
4 |
UFM 系统收发器 |
UFM 到叶的连接 |
980-9I51S-00NS00 |
存储 InfiniBand 线缆¹ ² |
|||
502 |
NDR 线缆，400 Gbps |
DGX H100 系统到叶，叶到脊 |
980-9I570-00N030 |
48 |
NDR 线缆，200 Gbps |
存储 |
980-9I117-00H030 |
4 |
UFM 系统收发器 |
UFM 到叶的连接 |
980-9I51S-00NS00 |
369 |
交换机收发器 |
叶和脊收发器 |
980-9I510-00NS00 |
254 |
DGX 系统收发器 |
QSFP112 收发器 |
980-9I693-00NS00 |
各异 |
存储线缆，400 Gbps 转 2x200 Gbps AOC 线缆 |
各异 |
980-9I117-00H030 |
¹. 部件号将取决于根据数据中心要求所需的精确线缆长度。 ². 所需的数量和线缆类型取决于所选的特定存储。 |
|||