网络#
本文档是 NVIDIA DGX SuperPOD：采用 NVIDIA DGX H100 系统的数据中心设计 的一部分。
对网络设计和架构的详细 بررسی 超出了本文档的范围。有关网络架构、连接性和设备的深入 بررسی，请参阅 NVIDIA DGX SuperPOD 参考架构。在以下章节中，网络基础设施的讨论将仅限于其对数据中心设计考虑因素的影响。
同样，对数据中心布线和电缆管理技术的详细 بررسی 也超出了本文档的范围。有关更多信息，请参阅 数据中心布线。
电缆重量#
由于大量电缆穿过各种电缆通道，因此务必确保所有电缆通道都具有足够的尺寸和承重能力以承受负载。通常，在规划阶段，表 18 中显示的重量和尺寸可用于计算电缆通道设备（如电缆桥架、梯形架和应力消除装置）的承重要求，但这仅为一般指南。一旦确定要安装的电缆，请使用电缆的实际规格。
电缆类型 |
平均单根电缆直径 |
平均单根电缆重量 |
|---|---|---|
铜缆 |
9.43 毫米 ± 0.4 毫米 |
|
AOC 光纤 |
3.0 毫米 ± 0.4 毫米 |
|
中央管理机架以及上方支撑电缆通道中的电缆非常集中。电缆基础设施的预先规划是设计过程的关键部分。分析领域包括
机架顶部电缆穿透入口。
电缆桥架类型。
电缆桥架宽度和深度。
电缆桥架填充率。
结构负载/重量规划。
电缆管理装置。
所有电缆管理和通道设备的选择、安装和维护均应符合适用的行业标准，包括 ANSI/TIA、BICSI 和 NEMA。此外，其安装应符合所有当地适用的消防安全和电气规范，例如美国和墨西哥的《国家电气规范》(NEC)、加拿大的《加拿大电气规范》、《欧洲国际电工委员会》(IEC)、英国的《英国标准》(BS) 7671 以及法国的 NF C 15–100。
表 19 显示了计算结构组件和电缆计数。
SU 计数 |
集群大小 # 节点 |
集群大小 # GPU |
叶交换机 计数 |
脊交换机 计数 |
计算 + UFM 节点电缆 计数 |
脊叶电缆 计数 |
|---|---|---|---|---|---|---|
1 |
31a |
248 |
8 |
4 |
252 |
256 |
2 |
63 |
504 |
16 |
8 |
508 |
512 |
3 |
95 |
760 |
24 |
16 |
764 |
768 |
4 |
127 |
1016 |
32 |
16 |
1020 |
1024 |
a 这是每个 SU 32 个节点的设计；但是，必须移除一个 DGX H100 系统以适应 UFM 连接。
图 18 和图 19 显示了 SU 的典型架空电缆管理系统的前视图和后视图。
图 18. SU 的典型架空电缆管理 - 前视图#
图 19. 典型架空电缆管理细节 - 后视图#
选择架空电缆桥架设计时，请使用以下公式计算其可支撑的电缆数量
A = 桥架内部面积（平方英寸）
D = 电缆直径（英寸）
F = 填充率（百分比）
N = 电缆数量
N = (F/100) * (A / [(D/2)2 * π])
此公式可用于确定横截面积为 11.5 平方英寸（7,419 平方毫米）的桥架是支持 SU 中电缆体积的最小尺寸，如果电缆的平均直径为 3 毫米（例如 AOC 电缆）且最大桥架填充率为 50%（不建议将电缆桥架填充率高于 50%）。
应注意确保任何电缆桥架设备结构稳固，并根据其支撑电缆的重量进行设计。通常，电缆桥架的直线段每隔 5 英尺支撑一次，而弯曲段可能需要额外的支撑。任何长度大于 5 英尺的跨度都应进行评估，以确定是否需要额外的支撑。支撑应放置在电缆桥架结构中的任何拼接或接头或桥架高度过渡处 1 英尺范围内。支撑结构和固定支撑结构的锚固件应分别进行评估，以确保它们能够承受电缆、桥架设备和支撑结构的组合重量。
作为参考，对于单个 SU，光纤布线的结构负载为 508 根电缆 * 每根电缆每线性米 0.009 千克，即每线性米 4.57 千克（10 磅）。同样，此处说明的计算是一般指南，应根据要使用的实际电缆的具体数量的尺寸和重量规格进行计算。