考虑事项#
与任何周密计划的网络一样，采用 NVIDIA InfiniBand 或以太网解决方案的网络也应从逻辑网络设计和物理网络设计开始。本指南旨在指导线缆部署，将重点介绍物理网络设计的要素。但应注意，由于逻辑设计会影响物理设计，因此应首先完成逻辑设计，或与物理设计同步进行。
逻辑网络设计必须考虑：服务器、以太网交换机、InfiniBand 交换机、存储以及任何其他集群组件。物理网络设计将详细说明这些组件的布局方式，应包括：平面图、机架立面图和基础设施详细信息。最重要的是，从本指南的角度来看，物理网络设计将详细说明线缆信息，包括物理线缆路径、长度和备件。
制定物理网络设计涉及诸多考虑因素，遵循以下各节中的建议和指南将确保线缆部署的顺利和可维护性（图 32）。
图 32. 整洁部署的线缆
物理线缆路径#
无论交换机位于交换矩阵的 ToR 层、中间/聚合层还是核心/主导层， направленные к одному и тому же коммутатору в одной и той же стойке кабели должны быть разделены поровну, в пропорции 50/50. То есть половина кабелей будет проложена по левой стороне стойки, а половина — по правой, а затем к порту назначения. Такое разделение позволяет равномерно распределить большой объем многочисленных кабелей InfiniBand и, таким образом, уменьшить общее количество кабелей на любой одной стороне стойки. Кроме того, это обеспечивает более удобное обслуживание всего оборудования в стойке, гарантируя, что ни один кабель не проходит через середину стойки, препятствуя установке или снятию оборудования.
如果线缆从机架的底部和顶部引出，请按四分之一的方式布线。这将减少线缆所经过的组件侧面的拥堵。
选择线缆#
通常，由于光纤线缆能够跨越更远的距离、直径更小且性能更好，因此通常用于机架间布线。但是，当价格成为决定因素时，机架内线缆通常会选择无源铜缆，因为它们成本较低，并且非常适合短距离布线。有源铜缆比无源铜缆具有更长的长度，但不如光纤线缆长，并且价格介于两者之间。因此，有源铜缆适用于机架间和机架内布线。
应选择合适的线缆长度，以最大限度地减少机架内部和线缆管理中的松弛。根据设备邻近性、空间或成本限制，建议混合使用无源铜缆、有源铜缆和光纤线缆。在规划线缆长度时，请参考物理网络设计，特别注意平面图和机架立面图，这些文档将有助于选择合适的长度。
注意
线缆确实会带来一些轻微的延迟，因此最好将所有集群组件彼此靠近放置。
有源铜缆通常比无源铜缆更细，并且更容易安装在机架内。
光纤线缆更昂贵，但占用空间更小，重量也比铜缆轻。
同时使用无源和有源铜缆以最大限度地降低成本。
如果可能，同时使用铜缆和光纤线缆以最大限度地降低成本。
InfiniBand 线缆的故障率非常低。但是，与任何硬件组件一样，故障确实会发生。计划每 200 个端点配备一根额外的线缆。备件的长度必须与附近线缆的长度相匹配。或者，如果铺设了备用线缆，请确保线缆有足够的松弛度以连接到其他端口。
注意
NVIDIA 为线缆提供了一个独特的选项，即彩色编码的拉片。这些拉片可以帮助安装人员在实施过程中识别线缆。
选择机架#
对于使用高密度/主导交换机构建的大型多层交换矩阵，最佳实践是将交换机机箱放置在自己的机架中。该机架还应符合以下准则
采购超宽机架。
在垂直支撑和机架侧面之间留出 4-6 英寸（10-15 厘米）的距离。当使用铜缆时，这一点非常重要，因为铜缆的单根线缆直径较大。
请勿拆除前门、后门或侧面板。
在机架顶部和底部留出大约 4U 的空间。这将有助于在部署时操作线缆。
选择线缆管理#
线缆管理系统有不同的尺寸；请查看制造商的规格，并采购足够大的系统，以容纳大量的线缆和直径。在可能的情况下，加大线缆管理系统的尺寸，以便可以将线缆松弛部分容纳在机架外部。