电气规格#

本文档是NVIDIA DGX SuperPOD：数据中心设计，搭载 NVIDIA DGX H100 系统的一部分。

使用本文档了解以下内容

数据中心电源配置#

DGX SuperPOD 通常以每个机架四个 DGX H100 系统的机架密度进行部署，尽管也可以采用较低机架密度的部署。结合国际电压和电路保护规范，为数据中心产生了通用的电源配置模式。使用通过 200-240 VAC 认证的组件的 DGX H100 电源系统可以在全球范围内部署。在兼容步骤中选择的连接器、配电箱、熔断器、断路器和线规简化了认证和安装。机架配电单元 (rPDU) 通常通过将三相输入电源电路分成三个独立的单相电路来获得 200-240 VAC 单相电源。

表 8 确定了最常见的供电/配电电压和电流，它们可以支持已定义的 SU 部署模式。

表 8. 与 DGX H100 机架兼容的常用配电方案#

相

配电

电压

线路

电压

安培

断路器

降额

电路

容量

千瓦1

最大

支持的

DGX H100

系统

每个机架2,3

峰值

服务器

需求

每

电路

千瓦2

闲置

容量

在峰值

需求

千瓦2

1Φ

230

230

63

100%

13.7

2

10.2

3.5

3Φ Δ

208

208

60

80%

32.8

4

20.4

12.4

3Φ Y

400

230

32

100%

21

4

20.4

0.6

3Φ Y

415

240

32

100%

21.8

4

20.4

1.4

3Φ Y

415

240

60

80%

32.7

4

20.4

12.3

  1. 0.95 功率因数。

  2. 基于三电路 N+1 电源配置方案，其中任何电路的负载均不超过 50%。

  3. 由于热力学方面的考虑，不建议机架密度大于 4 个 DGX H100 系统

高密度部署模式的首选电源为 415 VAC、32A、三相、N+1。该设计可以修改为支持其他供电电压方案，具体取决于每个机架的服务器数量。为每个 rPDU 供电的电源必须来自独立的数据中心落地式或母线槽 PDU。所有电源馈送都必须由设施级 UPS 和发电机备用电源支持，以降低断电风险。

电源冗余#

通常，数据中心应达到或超过 Uptime Institute Tier 3 设计标准，或者 TIA942-B Rated 3 或 EN50600 Availability Class 3 设计标准，包括并发可维护性和无单点故障。

除了这些基本标准之外，DGX H100 系统对电源冗余和弹性还有额外的要求。该系统包括六个内部电源单元。服务器要运行，必须通电四个电源单元。

注意

要使系统运行，六个电源中必须有四个通电。这是一个关键的数据中心设计考虑因素。

多节点 AI 工作负载中单个系统的故障将导致所有系统上的整个作业停止。在系统可用性至关重要且工作无法恢复（例如，从检查点）的环境中，必须为每个机架配置至少三个电源（由离散的上游配电路径馈送的 rPDU）。这些电源中的每一个都将连接到每个系统上六个系统电源中的两个，从而保证任何一个电源发生故障或维护事件时，至少有四个系统电源保持通电。

由于此要求，数据中心必须至少提供 N+1 电源，其中 N 等于两个电源。每个电源的容量必须能够支持总峰值负载的 50%。此要求仅适用于 DGX H100 系统机架。管理机架可以使用传统的 2N 冗余供电，使用两个电源馈送。

以下插图和表格描述了三种电源配置设计概念，每种概念都有其自身的优点和缺点。其他电源配置解决方案也是可能的，具体取决于给定数据中心站点的独特电源系统架构。请咨询 NVIDIA 以确定备用解决方案是否满足 DGX SuperPOD 可用性要求。

传统冗余电源#

对于由两个市电馈线或两个 UPS 为机架供电的数据中心，图 4 和表 9 描述了每个 DGX 系统的传统电源配置。

Traditional redundant power provisioning pattern

图 4. 传统冗余电源配置模式#

表 9. 传统冗余电源配置的优点/缺点#

优点

为典型的 IT 和网络设备提供基本的 2N 电源冗余。足以满足管理机架的需求，但不适用于 DGX H100 系统机架。与几乎所有数据中心兼容。

缺点

在发生一个电源故障期间，DGX H100 系统上通电的 PSU 数量将降至四个以下，从而导致该系统关闭。在故障发生时在该系统上运行的任何活动 AI 工作负载都将停止，从而导致所有系统上的该作业中断。

等级

不可接受用于 DGX H100 系统

N+1 配置#

图 5 和表 10 说明了具有两个 UPS 为机架提供三个电源路径的数据中心的典型配置。在可能的情况下，应分配负载，以便一个机架具有来自 UPS B 的两个馈送，下一个机架具有来自 UPS A 的两个馈送，以重复模式排列。这最大限度地减少了对任何给定 UPS 电源的依赖性，并平衡了它们之间的负载。

N+1 power provisioning pattern

图 5. N+1 电源配置模式#

表 10. N+1 电源配置模式 — 优点/缺点#

优点

提供基本的电源冗余，以及在本地断电或由系统 PSU、单个 rPDU 或落地式 PDU/RPP 断路器引起的维护事件期间支持 AI 工作负载的能力。与大多数数据中心兼容。

缺点

增加了复杂性和成本。三个 rPDU（为总共四个系统 PSU 供电）中的两个由同一上游 UPS 电源供电。因此，影响该上游 UPS 的故障或维护事件将导致系统断电。

等级

可接受。容错能力足以应对最常见的故障模式，但仍存在一些未缓解的风险

增强型 N+1 配置#

图 6 和表 11 说明了使用三个独立的 UPS 系统，提供三个独立的配电路径的电源配置方案。

Enhanced N+1 power provisioning pattern

图 6. 增强型 N+1 电源配置模式#

表 11. 增强型 N+1 电源配置模式#

优点

在影响单个上游配电路径的断电或维护事件期间，既提供容错能力，又提供支持 AI 工作负载的能力。每个 rPDU 都由一个独立的上游 UPS/配电路径供电。

缺点

许多数据中心的设计未提供来自三个独立的上游 UPS/配电路径的电源。

等级

可接受。最大化性能和可靠性的最佳配置模式。

规划和部署电源连接#

将交流电源连接到机架和系统时，请遵循以下最佳实践指南

  • 验证每个服务器机架的交流电源冗余。如果未满足这些要求，可能会发生中断。

  • 在将电源连接到 rPDU 和系统部署之前，完成数据中心内的电源配置。

  • 请电工或合格的设施代表验证每个落地式 PDU 和为机架供电的各个电路提供的 kVA 是否在规格范围内。

  • 标记所有电源连接，以指示电源来源（PDU 编号）和每个 PDU 中使用的特定断路器编号。

  • 对电源线缆（和相关的 rPDU）进行颜色编码，以帮助确保维护冗余。

  • 清楚地标记 PDU 内每个断路器所服务的设备。

  • 将数据中心机架接地/连接到电信接地，而电信接地又将连接到设施接地系统。

  • 在打开系统之前，请电工或合格的设施代表验证是否已提供来自单独冗余 PDU 的三个或更多电源连接。

  • 请电工执行交流验证测试，方法是关闭为每个机架电源条供电的各个断路器，以验证是否在每个机架中实现了电源冗余。

机架配电单元 (rPDU) 选择#

本节介绍了提供冗余电源的不同选项。三个必需的电源输入路径中的每一个都必须支持机架预期峰值功率的一半。但是请记住，对于典型的 N+1 配置模式，三个电源路径中的两个最终将在某个上游交汇点（例如房间 PDU 或 UPS）汇合，因此该交汇点仍必须能够管理每个下游机架的全部峰值负载。

rPDU 功能应包括用于自动化的远程电源监控 Rest API 功能，以及机架温度/湿度监控。

为了最佳地集成到 DGX SuperPOD 架构中，NVIDIA 建议尽可能使用 Raritan、Vertiv/Geist 或 ServerTech rPDU。

由于线缆管理和机柜深度限制，以及可能要部署的 rPDU 数量，可能需要水平 rPDU。只有在宽度和深度足够的机架中，垂直 (0U) rPDU 才是可选的，在这些机架中，它们不会阻碍访问系统机箱背面的任何部分，并且应安装在机架背面的最后端安装点处。最多可以安装两个垂直 PDU，因此其余 rPDU 必须是水平的。可以咨询 NVIDIA，根据目标数据中心的电源配置规范提供 rPDU 建议。NVIDIA 还可以根据选定的 rPDU 提供电源插座映射建议，以确保跨多个 PDU 的适当电气相位/负载平衡。

相位平衡#

三相电路各相之间的功耗应尽可能平衡。简单来说，当三相电路中的一相上的负载比所有三相的平均负载消耗更多电流时，就称该三相电路是不平衡的。这会带来一些负面影响，包括可能的导体热降额、适当电气相角的偏差、上游变压器可能损坏、故障切换事件期间意外的断路器跳闸，以及最明显的是，如果一相在其他相之前达到 100% 利用率，则其他相的功率容量将被闲置。

虽然通常不可能完美地平衡所有三相的利用率，但最大限度地减少各相之间的差异是非常有利的。图 7 显示，A 相已达到 100% 利用率，而 B 相和 C 相分别还有 25% 和 50% 的容量可用。由于不平衡的利用模式，未使用的容量实际上被闲置了。

Unbalanced phase utilization

图 7. 不平衡的相位利用率#

因此，每个系统的每个 PSU 都应连接到 rPDU 上的不同“相”（或相位）。rPDU 的板载计量功能提供了每相或每电路功耗的指示，以帮助评估相位平衡。在具有潜在复杂电源配置方案的系统中，例如 DGX SuperPOD，相位平衡尤为重要。

需要两个系统机架来平衡相位，同时保持 N+1 设计的可用性和性能特性。图 8 和表 12 描述了机架 1，图 9 和表 13 描述了机架 2。系统上的 PSU 成对分组，每对从特定 rPDU 上的已定义相位供电。请注意，对于每个共享公共上游 UPS 电源的 PDU，其馈线电路都来自不同的落地式 PDU 或母线槽，以最大限度地提高上游多样性。为了说明的清晰起见，每个机架仅描绘了两个系统。但是，相同的模式也适用于更高的机架密度。

N+1 Phase balancing scheme—rack 1

图 8. N+1 相位平衡方案 — 机架 1#

表 12. N+1 电源的逻辑相位平衡表 — 机架 1#

UPS/发电机

落地式 PDU

rPDU

PSU 相位分配

DGX H100 #1

DGX H100 #2

PSU1

PSU2

PSU3

PSU4

PSU5

PSU6

PSU1

PSU2

PSU3

PSU4

PSU5

PSU6

电源路径 A

PDU1

rPDU A1

A

B

C

A

电源路径 A

PDU2

rPDU A2

B

C

A

B

电源路径 B

PDU1

rPDU B1

A

B

C

A
N+1 Phase balancing scheme—rack 2

图 9. N+1 相位平衡方案 — 机架 2#

表 13. N+1 电源的逻辑相位平衡表 — 机架 2#

UPS/发电机

落地式 PDU

rPDU

PSU 相位分配

DGX H100 #1

DGX H100 #2

PSU1

PSU2

PSU3

PSU4

PSU5

PSU6

PSU1

PSU2

PSU3

PSU4

PSU5

PSU6

电源路径 A

PDU1

rPDU A1

C

A

B

C

电源路径 B

PDU1

rPDU B1

B

C

A

B

电源路径 B

PDU2

rPDU B2

C

A

B

C

对于增强型 N+1 电源，相位平衡方案稍微简单一些。与 N+1 一样，需要两个机架（图 10 和表 14 适用于机架 1，图 10 和表 14 适用于机架 2）来完成相位平衡模式。

Enhanced N+1 Phase balancing scheme—rack 1

图 10. 增强型 N+1 相位平衡方案 — 机架 1#

表 14. 增强型 N+1 电源的逻辑相位平衡表 — 机架 1#

UPS/发电机

落地式 PDU

rPDU

PSU 相位分配

DGX H100 #1

DGX H100 #2

PSU1

PSU2

PSU3

PSU4

PSU5

PSU6

PSU1

PSU2

PSU3

PSU4

PSU5

PSU6

电源路径 A

PDU1

rPDU A1

A

B

C

A

电源路径 B

PDU1

rPDU B1

A

B

C

A

电源路径 B

PDU2

rPDU B2

A

B

C

A
Enhanced N+1 Phase balancing scheme—rack 2

图 11. 增强型 N+1 相位平衡方案 — 机架 2#

表 15. 增强型 N+1 电源的逻辑相位平衡表 — 机架 2#

UPS/发电机

落地式 PDU

rPDU

PSU 相位分配

DGX H100 #1

DGX H100 #2

PSU1

PSU2

PSU3

PSU4

PSU5

PSU6

PSU1

PSU2

PSU3

PSU4

PSU5

PSU6

电源路径 A

PDU1

rPDU A1

B

C

A

B

电源路径 B

PDU1

rPDU B1

B

C

A

B

电源路径 B

PDU2

rPDU B2

B

C

A

B
在本页上