Layer 1 数据中心速查表

您使用 NVIDIA Spectrum 交换机和 LinkX 收发器实现 Web 规模的参考表。

借助配备 LinkX 线缆和光模块的 NVIDIA Spectrum 交换机,您可以构建一个 Web 规模的可扩展且高效的数据中心。通过在其上运行 Cumulus Linux 网络操作系统,您可以利用全球最大数据中心运营商所拥有的数据中心自动化技术。

您有能力

  • 自定义您的网络应用程序
  • 自动化您的配置
  • 根据您的预算和需求,选择您想要的任何外形尺寸的硬件
  • 以一小部分成本构建像全球最大运营商一样的 Web 规模数据中心

Web 规模网络是构建网络的全新现代化方式。它让您能够访问智能软件,它是开放式和模块化的,并且使您能够轻松地自动化和扩展。

这份简短的指南提供了 NVIDIA 数据中心组件的参考。它包括 NVIDIA 以太网 Spectrum 交换机、LinkX Layer 1 产品和最常见的数据中心拓扑。

此外,您还可以在这里找到最常见的 Layer 1 术语和标准的解释。

数据中心术语

Clos - 一种多级网络架构,可优化带宽的资源分配。以 Charles Clos 的名字命名。
ToR - 机架顶部交换机,服务器连接到网络的位置。
Leaf - 也称为 ToR 或接入交换机。通常在指 Spine-Leaf 或 Clos 拓扑时使用。
Exit-Leaf - 连接到数据中心外部服务的 Leaf,包括防火墙、负载均衡器和互联网路由器。
Spine - 也称为聚合交换机、行末交换机或分配交换机。在 Spine-Leaf 或 Clos 拓扑中通常称为 Spine 交换机。
Super-Spine - 有时称为 Spine 聚合交换机、行末交换机或数据中心核心交换机。在三层 Clos 拓扑中通常称为 Super-Spine 交换机。
MLAG - 多机箱链路聚合。一对交换机在主动-主动架构中冗余运行并表现为单个逻辑交换机的能力。
Peerlink - 用于连接 MLAG 对中两台交换机的链路或绑定链路。
ECMP - 等价多路径路由。允许跨多个路由路径进行负载共享。
Layer 3 Fabric - 有时称为路由 Fabric。叶和 Spine 层之间具有 Layer 3 路由的网络。Layer 3 Fabric 允许 ECMP 增强叶-Spine 带宽。
OOB - 带外管理。一种较低速度(通常为 1Gbps 或更低)的网络,专用于基础设施管理,在高速叶和 Spine 网络之外。带外管理也是 1G 交换机管理接口的名称。
POD - 网络、存储和计算的单元,它们协同工作以提供网络服务。POD 是一种可重复的设计模式,可提供可扩展且更易于管理的数据中心。

常见数据中心架构

两层 Clos 架构(叶-Spine)

两层 Clos 或叶和 Spine 网络将每个叶连接到每个 Spine。Spine 之间没有连接。所有流量仅通过一个 Spine 交换机。在这种数据中心架构中,两个交换机级别使用路由 Fabric 连接。Spine 层由三个或更多交换机构建。通过在两层之间使用路由环境,消除了 Spine 上 MLAG 的需求,并允许在所有 Spine 之间进行等价多路径 (ECMP) 负载共享。使用 BGP-EVPN,可以通过使用 EVPN 多宿主 (EVPN-MH) 来消除 MLAG。这提供了双连接服务器冗余,同时消除了 MLAG 的复杂性。

三层 Clos 架构(叶-Spine-Super Spine)

对于更大的网络,可以逐步添加叶交换机,并在单个 POD 内与 Spine 层聚合。为了扩展数据中心并创建 POD,可以使用另一层标记为 Super-Spine 的交换机来聚合每个 POD 的 Spine 层。这种架构是三层 Clos 网络。

常见的主机到 ToR(叶)网络连接类型

MLAG

MLAG 是指两台交换机可以创建单个 LACP 或静态绑定,即使它们来自两个独立的设备。VRR(虚拟路由器冗余)使一对交换机能够充当高可用性 (HA) 和主动-主动服务器链接的单个网关。

EVPN 多宿主 (EVPN-MH)

EVPN 多宿主 (EVPN-MH) 是数据中心部署中专有 MLAG 协议的基于标准的替代方案。它提供全主动服务器连接,而无需 ToR 交换机之间的 Peerlink。
EVPN-MH 是基于标准的协议这一事实,使得与单个 BGP-EVPN 控制平面的多供应商互操作性成为可能。这种协议允许更轻松地部署数据中心,而无需理解和使用专有协议。

重分发邻居

重分发邻居守护程序动态监控 ARP 条目,以将这些 IP 地址重分发到 Fabric 中。当 MLAG 和 EVPN 不是服务器连接的可行替代方案时,重分发邻居非常有用。

NVIDIA Spectrum 系列数据中心交换机

本节包括数据中心部署中使用的所有 NVIDIA Spectrum 交换机外形尺寸

Spectrum 1RU 半宽 ToR

  • 交换容量:1.7Tbps (1.26Bpps)
  • 端口:18x25GbE SFP28 (NRZ) + 4x100GbE QSFP28 (NRZ)

最大端口功率支持

  • SFP28 端口 1-2, 17-18 高达 2.5W
  • SFP28 端口 3-16 高达 1.5W
  • QSFP28 端口 19-22 高达 4.5W

Spectrum 1RU 半宽 ToR

  • 交换容量:3.2Tbps (2.38Bpps)
  • 端口:16x100GbE QSFP28 (NRZ)

最大端口功率支持

  • QSFP28 端口 1-2, 15-16 高达 4.5W
  • QSFP28 端口 3-14 高达 3.5W

Spectrum 1RU 1GBase-T 管理交换机

  • 交换容量:448GBps
  • 端口:48x1GBase-T* RJ45 最远 100 米 (CAT5E/6) + 4x100GbE QSFP28 (NRZ)

*支持 10/100MBase-T

最大端口功率支持

  • QSFP28 端口 49-52 高达 5W

Spectrum 1RU ToR

  • 交换容量:3.2Tbps (2.38Bpps)
  • 端口:48x25GbE SFP28 (NRZ) + 8x100GbE QSFP28 (NRZ)

最大端口功率支持

  • SFP28 端口 1-2, 47-48 高达 4.5W
  • SFP28 端口 3-46 高达 1.5W
  • QSFP28 端口 49-50, 55-56 高达 5.0W
  • QSFP28 端口 51-54 高达 3.5W

Spectrum 1RU ToR/Spine

  • 交换容量:6.4Tbps (4.76Bpps)
  • 端口:32x100GbE QSFP28 (NRZ)

最大端口功率支持

  • QSFP28 端口 1-2, 31-32 高达 5.0W
  • QSFP28 端口 3-30 高达 3.5W

Spectrum-2 1RU ToR

  • 交换容量:4.8Tbps (3.58Bpps)
  • 端口:48x25G SFP28 (NRZ) + 12x100GbE QSFP28 (NRZ)

最大端口功率支持

  • SFP28 端口 1-6 高达 2.5W
  • SFP28 端口 7-48 高达 1.5W
  • QSFP28 端口 49-52, 54, 56, 58, 60 高达 3.5W
  • QSFP28 端口 53, 55, 57, 59 高达 5.0W

Spectrum-2 1RU ToR/Spine

  • 交换容量:6.4Tbps (4.76Bpps)
  • 端口:32x100G QSFP28 (NRZ)

最大端口功率支持

  • QSFP28 端口 1-2, 31-32 高达 5.0W
  • QSFP28 端口 3-30 高达 3.5W

Spectrum-2 1RU ToR/Spine

  • 交换容量:12.8Tbps (8.33Bpps)
  • 端口:32x200G QSFP56 (PAM4)

最大端口功率支持

  • QSFP56 端口 1-32 高达 5.0W

Spectrum-3 1RU ToR

  • 交换容量:8.0Tbps
  • 端口:24x200G QSFP56-DD (48x100GbE NRZ) + 8x400GbE QSFP56-DD (PAM4)

最大端口功率支持

  • QSFP56-DD 端口 1-32 高达 12.0W

Spectrum-3 2RU Spine/Super-Spine

  • 交换容量:12.8Tbps (8.4Bpps)
  • 端口:64x100GbE QSFP28 (NRZ)

最大端口功率支持

  • QSFP28 端口 1-48 高达 3.5W
  • QSFP28 端口 49-64 高达 5.0W

Spectrum-3 2RU Spine/Super-Spine

  • 交换容量:25.6Tbps (8.4Bpps)
  • 端口:64x200GbE QSFP56 (PAM4)

最大端口功率支持

  • QSFP56 端口 1-64 高达 5.0W

Spectrum-3 1RU Spine/Super-Spine

  • 交换容量:25.6Tbps (8.4Bpps)
  • 端口:32x400GbE QSFP56-DD (PAM4)

最大端口功率支持

  • QSFP56-DD 端口 1-32 高达 12.0W(在 C2P 风流模型中)

端口分拆配置

NVIDIA Spectrum 平台提供灵活的端口分拆选项,通过更少的端口/线缆利用率实现更高效的交换机到交换机或主机到交换机布线,同时提供与相同外形尺寸交换机相同的性能。

此平台有 4 个 QSFP28 (NRZ) 可分拆端口。

所有 QSFP28 (100GbE) 端口都可以分拆为 4xSFP28 (4x25GbE) 或 2xQSFP28 (2x50GbE)。

此平台有 16 个 QSFP28 (NRZ) 可分拆端口。

所有 QSFP28 (100GbE) 端口都可以分拆为 4xSFP28 (4x25GbE) 或 2xQSFP28 (2x50GbE)。

此平台有 4 个 QSFP28 (NRZ) 可分拆端口。

所有 QSFP28 (100GbE) 端口都可以分拆为 4xSFP28 (4x25GbE) 或 2xQSFP28 (2x50GbE)。

此平台有 4 个或 8 个 QSFP28 (NRZ) 可分拆端口。

顶部的 QSFP28 (100GbE) 端口可以分拆为 4xSFP28 (4x25GbE)。但是,在这种情况下,底部的 QSFP28 端口将被阻止。

所有 QSFP28 端口都可以分拆为 2xQSFP28 (2x50GbE) 而不会阻止端口。

此平台有 16 个或 32 个 QSFP28 (NRZ) 可分拆端口。

顶部的 QSFP28 (100GbE) 端口可以分拆为 4xSFP28 (10/25GbE)。但是,在这种情况下,底部的端口将被阻止。

所有 QSFP28 端口都可以分拆为 2xQSFP (2x50GbE) 而不会阻止端口。

此平台有 12 个 QSFP28 (NRZ) 可分拆端口。

所有 QSFP28 (100GbE) 端口都可以分拆为 4xSFP28 (4x25GbE) 或 2xQSFP28 (2x50GbE)。

此平台有 32 个 QSFP28 (NRZ) 可分拆端口。

所有 QSFP28 (100GbE) 端口都可以分拆为 4xSFP28 (4x25GbE) 或 2xQSFP28 (2x50GbE)。

此平台有 32 个 QSFP56 (PAM4) 可分拆端口。

所有 QSFP56 (200GbE) 端口都可以分拆为 4xSFP56 (4x50GbE) 或 2xQSFP56 (2x100GbE)。

所有分拆/未分拆端口也支持较低的 10/25/40GbE 速度。对于较低的速度,PAM4 会自动转换为 NRZ 编码。

此平台有 24 个 QSFP56-DD (NRZ) 和 8 个 QSFP56-DD (PAM4) 可分拆端口。

所有 QSFP56-DD 端口都是可分拆的。前 24 个(2x200GbE PAM4)端口只能分拆为 2xQSFP28 (2x100GbE NRZ)。
最后 8 个(400GbE PAM4)端口可以分拆为 2xQSFP56 (2x200GbE)、4xQSFP56 (4x100GbE) 或 8xSFP56 (8x50GbE)。

所有分拆/未分拆端口也支持较低的 10/25/40GbE 速度。对于较低的速度,PAM4 会自动转换为 NRZ 编码。

此平台有 32 个或 64 个 QSFP28 (NRZ) 可分拆端口。

每个 QSFP28 (100GbE) 端口都可以分拆为 4xSFP28 (4x25GbE)。但是,在这种情况下,其上方或下方的端口将被阻止。所有端口都可以分拆为 2xQSFP28 (2x50GbE) 而不会阻止端口。

此平台有 32 个或 64 个 QSFP56 (PAM4) 可分拆端口。

每个 QSFP56 (200GbE) 端口都可以分拆为 4xSFP28 (4x25GbE) 或 4xSFP56 (4x50GbE)。但是,在这种情况下,其上方或下方的端口将被阻止。所有端口都可以分拆为 2xSFP56 (2x50GbE) 或 2xQSFP56 (2x100GbE) 而不会阻止端口。

所有分拆/未分拆端口也支持较低的 10/25/40GbE 速度。对于较低的速度,PAM4 会自动转换为 NRZ 编码。

此平台有 16 个或 32 个 QSFP56-DD (PAM4) 可分拆端口。

每个 QSFP56-DD (400GbE) 端口都可以分拆为 8xSFP56 (8x50GbE)。但是,在这种情况下,其上方或下方的端口将被阻止。所有端口都可以分拆为 2xQSFP56 (2x200GbE) 或 4xQSFP56 (4x100GbE) 而不会阻止端口。

所有分拆/未分拆端口也支持较低的 10/25/40GbE 速度。对于较低的速度,PAM4 会自动转换为 NRZ 编码。

请在 交换机端口属性 页面查看所有平台的速度和分拆选项。

在 QSFP-to-SFP 适配器 (QSA) 的帮助下,单个 SFP (10/25/50G) 收发器可以用于 QSFP (100/200/400G) 端口。端口速度应通过 “nv set interface <interface> link speed <speed>” 命令设置为 SFP 速度。请勿将此端口配置为分拆端口。

超额认购计算

超额认购是主机带宽(下行链路)与网络容量(上行链路)之间的差异。这些计算是从 ToR 交换机的角度显示的。1:1 的超额认购率可确保没有网络瓶颈,但可能导致非高峰时段容量过剩。
理想的设计尝试接近 1:1 的超额认购率,但这完全取决于管理员需要的应用程序和容量。

Spectrum 产品组合提供阻塞式和非阻塞式 ToR 交换机。

此 ToR 交换机具有 450Gbps 到服务器的下行链路和 400Gbps 到网络的上行链路,超额认购率为 1.125:1 (450/400=1.125)。

此 ToR 交换机具有 1.2Tbps 到服务器的下行链路和 800Gbps 到网络的上行链路,超额认购率为 1.5:1 (1200/800=1.5)。

此 ToR 交换机具有 4.8Tbps 到服务器的下行链路和 3.2Tbps 到网络的上行链路,超额认购率为 1.5:1 (4800/3200=1.5)。

超额认购率:800GbE/800GbE = 1,表示为 1:1 超额认购。
此型号的外形尺寸为 ½ 宽度 RU,因此两个可以放置在 1RU 中,并通过 Layer 2 冗余 (MLAG) 提供 1:1 超额认购率。

超额认购率:1600GbE/1600GbE = 1,表示为 1:1 超额认购。

超额认购率:1200GbE/1200GbE = 1,表示为 1:1 超额认购。

超额认购率:1600GbE/1600GbE = 1,表示为 1:1 超额认购。

超额认购率:3200GbE/3200GbE = 1,表示为 1:1 超额认购。

使用更高容量的交换机(Spine/Super-Spine)作为 ToR 交换机,也可以提供 1:1 的超额认购率。

以太网光模块和线缆

本节包括数据中心内使用的 NVIDIA LinkX 光模块和线缆术语。LinkX 产品组合提供各种 DAC、AOC 线缆和光收发器,以提供最高效的数据中心元件互连和最佳性能。

收发器调制方案

100GbE 及以下使用不归零 (NRZ) 调制方案来传输流量。200GbE 及以上过渡到脉冲幅度调制 4 级 (PAM4) 调制方案。PAM4 使 NRZ 速率加倍,同时保持相同的 25GHz 时钟和低成本连接器。

NRZ 和 PAM4 信令彼此不兼容,因为 NRZ 基于 1 位/时钟,而 PAM4 基于 2 位/时钟。要连接两种具有不同调制类型的端,需要一个特殊的转换器。此转换器称为“齿轮箱”,它位于收发器或交换机系统内部。NVIDIA 提供包含内部齿轮箱的光收发器,并允许此类连接(例如,8x50G PAM4 到 4x100G NRZ)。

NRZ 调制速度使用 1、10 或 25G 的倍数时钟。
以下接口配置受 NRZ 支持

  • 1GbE (1x1G)
  • 10GbE (1x10G)
  • 25GbE (1x25G)
  • 40GbE (4x10G)
  • 50GbE (2x25G)
  • 100GbE (4x25G)

PAM4 调制速度 - 使用 50 或 100g 的倍数时钟。
以下接口配置受 PAM4 支持(高于 100G)

  • 200GbE (4x50G)
  • 400GbE (8x50G 或 4x100G)
  • 800GbE (8x100G)

收发器外形尺寸

SFP+ - 小型可插拔增强型。SFP+ 支持使用 NRZ 信令的单通道 10 千兆以太网。

SFP28 - 小型可插拔 28。SFP28 支持使用 NRZ 信令的单通道 25 千兆以太网。

QSFP28 - 四通道小型可插拔 28。QSFP28 支持使用 NRZ 信令的四通道 25 千兆以太网 (4x25=100Gbp/s)。

SFP56 - 小型可插拔 56。SFP56 支持使用 PAM4 信令的单通道 50 千兆以太网。

SFP-DD - 小型可插拔双密度。SFP-DD 支持使用 PAM4 信令的双通道 50 千兆以太网链路 (2x50=100Gbp/s)。

QSFP56 - 四通道小型可插拔 56。QSFP56 支持使用 PAM4 信令的四通道 50 千兆以太网 (4x50=200Gbp/s)。

QSFP56-DD - 四通道小型可插拔双密度。QSFP56-DD 支持使用 PAM4 信令的八通道 50 千兆以太网链路 (8x50=400Gbp/s)。

收发器速度支持性

此表显示每种收发器类型支持的速度

速度SFP+SFP28SFP56QSFP+QSFP28QSFP56QSFP56-DD
1G
10G
25G
40G
50G
100G
200G
400G

线缆和收发器类型

DAC - 直接连接铜缆。一种由收发器和线缆组合而成的线缆类型。

AOC - 有源光缆。一种类似于 DAC 的线缆类型,其中收发器和线缆组合在一起,但它使用多模或单模光纤而不是铜缆。与 DAC 相比,AOC 提供更长的距离和更轻的重量。

分拆线缆(分线器) - 用于将单个 QSFP 端口分拆为两个或四个 SFP 端口。AOC 和 DAC 线缆都可以设计有分线器。两种类型都支持所有可用的端口速度和编码,包括 NRZ 到 PAM4 转换,例如 100GbE 到 4x25GbE NRZ,200GbE 到 4x25GbE PAM4。

光收发器 - 使用激光通过可插拔光纤传输和接收数据。光纤可以是多模或单模,具体取决于收发器类型。

QSA - QSFP 到 SFP 适配器。此适配器用于将任何 QSFP 端口转换为 SFP。
有几种类型的 QSA,每种都适用于不同的 SFP/QSFP 类型

  • QSA+ - 40GbE QSFP+ 到 10GbE SFP+ (NRZ)
  • QSA28 - 100GbE QSFP28 到 25GbE SFP28 (NRZ)
  • QSA56 - 200GbE QSFP28 到 50GbE SFP56 (PAM4)

光收发器类型

短距离 (SR) - 这包括 SR、SR4 和 SR8 短距离收发器,最远可达 100 米。使用多模光纤时,SR 使用单通道进行 10/25/50GbE 链路。SR4 使用四通道,用于 40/100/200GbE 链路。SR4 可以作为单个(四通道)链路(例如,100G PAM4)或四个独立的链路(例如,4x10G PAM4 分拆)运行。400GbE 速度基于 SR8 多模收发器。
注意:40GbE-SR4 最远可达 150 米。

并行单模 (PSM4) - 并行单模收发器,最远可达 2 公里。PSM4 在单模光纤上使用 1310nm 激光器。它使用四通道,用于 100/200GbE 链路。

CWDM4 (FR4) - 粗波分复用或远距离收发器,最远可达 2 公里。它们在单模光纤上使用 1310nm 激光器。

SWDM4 - 短波分复用收发器,最远可达 100 米。它们在多模光纤上使用 850nm 激光器。这是 CDWM4 的多模版本。

长距离 (LR) - 这包括 LR 和 LR4 收发器,它们在单模光纤上使用 1310nm 激光器。LR 使用单通道进行 10/25GbE 链路。LR4 使用四个以 1300nm 为中心的光通道,并将它们复用到单模光纤的单股上。它用于 40/100GbE 链路,最远可达 10 公里。

扩展距离 (ER) - 这包括 ER 和 ER4 10GBASE-ER 扩展距离收发器,它们在单模光纤上使用 1550nm 激光器。40GBASE-ER4 和 100GBASE-ER4 使用四个以 1300nm 为中心的不同波长的光,并将它们复用到单模光纤的单股上。一些 ER 光模块最远可达 40 公里。

数据中心距离 (DR) - 这包括 DR1 和 DR4。DR1 使用 1 通道 100GbE PAM4,带有一个齿轮箱,可转换为 4 通道 25GbE NRZ。DR4 执行相同的操作,但从 400GbE PAM4 转换为较旧的 NRZ 设备。这些光纤用于数据中心内。

光纤连接器类型

MPO - 多位置推入式。支持多模和单模光纤。它是水绿色的,只能与 QSFP 外形尺寸和 SR/SR4 收发器一起使用。

MPO/APC - 具有倾斜抛光连接器的多位置推入式。其连接器在光纤上具有倾斜抛光,以减少光线反射回激光器。它是绿色的,用于单模 PSM4/DR4/DR8 和多模 SR8 收发器(与 SR4 不兼容)。

LC - 朗讯连接器。一种在高密度光纤连接器,在可插拔模块上找到。它们通常成对存在,一个用于发射,一个用于接收。可与 SFP 和 QSFP 外形尺寸一起使用。多模光纤为水绿色,单模光纤为黄色。

光纤 TIA 标准颜色代码

电信行业协会 (TIA) 获得了美国国家标准协会 (ANSI) 的认可,可以制定自愿的、基于共识的行业标准。许多数据中心使用各种颜色的线缆,并且不遵守标准。

颜色收发器类型
黄色单模光纤 (OS1 或 OS2)
橙色多模光纤 (OM1 或 OM2)
水绿色多模光纤 (OM3, OM4)
石楠紫多模光纤 (OM4+)
石灰色多模光纤 (OM5)
黑色DAC 以太网电缆