InfiniBand 电缆入门概述#
InfiniBand 贸易协会成立于 1999 年，旨在解决数据中心的两个根本问题
CPU 计算能力和网络速度之间的差距持续扩大——“I/O 没有摩尔定律”。
网络类型（以太网、光纤通道和专有的高性能计算 (HPC)）的激增消耗了每个服务器的许多 I/O 插槽和大量的机架空间用于交换。
追求“一个用于消息传递、存储和 HPC 的网络”，可以满足小型和超大型数据中心的需求，从而产生了这些 InfiniBand 设计要点
本地支持服务器到服务器的内存访问 — 远程直接内存访问 (RDMA)。
无损交换网络 — 无丢包。
直通交换 — 数据包可能在出站交换机端口开始传输，同时仍在入站端口接收。
操作系统 (OS) 旁路和服务器内零内存复制。
I/O 适配器完全卸载传输层。
具有向后兼容性的可扩展链路层（电缆）性能。
网络性能增长的战略愿景。
电缆是 InfiniBand 性能、可扩展性和面向未来能力的关键要素。为了实现可扩展的性能，InfiniBand 实现了多通道电缆架构，将串行数据流条带化到 N 个以相同信号速率运行的并行物理链路中。图 2 显示了 1、4 和 12 个并行通道的三种链路宽度，分别称为 1X、4X 和 12X。
图 2. 1X、4X 和 12X 链路宽度
在铜缆中，每个通道使用四个导体 — 两对差分对，一对用于发射，一对用于接收。光缆每个通道使用两根光纤，一根用于发射，另一根用于接收。
自 InfiniBand 诞生以来，性能提高了 25 倍。从最初的规范单数据速率 (SDR) 到当前版本 (HDR)，多年来性能一直在不断提高。表 1 总结了 InfiniBand 几代的过去、现在和计划的未来。
表 1. InfiniBand 世代
名称 |
每通道信号速率 (Gbps) |
4X 链路的有效带宽 (Gbps)¹ |
连接器 |
年份 |
|---|---|---|---|---|
SDR |
2.5 |
8 |
CX4 |
2003 |
DDR |
5 |
16 |
CX4 |
2006 |
QDR |
10 |
32 |
QSFP |
2008 |
FDR10 |
10 |
39 |
QSFP |
2013 |
FDR |
14 |
54 |
QSFP |
2013 |
EDR |
25 |
97 |
QSFP28 |
2015 |
HDR |
50 |
200 |
QSFP56 |
2019 |
NDR |
100 |
400 |
OSFP |
2021 |
XDR |
250 |
800 |
待定 |
2023² |
¹. 考虑了位编码开销 ². XDR 计划在 2023 年之后。 |
||||
在 200 Gbps InfiniBand (HDR) 出现之前，4X 电缆是主要的宽度。HDR 引入了一种名为 HDR100 的变体，它使用两条 50 Gbps 的通道来提供总共 100 Gbps 的带宽。计划推出类似的 NDR 双链路变体 NDR200。这些双通道格式有效地使交换机密度翻倍，从而降低总体成本。