存储协议
有几种存储协议利用 InfiniBand 和 RDMA 的优势来实现性能提升(高吞吐量、低延迟和低 CPU 利用率)。在本章中,我们将讨论以下协议:
SCSI RDMA 协议 (SRP) 旨在充分利用 InfiniBand 架构提供的协议卸载和 RDMA 功能。
iSCSI 扩展 用于 RDMA (iSER) 是 iSCSI 数据传输模型的扩展,iSCSI 是一种用于 TCP/IP 的存储网络标准。它使用 iSCSI 组件,同时利用 RDMA 协议套件的优势。ISER 在各种存储目标(如 TGT、LIO、SCST)上实现,但超出本手册的范围。
有关各种 ISER 目标的配置步骤、故障排除和调试,以及基于 RDMA 的其他存储协议实现(如 Ceph over RDMA、nbdX 等),请参阅 Community 网站上的存储解决方案。
Lustre 是一种开源的并行分布式文件系统,通常用于大规模集群计算,支持领先的 HPC 模拟环境的许多需求。
NVM Express™ over Fabrics (NVME-oF)
NVME-oF 是一种网络存储技术规范,旨在使 NVMe 基于消息的命令能够通过以太网、光纤通道和 InfiniBand 等网络在主机和目标固态存储设备或系统之间传输数据。通过 RDMA Fabric 隧道传输 NVMe 命令可提供高吞吐量和低延迟。这是基于 SCSI 的存储网络协议的替代方案。
NVME-oF 目标卸载是新的 NVME-oF 标准目标(服务器)端在硬件中的实现。从 ConnectX-5 系列卡开始,所有常规 IO 请求都可以由 HCA 处理,HCA 使用对等 PCI 通信将 IO 请求直接发送到真实的 NVMe PCI 设备。这意味着,除了连接管理和错误流程外,在 NVME-oF 流量期间不会观察到 CPU 利用率。
有关更多信息,请参阅 Community 网站上的存储解决方案 (enterprise-support.nvidia.com/s/)。