使用 NCCL

使用 NCCL 类似于在代码中使用任何其他库

  1. 在您的系统上安装 NCCL 库
  2. 修改您的应用程序以链接到该库
  3. 在您的应用程序中包含头文件 nccl.h
  4. 创建通信器（请参阅 创建通信器）
  5. 使用 NCCL 集体通信原语来执行数据通信。您可以熟悉 NCCL API 文档，以最大限度地提高您的使用性能。

集体通信原语是在一组 CUDA 设备之间进行数据传输的常见模式。通信算法涉及许多处理器协同通信。每个 CUDA 设备在通信组中都由一个从零开始的索引或等级标识。每个等级使用一个通信器对象来引用旨在协同工作的 GPU 集合。创建通信器是在启动任何通信操作之前需要的第一步。