设置

NCCL 是一个通信库,为高性能应用程序提供优化的 GPU 到 GPU 通信。与 MPI 不同,它不提供包括进程启动器和管理器的并行环境。因此,NCCL 依赖于应用程序的进程管理系统和 CPU 端通信系统来进行其自身的引导。

与 MPI 和其他针对性能优化的库类似,NCCL 不提供 GPU 之间的安全网络通信。因此,用户有责任确保 NCCL 在安全网络上运行,包括引导(由 NCCL_SOCKET_IFNAME 控制)和高速通信。