数据指针¶
通常,NCCL 将接受任何可从与通信器对象关联的 CUDA 设备访问的 CUDA 指针。 这包括
- CUDA 设备本地的设备内存
- 使用 CUDA SDK API cudaHostRegister 或 cudaGetDevicePointer 注册的主机内存
- 托管和统一内存
唯一的例外是位于另一个设备上但可以使用对等访问从当前设备访问的设备内存。 在这种情况下,NCCL 将返回错误以避免编程错误(仅当 NCCL_CHECK_POINTERS=1 自 2.2.12 起)。
通常,NCCL 将接受任何可从与通信器对象关联的 CUDA 设备访问的 CUDA 指针。 这包括
- CUDA 设备本地的设备内存
- 使用 CUDA SDK API cudaHostRegister 或 cudaGetDevicePointer 注册的主机内存
- 托管和统一内存
唯一的例外是位于另一个设备上但可以使用对等访问从当前设备访问的设备内存。 在这种情况下,NCCL 将返回错误以避免编程错误(仅当 NCCL_CHECK_POINTERS=1 自 2.2.12 起)。