目录

• 1. 简介
  • 1.1. 使用 GPU 的优势
  • 1.2. CUDA®：通用并行计算平台和编程模型
  • 1.3. 可扩展的编程模型
  • 1.4. 文档结构
• 2. 编程模型
  • 2.1. 内核
  • 2.2. 线程层次结构
    • 2.2.1. 线程块集群
  • 2.3. 内存层次结构
  • 2.4. 异构编程
  • 2.5. 异步 SIMT 编程模型
    • 2.5.1. 异步操作
  • 2.6. 计算能力
• 3. 编程接口
  • 3.1. 使用 NVCC 进行编译
    • 3.1.1. 编译工作流程
      • 3.1.1.1. 离线编译
      • 3.1.1.2. 即时编译
    • 3.1.2. 二进制兼容性
    • 3.1.3. PTX 兼容性
    • 3.1.4. 应用程序兼容性
    • 3.1.5. C++ 兼容性
    • 3.1.6. 64 位兼容性
  • 3.2. CUDA 运行时
    • 3.2.1. 初始化
    • 3.2.2. 设备内存
    • 3.2.3. 设备内存 L2 访问管理
      • 3.2.3.1. 为持久访问预留 L2 缓存集
      • 3.2.3.2. 持久访问的 L2 策略
      • 3.2.3.3. L2 访问属性
      • 3.2.3.4. L2 持久性示例
      • 3.2.3.5. 将 L2 访问重置为正常
      • 3.2.3.6. 管理 L2 预留缓存集的利用率
      • 3.2.3.7. 查询 L2 缓存属性
      • 3.2.3.8. 控制用于持久内存访问的 L2 缓存预留大小
    • 3.2.4. 共享内存
    • 3.2.5. 分布式共享内存
    • 3.2.6. 页锁定主机内存
      • 3.2.6.1. 可移植内存
      • 3.2.6.2. 写入合并内存
      • 3.2.6.3. 映射内存
    • 3.2.7. 内存同步域
      • 3.2.7.1. 内存栅栏干扰
      • 3.2.7.2. 使用域隔离流量
      • 3.2.7.3. 在 CUDA 中使用域
    • 3.2.8. 异步并发执行
      • 3.2.8.1. 主机和设备之间的并发执行
      • 3.2.8.2. 并发内核执行
      • 3.2.8.3. 数据传输和内核执行的重叠
      • 3.2.8.4. 并发数据传输
      • 3.2.8.5. 流
        • 3.2.8.5.1. 流的创建和销毁
        • 3.2.8.5.2. 默认流
        • 3.2.8.5.3. 显式同步
        • 3.2.8.5.4. 隐式同步
        • 3.2.8.5.5. 重叠行为
        • 3.2.8.5.6. 主机函数（回调）
        • 3.2.8.5.7. 流优先级
      • 3.2.8.6. 程序化依赖启动和同步
        • 3.2.8.6.1. 背景
        • 3.2.8.6.2. API 描述
        • 3.2.8.6.3. 在 CUDA 图中使用
      • 3.2.8.7. CUDA 图
        • 3.2.8.7.1. 图结构
          • 3.2.8.7.1.1. 节点类型
          • 3.2.8.7.1.2. 边数据
        • 3.2.8.7.2. 使用图 API 创建图
        • 3.2.8.7.3. 使用流捕获创建图
          • 3.2.8.7.3.1. 跨流依赖性和事件
          • 3.2.8.7.3.2. 禁止和未处理的操作
          • 3.2.8.7.3.3. 失效
        • 3.2.8.7.4. CUDA 用户对象
        • 3.2.8.7.5. 更新实例化的图
          • 3.2.8.7.5.1. 图更新限制
          • 3.2.8.7.5.2. 整个图更新
          • 3.2.8.7.5.3. 单个节点更新
          • 3.2.8.7.5.4. 单个节点启用
        • 3.2.8.7.6. 使用图 API
        • 3.2.8.7.7. 设备图启动
          • 3.2.8.7.7.1. 设备图创建
            • 3.2.8.7.7.1.1. 设备图要求
            • 3.2.8.7.7.1.2. 设备图上传
            • 3.2.8.7.7.1.3. 设备图更新
          • 3.2.8.7.7.2. 设备启动
            • 3.2.8.7.7.2.1. 设备启动模式
              • 3.2.8.7.7.2.1.1. 即发即弃启动
              • 3.2.8.7.7.2.1.2. 图执行环境
              • 3.2.8.7.7.2.1.3. 尾部启动
                • 3.2.8.7.7.2.1.3.1. 尾部自启动
              • 3.2.8.7.7.2.1.4. 同级启动
        • 3.2.8.7.8. 条件图节点
          • 3.2.8.7.8.1. 条件句柄
          • 3.2.8.7.8.2. 条件节点主体图要求
          • 3.2.8.7.8.3. 条件 IF 节点
          • 3.2.8.7.8.4. 条件 WHILE 节点
      • 3.2.8.8. 事件
        • 3.2.8.8.1. 事件的创建和销毁
        • 3.2.8.8.2. 经过时间
      • 3.2.8.9. 同步调用
    • 3.2.9. 多设备系统
      • 3.2.9.1. 设备枚举
      • 3.2.9.2. 设备选择
      • 3.2.9.3. 流和事件行为
      • 3.2.9.4. 对等内存访问
        • 3.2.9.4.1. Linux 上的 IOMMU
      • 3.2.9.5. 对等内存复制
    • 3.2.10. 统一虚拟地址空间
    • 3.2.11. 进程间通信
    • 3.2.12. 错误检查
    • 3.2.13. 调用堆栈
    • 3.2.14. 纹理和表面内存
      • 3.2.14.1. 纹理内存
        • 3.2.14.1.1. 纹理对象 API
        • 3.2.14.1.2. 16 位浮点纹理
        • 3.2.14.1.3. 分层纹理
        • 3.2.14.1.4. 立方体贴图纹理
        • 3.2.14.1.5. 立方体贴图分层纹理
        • 3.2.14.1.6. 纹理 Gather
      • 3.2.14.2. 表面内存
        • 3.2.14.2.1. 表面对象 API
        • 3.2.14.2.2. 立方体贴图表面
        • 3.2.14.2.3. 立方体贴图分层表面
      • 3.2.14.3. CUDA 数组
      • 3.2.14.4. 读/写一致性
    • 3.2.15. 图形互操作性
      • 3.2.15.1. OpenGL 互操作性
      • 3.2.15.2. Direct3D 互操作性
        • 3.2.15.2.1. Direct3D 9 版本
        • 3.2.15.2.2. Direct3D 10 版本
        • 3.2.15.2.3. Direct3D 11 版本
      • 3.2.15.3. SLI 互操作性
    • 3.2.16. 外部资源互操作性
      • 3.2.16.1. Vulkan 互操作性
        • 3.2.16.1.1. 匹配设备 UUID
        • 3.2.16.1.2. 导入内存对象
        • 3.2.16.1.3. 将缓冲区映射到导入的内存对象
        • 3.2.16.1.4. 将 Mipmapped 数组映射到导入的内存对象
        • 3.2.16.1.5. 导入同步对象
        • 3.2.16.1.6. 在导入的同步对象上发出信号/等待
      • 3.2.16.2. OpenGL 互操作性
      • 3.2.16.3. Direct3D 12 互操作性
        • 3.2.16.3.1. 匹配设备 LUID
        • 3.2.16.3.2. 导入内存对象
        • 3.2.16.3.3. 将缓冲区映射到导入的内存对象
        • 3.2.16.3.4. 将 Mipmapped 数组映射到导入的内存对象
        • 3.2.16.3.5. 导入同步对象
        • 3.2.16.3.6. 在导入的同步对象上发出信号/等待
      • 3.2.16.4. Direct3D 11 互操作性
        • 3.2.16.4.1. 匹配设备 LUID
        • 3.2.16.4.2. 导入内存对象
        • 3.2.16.4.3. 将缓冲区映射到导入的内存对象
        • 3.2.16.4.4. 将 Mipmapped 数组映射到导入的内存对象
        • 3.2.16.4.5. 导入同步对象
        • 3.2.16.4.6. 在导入的同步对象上发出信号/等待
      • 3.2.16.5. NVIDIA 软件通信接口互操作性 (NVSCI)
        • 3.2.16.5.1. 导入内存对象
        • 3.2.16.5.2. 将缓冲区映射到导入的内存对象
        • 3.2.16.5.3. 将 Mipmapped 数组映射到导入的内存对象
        • 3.2.16.5.4. 导入同步对象
        • 3.2.16.5.5. 在导入的同步对象上发出信号/等待
  • 3.3. 版本控制和兼容性
  • 3.4. 计算模式
  • 3.5. 模式切换
  • 3.6. Windows 的 Tesla 计算集群模式
• 4. 硬件实现
  • 4.1. SIMT 架构
  • 4.2. 硬件多线程
• 5. 性能指南
  • 5.1. 整体性能优化策略
  • 5.2. 最大化利用率
    • 5.2.1. 应用程序级别
    • 5.2.2. 设备级别
    • 5.2.3. 多处理器级别
      • 5.2.3.1. 占用率计算器
  • 5.3. 最大化内存吞吐量
    • 5.3.1. 主机和设备之间的数据传输
    • 5.3.2. 设备内存访问
  • 5.4. 最大化指令吞吐量
    • 5.4.1. 算术指令
    • 5.4.2. 控制流指令
    • 5.4.3. 同步指令
  • 5.5. 最小化内存抖动
• 6. 支持 CUDA 的 GPU
• 7. C++ 语言扩展
  • 7.1. 函数执行空间限定符
    • 7.1.1. __global__
    • 7.1.2. __device__
    • 7.1.3. __host__
    • 7.1.4. 未定义行为
    • 7.1.5. __noinline__ 和 __forceinline__
    • 7.1.6. __inline_hint__
  • 7.2. 变量内存空间限定符
    • 7.2.1. __device__
    • 7.2.2. __constant__
    • 7.2.3. __shared__
    • 7.2.4. __grid_constant__
    • 7.2.5. __managed__
    • 7.2.6. __restrict__
  • 7.3. 内置向量类型
    • 7.3.1. char、short、int、long、longlong、float、double
    • 7.3.2. dim3
  • 7.4. 内置变量
    • 7.4.1. gridDim
    • 7.4.2. blockIdx
    • 7.4.3. blockDim
    • 7.4.4. threadIdx
    • 7.4.5. warpSize
  • 7.5. 内存栅栏函数
  • 7.6. 同步函数
  • 7.7. 数学函数
  • 7.8. 纹理函数
    • 7.8.1. 纹理对象 API
      • 7.8.1.1. tex1Dfetch()
      • 7.8.1.2. tex1D()
      • 7.8.1.3. tex1DLod()
      • 7.8.1.4. tex1DGrad()
      • 7.8.1.5. tex2D()
      • 7.8.1.6. 用于稀疏 CUDA 数组的 tex2D()
      • 7.8.1.7. tex2Dgather()
      • 7.8.1.8. 用于稀疏 CUDA 数组的 tex2Dgather()
      • 7.8.1.9. tex2DGrad()
      • 7.8.1.10. 用于稀疏 CUDA 数组的 tex2DGrad()
      • 7.8.1.11. tex2DLod()
      • 7.8.1.12. 用于稀疏 CUDA 数组的 tex2DLod()
      • 7.8.1.13. tex3D()
      • 7.8.1.14. 用于稀疏 CUDA 数组的 tex3D()
      • 7.8.1.15. tex3DLod()
      • 7.8.1.16. 用于稀疏 CUDA 数组的 tex3DLod()
      • 7.8.1.17. tex3DGrad()
      • 7.8.1.18. 用于稀疏 CUDA 数组的 tex3DGrad()
      • 7.8.1.19. tex1DLayered()
      • 7.8.1.20. tex1DLayeredLod()
      • 7.8.1.21. tex1DLayeredGrad()
      • 7.8.1.22. tex2DLayered()
      • 7.8.1.23. 用于稀疏 CUDA 数组的 tex2DLayered()
      • 7.8.1.24. tex2DLayeredLod()
      • 7.8.1.25. 用于稀疏 CUDA 数组的 tex2DLayeredLod()
      • 7.8.1.26. tex2DLayeredGrad()
      • 7.8.1.27. 用于稀疏 CUDA 数组的 tex2DLayeredGrad()
      • 7.8.1.28. texCubemap()
      • 7.8.1.29. texCubemapGrad()
      • 7.8.1.30. texCubemapLod()
      • 7.8.1.31. texCubemapLayered()
      • 7.8.1.32. texCubemapLayeredGrad()
      • 7.8.1.33. texCubemapLayeredLod()
  • 7.9. 表面函数
    • 7.9.1. 表面对象 API
      • 7.9.1.1. surf1Dread()
      • 7.9.1.2. surf1Dwrite
      • 7.9.1.3. surf2Dread()
      • 7.9.1.4. surf2Dwrite()
      • 7.9.1.5. surf3Dread()
      • 7.9.1.6. surf3Dwrite()
      • 7.9.1.7. surf1DLayeredread()
      • 7.9.1.8. surf1DLayeredwrite()
      • 7.9.1.9. surf2DLayeredread()
      • 7.9.1.10. surf2DLayeredwrite()
      • 7.9.1.11. surfCubemapread()
      • 7.9.1.12. surfCubemapwrite()
      • 7.9.1.13. surfCubemapLayeredread()
      • 7.9.1.14. surfCubemapLayeredwrite()
  • 7.10. 只读数据缓存加载函数
  • 7.11. 使用缓存提示的加载函数
  • 7.12. 使用缓存提示的存储函数
  • 7.13. 时间函数
  • 7.14. 原子函数
    • 7.14.1. 算术函数
      • 7.14.1.1. atomicAdd()
      • 7.14.1.2. atomicSub()
      • 7.14.1.3. atomicExch()
      • 7.14.1.4. atomicMin()
      • 7.14.1.5. atomicMax()
      • 7.14.1.6. atomicInc()
      • 7.14.1.7. atomicDec()
      • 7.14.1.8. atomicCAS()
      • 7.14.1.9. __nv_atomic_exchange()
      • 7.14.1.10. __nv_atomic_exchange_n()
      • 7.14.1.11. __nv_atomic_compare_exchange()
      • 7.14.1.12. __nv_atomic_compare_exchange_n()
      • 7.14.1.13. __nv_atomic_fetch_add() 和 __nv_atomic_add()
      • 7.14.1.14. __nv_atomic_fetch_sub() 和 __nv_atomic_sub()
      • 7.14.1.15. __nv_atomic_fetch_min() 和 __nv_atomic_min()
      • 7.14.1.16. __nv_atomic_fetch_max() 和 __nv_atomic_max()
    • 7.14.2. 位运算函数
      • 7.14.2.1. atomicAnd()
      • 7.14.2.2. atomicOr()
      • 7.14.2.3. atomicXor()
      • 7.14.2.4. __nv_atomic_fetch_or() 和 __nv_atomic_or()
      • 7.14.2.5. __nv_atomic_fetch_xor() 和 __nv_atomic_xor()
      • 7.14.2.6. __nv_atomic_fetch_and() 和 __nv_atomic_and()
    • 7.14.3. 其他原子函数
      • 7.14.3.1. __nv_atomic_load()
      • 7.14.3.2. __nv_atomic_load_n()
      • 7.14.3.3. __nv_atomic_store()
      • 7.14.3.4. __nv_atomic_store_n()
      • 7.14.3.5. __nv_atomic_thread_fence()
  • 7.15. 地址空间谓词函数
    • 7.15.1. __isGlobal()
    • 7.15.2. __isShared()
    • 7.15.3. __isConstant()
    • 7.15.4. __isGridConstant()
    • 7.15.5. __isLocal()
  • 7.16. 地址空间转换函数
    • 7.16.1. __cvta_generic_to_global()
    • 7.16.2. __cvta_generic_to_shared()
    • 7.16.3. __cvta_generic_to_constant()
    • 7.16.4. __cvta_generic_to_local()
    • 7.16.5. __cvta_global_to_generic()
    • 7.16.6. __cvta_shared_to_generic()
    • 7.16.7. __cvta_constant_to_generic()
    • 7.16.8. __cvta_local_to_generic()
  • 7.17. Alloca 函数
    • 7.17.1. 概要
    • 7.17.2. 描述
    • 7.17.3. 示例
  • 7.18. 编译器优化提示函数
    • 7.18.1. __builtin_assume_aligned()
    • 7.18.2. __builtin_assume()
    • 7.18.3. __assume()
    • 7.18.4. __builtin_expect()
    • 7.18.5. __builtin_unreachable()
    • 7.18.6. 限制
  • 7.19. Warp Vote 函数
  • 7.20. Warp Match 函数
    • 7.20.1. 概要
    • 7.20.2. 描述
  • 7.21. Warp Reduce 函数
    • 7.21.1. 概要
    • 7.21.2. 描述
  • 7.22. Warp Shuffle 函数
    • 7.22.1. 概要
    • 7.22.2. 描述
    • 7.22.3. 示例
      • 7.22.3.1. 跨 Warp 广播单个值
      • 7.22.3.2. 跨 8 个线程的子分区的包含性加法扫描
      • 7.22.3.3. 跨 Warp 的归约
  • 7.23. Nanosleep 函数
    • 7.23.1. 概要
    • 7.23.2. 描述
    • 7.23.3. 示例
  • 7.24. Warp 矩阵函数
    • 7.24.1. 描述
    • 7.24.2. 备用浮点
    • 7.24.3. 双精度
    • 7.24.4. 子字节操作
    • 7.24.5. 限制
    • 7.24.6. 元素类型和矩阵大小
    • 7.24.7. 示例
  • 7.25. DPX
    • 7.25.1. 示例
  • 7.26. 异步屏障
    • 7.26.1. 简单同步模式
    • 7.26.2. 时间分割和同步的五个阶段
    • 7.26.3. 引导初始化、预期到达计数和参与
    • 7.26.4. 屏障的阶段：到达、倒计时、完成和重置
    • 7.26.5. 空间分区（也称为 Warp 专用化）
    • 7.26.6. 提前退出（退出参与）
    • 7.26.7. 完成函数
    • 7.26.8. 内存屏障原语接口
      • 7.26.8.1. 数据类型
      • 7.26.8.2. 内存屏障原语 API
  • 7.27. 异步数据复制
    • 7.27.1. memcpy_async API
    • 7.27.2. 复制和计算模式 - 通过共享内存暂存数据
    • 7.27.3. 没有 memcpy_async
    • 7.27.4. 有 memcpy_async
    • 7.27.5. 使用 cuda::barrier 的异步数据复制
    • 7.27.6. memcpy_async 的性能指南
      • 7.27.6.1. 对齐
      • 7.27.6.2. 平凡可复制
      • 7.27.6.3. Warp 纠缠 - Commit
      • 7.27.6.4. Warp 纠缠 - Wait
      • 7.27.6.5. Warp 纠缠 - Arrive-On
      • 7.27.6.6. 保持 Commit 和 Arrive-On 操作收敛
  • 7.28. 使用 cuda::pipeline 的异步数据复制
    • 7.28.1. 使用 cuda::pipeline 的单阶段异步数据复制
    • 7.28.2. 使用 cuda::pipeline 的多阶段异步数据复制
    • 7.28.3. Pipeline 接口
    • 7.28.4. Pipeline 原语接口
      • 7.28.4.1. memcpy_async 原语
      • 7.28.4.2. Commit 原语
      • 7.28.4.3. Wait 原语
      • 7.28.4.4. Arrive On Barrier 原语
  • 7.29. 使用张量内存加速器 (TMA) 的异步数据复制
    • 7.29.1. 使用 TMA 传输一维数组
    • 7.29.2. 使用 TMA 传输多维数组
      • 7.29.2.1. 多维 TMA PTX 包装器
  • 7.30. 在设备上编码张量图
    • 7.30.1. 张量图的设备端编码和修改
    • 7.30.2. 修改后的张量图的用法
    • 7.30.3. 使用驱动程序 API 创建模板张量图值
  • 7.31. 分析器计数器函数
  • 7.32. 断言
  • 7.33. Trap 函数
  • 7.34. 断点函数
  • 7.35. 格式化输出
    • 7.35.1. 格式说明符
    • 7.35.2. 限制
    • 7.35.3. 关联的主机端 API
    • 7.35.4. 示例
  • 7.36. 动态全局内存分配和操作
    • 7.36.1. 堆内存分配
    • 7.36.2. 与主机内存 API 的互操作性
    • 7.36.3. 示例
      • 7.36.3.1. 每线程分配
      • 7.36.3.2. 每线程块分配
      • 7.36.3.3. 在内核启动之间持久存在的分配
  • 7.37. 执行配置
  • 7.38. 启动边界
  • 7.39. 每线程最大寄存器数
  • 7.40. #pragma unroll
  • 7.41. SIMD 视频指令
  • 7.42. 诊断 Pragma
• 8. 协同组
  • 8.1. 简介
  • 8.2. 协同组的新特性
    • 8.2.1. CUDA 12.2
    • 8.2.2. CUDA 12.1
    • 8.2.3. CUDA 12.0
  • 8.3. 编程模型概念
    • 8.3.1. 组合示例
  • 8.4. 组类型
    • 8.4.1. 隐式组
      • 8.4.1.1. 线程块组
      • 8.4.1.2. 集群组
      • 8.4.1.3. 网格组
      • 8.4.1.4. 多网格组
    • 8.4.2. 显式组
      • 8.4.2.1. 线程块瓦片
        • 8.4.2.1.1. Warp 同步代码模式
        • 8.4.2.1.2. 单线程组
      • 8.4.2.2. 合并组
        • 8.4.2.2.1. 发现模式
  • 8.5. 组分区
    • 8.5.1. tiled_partition
    • 8.5.2. labeled_partition
    • 8.5.3. binary_partition
  • 8.6. 组集合通信
    • 8.6.1. 同步
      • 8.6.1.1. barrier_arrive 和 barrier_wait
      • 8.6.1.2. sync
    • 8.6.2. 数据传输
      • 8.6.2.1. memcpy_async
      • 8.6.2.2. wait and wait_prior
    • 8.6.3. 数据操作
      • 8.6.3.1. reduce
      • 8.6.3.2. Reduce 运算符
      • 8.6.3.3. inclusive_scan 和 exclusive_scan
    • 8.6.4. 执行控制
      • 8.6.4.1. invoke_one 和 invoke_one_broadcast
  • 8.7. 网格同步
  • 8.8. 多设备同步
• 9. CUDA 动态并行
  • 9.1. 简介
    • 9.1.1. 概述
    • 9.1.2. 术语表
  • 9.2. 执行环境和内存模型
    • 9.2.1. 执行环境
      • 9.2.1.1. 父网格和子网格
      • 9.2.1.2. CUDA 原语的范围
      • 9.2.1.3. 同步
      • 9.2.1.4. 流和事件
      • 9.2.1.5. 排序和并发
      • 9.2.1.6. 设备管理
    • 9.2.2. 内存模型
      • 9.2.2.1. 一致性和一致性
        • 9.2.2.1.1. 全局内存
        • 9.2.2.1.2. 零复制内存
        • 9.2.2.1.3. 常量内存
        • 9.2.2.1.4. 共享内存和本地内存
        • 9.2.2.1.5. 本地内存
        • 9.2.2.1.6. 纹理内存
  • 9.3. 编程接口
    • 9.3.1. CUDA C++ 参考
      • 9.3.1.1. 设备端内核启动
        • 9.3.1.1.1. 启动是异步的
        • 9.3.1.1.2. 启动环境配置
      • 9.3.1.2. 流
        • 9.3.1.2.1. 隐式 (NULL) 流
        • 9.3.1.2.2. 即发即弃流
        • 9.3.1.2.3. 尾部启动流
      • 9.3.1.3. 事件
      • 9.3.1.4. 同步
      • 9.3.1.5. 设备管理
      • 9.3.1.6. 内存声明
        • 9.3.1.6.1. 设备内存和常量内存
        • 9.3.1.6.2. 纹理和表面
        • 9.3.1.6.3. 共享内存变量声明
        • 9.3.1.6.4. 符号地址
      • 9.3.1.7. API 错误和启动失败
        • 9.3.1.7.1. 启动设置 API
      • 9.3.1.8. API 参考
    • 9.3.2. 来自 PTX 的设备端启动
      • 9.3.2.1. 内核启动 API
        • 9.3.2.1.1. cudaLaunchDevice
        • 9.3.2.1.2. cudaGetParameterBuffer
      • 9.3.2.2. 参数缓冲区布局
    • 9.3.3. 动态并行性的工具包支持
      • 9.3.3.1. 在 CUDA 代码中包含设备运行时 API
      • 9.3.3.2. 编译和链接
  • 9.4. 编程指南
    • 9.4.1. 基础知识
    • 9.4.2. 性能
      • 9.4.2.1. 启用动态并行性的内核开销
    • 9.4.3. 实现限制和局限性
      • 9.4.3.1. 运行时
        • 9.4.3.1.1. 内存占用
        • 9.4.3.1.2. 待处理的内核启动
        • 9.4.3.1.3. 配置选项
        • 9.4.3.1.4. 内存分配和生命周期
        • 9.4.3.1.5. SM ID 和 Warp ID
        • 9.4.3.1.6. ECC 错误
  • 9.5. CDP2 与 CDP1
    • 9.5.1. CDP1 和 CDP2 之间的差异
    • 9.5.2. 兼容性和互操作性
  • 9.6. 旧版 CUDA 动态并行性 (CDP1)
    • 9.6.1. 执行环境和内存模型 (CDP1)
      • 9.6.1.1. 执行环境 (CDP1)
        • 9.6.1.1.1. 父网格和子网格 (CDP1)
        • 9.6.1.1.2. CUDA 原语的范围 (CDP1)
        • 9.6.1.1.3. 同步 (CDP1)
        • 9.6.1.1.4. 流和事件 (CDP1)
        • 9.6.1.1.5. 排序和并发 (CDP1)
        • 9.6.1.1.6. 设备管理 (CDP1)
      • 9.6.1.2. 内存模型 (CDP1)
        • 9.6.1.2.1. 一致性和一致性 (CDP1)
          • 9.6.1.2.1.1. 全局内存 (CDP1)
          • 9.6.1.2.1.2. 零复制内存 (CDP1)
          • 9.6.1.2.1.3. 常量内存 (CDP1)
          • 9.6.1.2.1.4. 共享内存和本地内存 (CDP1)
          • 9.6.1.2.1.5. 本地内存 (CDP1)
          • 9.6.1.2.1.6. 纹理内存 (CDP1)
    • 9.6.2. 编程接口 (CDP1)
      • 9.6.2.1. CUDA C++ 参考 (CDP1)
        • 9.6.2.1.1. 设备端内核启动 (CDP1)
          • 9.6.2.1.1.1. 启动是异步的 (CDP1)
          • 9.6.2.1.1.2. 启动环境配置 (CDP1)
        • 9.6.2.1.2. 流 (CDP1)
          • 9.6.2.1.2.1. 隐式 (NULL) 流 (CDP1)
        • 9.6.2.1.3. 事件 (CDP1)
        • 9.6.2.1.4. 同步 (CDP1)
          • 9.6.2.1.4.1. 块级同步 (CDP1)
        • 9.6.2.1.5. 设备管理 (CDP1)
        • 9.6.2.1.6. 内存声明 (CDP1)
          • 9.6.2.1.6.1. 设备内存和常量内存 (CDP1)
          • 9.6.2.1.6.2. 纹理和表面 (CDP1)
          • 9.6.2.1.6.3. 共享内存变量声明 (CDP1)
          • 9.6.2.1.6.4. 符号地址 (CDP1)
        • 9.6.2.1.7. API 错误和启动失败 (CDP1)
          • 9.6.2.1.7.1. 启动设置 API (CDP1)
        • 9.6.2.1.8. API 参考 (CDP1)
      • 9.6.2.2. 来自 PTX 的设备端启动 (CDP1)
        • 9.6.2.2.1. 内核启动 API (CDP1)
          • 9.6.2.2.1.1. cudaLaunchDevice (CDP1)
          • 9.6.2.2.1.2. cudaGetParameterBuffer (CDP1)
        • 9.6.2.2.2. 参数缓冲区布局 (CDP1)
      • 9.6.2.3. 动态并行性的工具包支持 (CDP1)
        • 9.6.2.3.1. 在 CUDA 代码中包含设备运行时 API (CDP1)
        • 9.6.2.3.2. 编译和链接 (CDP1)
    • 9.6.3. 编程指南 (CDP1)
      • 9.6.3.1. 基础知识 (CDP1)
      • 9.6.3.2. 性能 (CDP1)
        • 9.6.3.2.1. 同步 (CDP1)
        • 9.6.3.2.2. 启用动态并行性的内核开销 (CDP1)
      • 9.6.3.3. 实现限制和局限性 (CDP1)
        • 9.6.3.3.1. 运行时 (CDP1)
          • 9.6.3.3.1.1. 内存占用 (CDP1)
          • 9.6.3.3.1.2. 嵌套和同步深度 (CDP1)
          • 9.6.3.3.1.3. 待处理的内核启动 (CDP1)
          • 9.6.3.3.1.4. 配置选项 (CDP1)
          • 9.6.3.3.1.5. 内存分配和生命周期 (CDP1)
          • 9.6.3.3.1.6. SM ID 和 Warp ID (CDP1)
          • 9.6.3.3.1.7. ECC 错误 (CDP1)
• 10. 虚拟内存管理
  • 10.1. 简介
  • 10.2. 查询支持
  • 10.3. 分配物理内存
    • 10.3.1. 可共享内存分配
    • 10.3.2. 内存类型
      • 10.3.2.1. 可压缩内存
  • 10.4. 预留虚拟地址范围
  • 10.5. 虚拟别名支持
  • 10.6. 映射内存
  • 10.7. 控制访问权限
  • 10.8. Fabric 内存
    • 10.8.1. 查询支持
  • 10.9. 多播支持
    • 10.9.1. 查询支持
    • 10.9.2. 分配多播对象
    • 10.9.3. 将设备添加到多播对象
    • 10.9.4. 将内存绑定到多播对象
    • 10.9.5. 使用多播映射
• 11. 流有序内存分配器
  • 11.1. 简介
  • 11.2. 查询支持
  • 11.3. API 基础知识（cudaMallocAsync 和 cudaFreeAsync）
  • 11.4. 内存池和 cudaMemPool_t
  • 11.5. 默认/隐式池
  • 11.6. 显式池
  • 11.7. 物理页面缓存行为
  • 11.8. 资源使用统计信息
  • 11.9. 内存重用策略
    • 11.9.1. cudaMemPoolReuseFollowEventDependencies
    • 11.9.2. cudaMemPoolReuseAllowOpportunistic
    • 11.9.3. cudaMemPoolReuseAllowInternalDependencies
    • 11.9.4. 禁用重用策略
  • 11.10. 多 GPU 支持的设备可访问性
  • 11.11. IPC 内存池
    • 11.11.1. 创建和共享 IPC 内存池
    • 11.11.2. 在导入进程中设置访问权限
    • 11.11.3. 从导出的池创建和共享分配
    • 11.11.4. IPC 导出池限制
    • 11.11.5. IPC 导入池限制
  • 11.12. 同步 API 操作
  • 11.13. 附录
    • 11.13.1. cudaMemcpyAsync 当前上下文/设备敏感性
    • 11.13.2. cuPointerGetAttribute 查询
    • 11.13.3. cuGraphAddMemsetNode
    • 11.13.4. 指针属性
• 12. 图内存节点
  • 12.1. 简介
  • 12.2. 支持和兼容性
  • 12.3. API 基础知识
    • 12.3.1. 图节点 API
    • 12.3.2. 流捕获
    • 12.3.3. 访问和释放分配图之外的图内存
    • 12.3.4. cudaGraphInstantiateFlagAutoFreeOnLaunch
  • 12.4. 优化的内存重用
    • 12.4.1. 图内的地址重用
    • 12.4.2. 物理内存管理和共享
  • 12.5. 性能注意事项
    • 12.5.1. 首次启动 / cudaGraphUpload
  • 12.6. 物理内存占用
  • 12.7. 对等访问
    • 12.7.1. 使用图节点 API 的对等访问
    • 12.7.2. 使用流捕获的对等访问
• 13. 数学函数
  • 13.1. 标准函数
  • 13.2. 内联函数
• 14. C++ 语言支持
  • 14.1. C++11 语言特性
  • 14.2. C++14 语言特性
  • 14.3. C++17 语言特性
  • 14.4. C++20 语言特性
  • 14.5. 限制
    • 14.5.1. 主机编译器扩展
    • 14.5.2. 预处理器符号
      • 14.5.2.1. __CUDA_ARCH__
    • 14.5.3. 限定符
      • 14.5.3.1. 设备内存空间限定符
      • 14.5.3.2. __managed__ 内存空间限定符
      • 14.5.3.3. Volatile 限定符
    • 14.5.4. 指针
    • 14.5.5. 运算符
      • 14.5.5.1. 赋值运算符
      • 14.5.5.2. 地址运算符
    • 14.5.6. 运行时类型信息 (RTTI)
    • 14.5.7. 异常处理
    • 14.5.8. 标准库
    • 14.5.9. 命名空间保留
    • 14.5.10. 函数
      • 14.5.10.1. 外部链接
      • 14.5.10.2. 隐式声明和显式默认函数
      • 14.5.10.3. 函数参数
        • 14.5.10.3.1. __global__ 函数参数处理
        • 14.5.10.3.2. 工具包和驱动程序兼容性
        • 14.5.10.3.3. 跨工具包修订版本的链接兼容性
      • 14.5.10.4. 函数内的静态变量
      • 14.5.10.5. 函数指针
      • 14.5.10.6. 函数递归
      • 14.5.10.7. 友元函数
      • 14.5.10.8. 运算符函数
      • 14.5.10.9. 分配和释放函数
    • 14.5.11. 类
      • 14.5.11.1. 数据成员
      • 14.5.11.2. 函数成员
      • 14.5.11.3. 虚函数
      • 14.5.11.4. 虚基类
      • 14.5.11.5. 匿名联合
      • 14.5.11.6. Windows 特定
    • 14.5.12. 模板
    • 14.5.13. 三字符组和二字符组
    • 14.5.14. Const 限定变量
    • 14.5.15. Long Double
    • 14.5.16. 弃用注释
    • 14.5.17. Noreturn 注释
    • 14.5.18. [[likely]] / [[unlikely]] 标准属性
    • 14.5.19. const 和 pure GNU 属性
    • 14.5.20. __nv_pure__ 属性
    • 14.5.21. Intel 主机编译器特定
    • 14.5.22. C++11 特性
      • 14.5.22.1. Lambda 表达式
      • 14.5.22.2. std::initializer_list
      • 14.5.22.3. 右值引用
      • 14.5.22.4. Constexpr 函数和函数模板
      • 14.5.22.5. Constexpr 变量
      • 14.5.22.6. 内联命名空间
        • 14.5.22.6.1. 内联未命名命名空间
      • 14.5.22.7. thread_local
      • 14.5.22.8. __global__ 函数和函数模板
      • 14.5.22.9. __managed__ 和 __shared__ 变量
      • 14.5.22.10. 默认函数
    • 14.5.23. C++14 特性
      • 14.5.23.1. 具有推导返回类型的函数
      • 14.5.23.2. 变量模板
    • 14.5.24. C++17 特性
      • 14.5.24.1. 内联变量
      • 14.5.24.2. 结构化绑定
    • 14.5.25. C++20 特性
      • 14.5.25.1. 模块支持
      • 14.5.25.2. 协程支持
      • 14.5.25.3. 三路比较运算符
      • 14.5.25.4. Consteval 函数
  • 14.6. 多态函数包装器
  • 14.7. 扩展 Lambda
    • 14.7.1. 扩展 Lambda 类型特征
    • 14.7.2. 扩展 Lambda 限制
    • 14.7.3. 关于 __host__ __device__ lambda 的说明
    • 14.7.4. *this 按值捕获
    • 14.7.5. 其他说明
  • 14.8. 放松 Constexpr (-expt-relaxed-constexpr)
  • 14.9. 代码示例
    • 14.9.1. 数据聚合类
    • 14.9.2. 派生类
    • 14.9.3. 类模板
    • 14.9.4. 函数模板
    • 14.9.5. 仿函数类
• 15. 纹理获取
  • 15.1. 最近点采样
  • 15.2. 线性滤波
  • 15.3. 查找表
• 16. 计算能力
  • 16.1. 功能可用性
  • 16.2. 功能和技术规格
  • 16.3. 浮点标准
  • 16.4. 计算能力 5.x
    • 16.4.1. 架构
    • 16.4.2. 全局内存
    • 16.4.3. 共享内存
  • 16.5. 计算能力 6.x
    • 16.5.1. 架构
    • 16.5.2. 全局内存
    • 16.5.3. 共享内存
  • 16.6. 计算能力 7.x
    • 16.6.1. 架构
    • 16.6.2. 独立线程调度
    • 16.6.3. 全局内存
    • 16.6.4. 共享内存
  • 16.7. 计算能力 8.x
    • 16.7.1. 架构
    • 16.7.2. 全局内存
    • 16.7.3. 共享内存
  • 16.8. 计算能力 9.0
    • 16.8.1. 架构
    • 16.8.2. 全局内存
    • 16.8.3. 共享内存
    • 16.8.4. 加速专用计算的功能
  • 16.9. 计算能力 10.0
    • 16.9.1. 架构
    • 16.9.2. 全局内存
    • 16.9.3. 共享内存
    • 16.9.4. 加速专用计算的功能
  • 16.10. 计算能力 12.0
    • 16.10.1. 架构
    • 16.10.2. 全局内存
    • 16.10.3. 共享内存
    • 16.10.4. 加速专用计算的功能
• 17. 驱动程序 API
  • 17.1. 上下文
  • 17.2. 模块
  • 17.3. 内核执行
  • 17.4. 运行时 API 和驱动程序 API 之间的互操作性
  • 17.5. 驱动程序入口点访问
    • 17.5.1. 简介
    • 17.5.2. 驱动程序函数 Typedef
    • 17.5.3. 驱动程序函数检索
      • 17.5.3.1. 使用驱动程序 API
      • 17.5.3.2. 使用运行时 API
      • 17.5.3.3. 检索每线程默认流版本
      • 17.5.3.4. 访问新的 CUDA 功能
    • 17.5.4. cuGetProcAddress 的潜在影响
      • 17.5.4.1. cuGetProcAddress 与隐式链接的影响
      • 17.5.4.2. cuGetProcAddress 中的编译时与运行时版本用法
      • 17.5.4.3. 具有显式版本检查的 API 版本提升
      • 17.5.4.4. 运行时 API 用法问题
      • 17.5.4.5. 运行时 API 和动态版本控制问题
      • 17.5.4.6. 运行时 API 允许 CUDA 版本的问题
      • 17.5.4.7. 对 API/ABI 的影响
    • 17.5.5. 确定 cuGetProcAddress 失败原因
• 18. CUDA 环境变量
• 19. 统一内存编程
  • 19.1. 统一内存简介
    • 19.1.1. 统一内存的系统要求
    • 19.1.2. 编程模型
      • 19.1.2.1. 系统分配内存的分配 API
      • 19.1.2.2. CUDA 托管内存的分配 API：cudaMallocManaged()
      • 19.1.2.3. 使用 __managed__ 的全局范围托管变量
      • 19.1.2.4. 统一内存和映射内存之间的区别
      • 19.1.2.5. 指针属性
      • 19.1.2.6. 统一内存支持级别的运行时检测
      • 19.1.2.7. GPU 内存超额订阅
      • 19.1.2.8. 性能提示
        • 19.1.2.8.1. 数据预取
        • 19.1.2.8.2. 数据使用提示
        • 19.1.2.8.3. 查询托管内存上的数据使用属性
  • 19.2. 在具有完整 CUDA 统一内存支持的设备上使用统一内存
    • 19.2.1. 系统分配内存：深入示例
      • 19.2.1.1. 文件支持的统一内存
      • 19.2.1.2. 使用统一内存的进程间通信 (IPC)
    • 19.2.2. 性能调优
      • 19.2.2.1. 内存分页和页面大小
        • 19.2.2.1.1. 选择正确的页面大小
        • 19.2.2.1.2. CPU 和 GPU 页表：硬件一致性与软件一致性
      • 19.2.2.2. 来自主机的直接统一内存访问
      • 19.2.2.3. 主机本机原子操作
      • 19.2.2.4. 原子访问和同步原语
      • 19.2.2.5. Memcpy()/Memset() 与统一内存的行为
  • 19.3. 在没有完整 CUDA 统一内存支持的设备上使用统一内存
    • 19.3.1. 仅支持 CUDA 托管内存的设备上的统一内存
    • 19.3.2. Windows 或计算能力为 5.x 的设备上的统一内存
      • 19.3.2.1. 数据迁移和一致性
      • 19.3.2.2. GPU 内存超额订阅
      • 19.3.2.3. 多 GPU
      • 19.3.2.4. 一致性和并发性
        • 19.3.2.4.1. GPU 对托管内存的独占访问
        • 19.3.2.4.2. 显式同步和逻辑 GPU 活动
        • 19.3.2.4.3. 使用流管理数据可见性和并发 CPU + GPU 访问
        • 19.3.2.4.4. 流关联示例
        • 19.3.2.4.5. 使用多线程主机程序的流附加
        • 19.3.2.4.6. 高级主题：模块化程序和数据访问约束
        • 19.3.2.4.7. Memcpy()/Memset() 在流关联的统一内存中的行为
• 20. 延迟加载
  • 20.1. 什么是延迟加载？
  • 20.2. 延迟加载版本支持
    • 20.2.1. 驱动程序
    • 20.2.2. 工具包
    • 20.2.3. 编译器
  • 20.3. 在延迟模式下触发内核加载
    • 20.3.1. CUDA 驱动程序 API
    • 20.3.2. CUDA 运行时 API
  • 20.4. 查询是否已启用延迟加载
  • 20.5. 采用延迟加载时可能出现的问题
    • 20.5.1. 并发执行
    • 20.5.2. 分配器
    • 20.5.3. 自动调优
• 21. 扩展 GPU 内存
  • 21.1. 预备知识
    • 21.1.1. EGM 平台：系统拓扑
    • 21.1.2. 套接字标识符：它们是什么？如何访问它们？
    • 21.1.3. 分配器和 EGM 支持
    • 21.1.4. 当前 API 的内存管理扩展
  • 21.2. 使用 EGM 接口
    • 21.2.1. 单节点，单 GPU
    • 21.2.2. 单节点，多 GPU
      • 21.2.2.1. 使用 VMM API
      • 21.2.2.2. 使用 CUDA 内存池
    • 21.2.3. 多节点，单 GPU
• 22. 通知
  • 22.1. 注意事项
  • 22.2. OpenCL
  • 22.3. 商标