目录

白皮书，涵盖与 NVIDIA GPU 相关的大多数常见问题。

• 1. 前言
  • 1.1. 谁应该阅读本指南？
  • 1.2. 评估、并行化、优化、部署
    • 1.2.1. 评估
    • 1.2.2. 并行化
    • 1.2.3. 优化
    • 1.2.4. 部署
  • 1.3. 建议和最佳实践
  • 1.4. 评估您的应用程序
• 2. 异构计算
  • 2.1. 主机和设备之间的差异
  • 2.2. 什么在支持 CUDA 的设备上运行？
• 3. 应用程序性能分析
  • 3.1. 性能分析
    • 3.1.1. 创建性能分析
    • 3.1.2. 识别热点
    • 3.1.3. 理解扩展
      • 3.1.3.1. 强扩展和阿姆达尔定律
      • 3.1.3.2. 弱扩展和古斯塔夫森定律
      • 3.1.3.3. 应用强扩展和弱扩展
• 4. 并行化您的应用程序
• 5. 入门
  • 5.1. 并行库
  • 5.2. 并行化编译器
  • 5.3. 编码以暴露并行性
• 6. 获得正确答案
  • 6.1. 验证
    • 6.1.1. 参考比较
    • 6.1.2. 单元测试
  • 6.2. 调试
  • 6.3. 数值精度和准确性
    • 6.3.1. 单精度与双精度
    • 6.3.2. 浮点数学不满足结合律
    • 6.3.3. IEEE 754 合规性
    • 6.3.4. x86 80 位计算
• 7. 优化 CUDA 应用程序
• 8. 性能指标
  • 8.1. 计时
    • 8.1.1. 使用 CPU 计时器
    • 8.1.2. 使用 CUDA GPU 计时器
  • 8.2. 带宽
    • 8.2.1. 理论带宽计算
    • 8.2.2. 有效带宽计算
    • 8.2.3. Visual Profiler 报告的吞吐量
• 9. 内存优化
  • 9.1. 主机和设备之间的数据传输
    • 9.1.1. 固定内存
    • 9.1.2. 异步和重叠传输与计算
    • 9.1.3. 零拷贝
    • 9.1.4. 统一虚拟寻址
  • 9.2. 设备内存空间
    • 9.2.1. 合并访问全局内存
      • 9.2.1.1. 简单的访问模式
      • 9.2.1.2. 顺序但未对齐的访问模式
      • 9.2.1.3. 未对齐访问的影响
      • 9.2.1.4. 跨步访问
    • 9.2.2. L2 缓存
      • 9.2.2.1. L2 缓存访问窗口
      • 9.2.2.2. 调整访问窗口命中率
    • 9.2.3. 共享内存
      • 9.2.3.1. 共享内存和内存体
      • 9.2.3.2. 矩阵乘法中的共享内存 (C=AB)
      • 9.2.3.3. 矩阵乘法中的共享内存 (C=AAT)
      • 9.2.3.4. 从全局内存到共享内存的异步复制
    • 9.2.4. 本地内存
    • 9.2.5. 纹理内存
      • 9.2.5.1. 额外的纹理功能
    • 9.2.6. 常量内存
    • 9.2.7. 寄存器
      • 9.2.7.1. 寄存器压力
  • 9.3. 分配
  • 9.4. NUMA 最佳实践
• 10. 执行配置优化
  • 10.1. 占用率
    • 10.1.1. 计算占用率
  • 10.2. 隐藏寄存器依赖性
  • 10.3. 线程和块启发式方法
  • 10.4. 共享内存的效果
  • 10.5. 并发内核执行
  • 10.6. 多个上下文
• 11. 指令优化
  • 11.1. 算术指令
    • 11.1.1. 除法取模运算
    • 11.1.2. 循环计数器有符号与无符号
    • 11.1.3. 倒数平方根
    • 11.1.4. 其他算术指令
    • 11.1.5. 小数参数的指数运算
    • 11.1.6. 数学库
    • 11.1.7. 与精度相关的编译器标志
  • 11.2. 内存指令
• 12. 控制流
  • 12.1. 分支和发散
  • 12.2. 分支预测
• 13. 部署 CUDA 应用程序
• 14. 理解编程环境
  • 14.1. CUDA 计算能力
  • 14.2. 额外的硬件数据
  • 14.3. 选择哪个计算能力目标
  • 14.4. CUDA 运行时
• 15. CUDA 兼容性开发者指南
  • 15.1. CUDA 工具包版本控制
  • 15.2. 源代码兼容性
  • 15.3. 二进制兼容性
    • 15.3.1. CUDA 二进制 (cubin) 兼容性
  • 15.4. CUDA 跨小版本兼容性
    • 15.4.1. CUDA 小版本内的现有 CUDA 应用程序
      • 15.4.1.1. 处理新的 CUDA 功能和驱动程序 API
      • 15.4.1.2. 使用 PTX
      • 15.4.1.3. 动态代码生成
      • 15.4.1.4. 构建小版本兼容库的建议
      • 15.4.1.5. 在您的应用程序中利用小版本兼容性的建议
• 16. 准备部署
  • 16.1. 测试 CUDA 可用性
  • 16.2. 错误处理
  • 16.3. 构建以获得最大兼容性
  • 16.4. 分发 CUDA 运行时和库
    • 16.4.1. CUDA 工具包库重新分发
      • 16.4.1.1. 要重新分发哪些文件
      • 16.4.1.2. 在哪里安装重新分发的 CUDA 库
• 17. 部署基础设施工具
  • 17.1. Nvidia-SMI
    • 17.1.1. 可查询状态
    • 17.1.2. 可修改状态
  • 17.2. NVML
  • 17.3. 集群管理工具
  • 17.4. 编译器 JIT 缓存管理工具
  • 17.5. CUDA_VISIBLE_DEVICES
• 18. 建议和最佳实践
  • 18.1. 总体性能优化策略
• 19. nvcc 编译器开关
  • 19.1. nvcc
• 20. 通知
  • 20.1. 注意
  • 20.2. OpenCL
  • 20.3. 商标