目录

• 1. 简介
• 2. 编程指南
  • 2.1. CUDA Fortran 主机和设备代码
  • 2.2. CUDA Fortran 内核
  • 2.3. 线程块
  • 2.4. 内存层次结构
  • 2.5. 子程序/函数限定符
    • 2.5.1. 属性(host)
    • 2.5.2. 属性(global)
    • 2.5.3. 属性(device)
    • 2.5.4. 属性(host,device)
    • 2.5.5. 属性(grid_global)
    • 2.5.6. 限制
  • 2.6. 变量限定符
    • 2.6.1. 属性(device)
    • 2.6.2. 属性(managed)
    • 2.6.3. 属性(constant)
    • 2.6.4. 属性(shared)
    • 2.6.5. 属性(pinned)
    • 2.6.6. 属性(texture)
    • 2.6.7. 属性(unified)
  • 2.7. 设备子程序中的数据类型
    • 2.7.1. 半精度浮点
  • 2.8. 设备子程序中的预定义变量
  • 2.9. 执行配置
  • 2.10. 异步并发执行
    • 2.10.1. 主机和设备并发执行
    • 2.10.2. 并发流执行
  • 2.11. 内核循环指令
    • 2.11.1. 语法
    • 2.11.2. CUF 内核指令的限制
    • 2.11.3. 求和示例
    • 2.11.4. 显式归约
  • 2.12. 使用 Fortran 模块
    • 2.12.1. 从其他模块访问数据
    • 2.12.2. 从其他模块调用例程
    • 2.12.3. 声明设备指针和目标数组
    • 2.12.4. 声明纹理
  • 2.13. CUDA Fortran 条件编译
  • 2.14. 构建 CUDA Fortran 程序
  • 2.15. 托管和统一内存选项及互操作性
• 3. 参考
  • 3.1. 新的子程序和函数属性
    • 3.1.1. 主机子程序和函数
    • 3.1.2. Global 和 Grid_Global 子程序
    • 3.1.3. 设备子程序和函数
    • 3.1.4. 内核子程序和设备子程序的限制
  • 3.2. 变量属性
    • 3.2.1. 设备数据
    • 3.2.2. 托管数据
    • 3.2.3. 统一数据
    • 3.2.4. 固定数组
    • 3.2.5. 常量数据
    • 3.2.6. 共享数据
    • 3.2.7. 纹理数据
    • 3.2.8. 值哑元参数
  • 3.3. 分配设备内存、固定内存和托管内存
    • 3.3.1. 分配设备内存
    • 3.3.2. 使用运行时例程分配设备内存
    • 3.3.3. 分配固定内存
    • 3.3.4. 分配托管内存
    • 3.3.5. 使用运行时例程分配托管内存
    • 3.3.6. 异步分配设备内存
    • 3.3.7. 使用运行时例程异步分配设备内存
    • 3.3.8. 控制设备数据是否为托管
  • 3.4. 主机和设备内存之间的数据传输
    • 3.4.1. 使用赋值语句的数据传输
    • 3.4.2. 表达式中的隐式数据传输
    • 3.4.3. 使用运行时例程的数据传输
  • 3.5. 调用内核子程序
  • 3.6. 设备代码
    • 3.6.1. 允许的数据类型
    • 3.6.2. 内置变量
    • 3.6.3. Fortran 内置函数
    • 3.6.4. 同步函数
    • 3.6.5. Warp-Vote 操作
    • 3.6.6. 使用缓存提示的加载和存储函数
    • 3.6.7. 原子函数
    • 3.6.8. Fortran I/O
    • 3.6.9. PRINT 示例
    • 3.6.10. Shuffle 函数
    • 3.6.11. 限制
  • 3.7. 主机代码
    • 3.7.1. SIZEOF 内置函数
  • 3.8. Fortran 设备模块
    • 3.8.1. LIBM 设备模块
    • 3.8.2. Cooperative Groups 设备模块
    • 3.8.3. WMMA (Warp 矩阵乘法累加) 模块
  • 3.9. Fortran 主机模块
    • 3.9.1. CUDAFOR 中重载的 Fortran 归约内置函数
      • 3.9.1.1. Fortran SUM 内置函数
      • 3.9.1.2. Fortran MAXVAL 内置函数
      • 3.9.1.3. Fortran MINVAL 内置函数
      • 3.9.1.4. Fortran MAXLOC 内置函数
      • 3.9.1.5. Fortran MINLOC 内置函数
    • 3.9.2. Fortran 排序子程序模块
    • 3.9.3. CUTENSOREX 中重载的 Fortran 归约内置函数
      • 3.9.3.1. CUTENSOREX 中重载的逻辑数组赋值
      • 3.9.3.2. Fortran ALL 内置函数
      • 3.9.3.3. Fortran ANY 内置函数
      • 3.9.3.4. Fortran COUNT 内置函数
    • 3.9.4. CUTENSOREX 中重载的 Fortran 数组内置函数
      • 3.9.4.1. Fortran MERGE 内置函数
      • 3.9.4.2. Fortran PACK 内置函数
      • 3.9.4.3. Fortran PACKLOC 函数
      • 3.9.4.4. Fortran UNPACK 内置函数
      • 3.9.4.5. Fortran COUNT_PREFIX 内置函数
      • 3.9.4.6. Fortran SUM_PREFIX 内置函数
      • 3.9.4.7. Fortran RESHAPE 内置函数
      • 3.9.4.8. Fortran TRANSPOSE 内置函数
      • 3.9.4.9. Fortran SPREAD 内置函数
      • 3.9.4.10. Fortran MATMUL 内置函数
      • 3.9.4.11. Fortran DOT_PRODUCT 内置函数
      • 3.9.4.12. Fortran RANDOM_NUMBER 内置函数
    • 3.9.5. 其他 CUDA 库主机模块
• 4. 运行时 API
  • 4.1. 初始化
  • 4.2. 设备管理
    • 4.2.1. cudaChooseDevice
    • 4.2.2. cudaDeviceGetAttribute
    • 4.2.3. cudaDeviceGetCacheConfig
    • 4.2.4. cudaDeviceGetLimit
    • 4.2.5. cudaDeviceGetSharedMemConfig
    • 4.2.6. cudaDeviceGetStreamPriorityRange
    • 4.2.7. cudaDeviceReset
    • 4.2.8. cudaDeviceSetCacheConfig
    • 4.2.9. cudaDeviceSetLimit
    • 4.2.10. cudaDeviceSetSharedMemConfig
    • 4.2.11. cudaDeviceSynchronize
    • 4.2.12. cudaGetDevice
    • 4.2.13. cudaGetDeviceCount
    • 4.2.14. cudaGetDeviceProperties
    • 4.2.15. cudaSetDevice
    • 4.2.16. cudaSetDeviceFlags
    • 4.2.17. cudaSetValidDevices
  • 4.3. 线程管理
    • 4.3.1. cudaThreadExit
    • 4.3.2. cudaThreadSynchronize
  • 4.4. 错误处理
    • 4.4.1. cudaGetErrorString
    • 4.4.2. cudaGetLastError
    • 4.4.3. cudaPeekAtLastError
  • 4.5. 流管理
    • 4.5.1. cudaforGetDefaultStream
    • 4.5.2. cudaforSetDefaultStream
    • 4.5.3. cudaStreamAttachMemAsync
    • 4.5.4. cudaStreamCreate
    • 4.5.5. cudaStreamCreateWithFlags
    • 4.5.6. cudaStreamCreateWithPriority
    • 4.5.7. cudaStreamDestroy
    • 4.5.8. cudaStreamGetPriority
    • 4.5.9. cudaStreamQuery
    • 4.5.10. cudaStreamSynchronize
    • 4.5.11. cudaStreamWaitEvent
  • 4.6. 事件管理
    • 4.6.1. cudaEventCreate
    • 4.6.2. cudaEventCreateWithFlags
    • 4.6.3. cudaEventDestroy
    • 4.6.4. cudaEventElapsedTime
    • 4.6.5. cudaEventQuery
    • 4.6.6. cudaEventRecord
    • 4.6.7. cudaEventSynchronize
  • 4.7. 执行控制
    • 4.7.1. cudaFuncGetAttributes
    • 4.7.2. cudaFuncSetAttribute
    • 4.7.3. cudaFuncSetCacheConfig
    • 4.7.4. cudaFuncSetSharedMemConfig
    • 4.7.5. cudaSetDoubleForDevice
    • 4.7.6. cudaSetDoubleForHost
  • 4.8. 占用率
    • 4.8.1. cudaOccupancyMaxActiveBlocksPerMultiprocessor
    • 4.8.2. cudaOccupancyMaxActiveBlocksPerMultiprocessorWithFlags
    • 4.8.3. cudaOccupancyMaxPotentialClusterSize
    • 4.8.4. cudaOccupancyMaxActiveClusters
  • 4.9. 内存管理
    • 4.9.1. cudaFree
    • 4.9.2. cudaFreeArray
    • 4.9.3. cudaFreeAsync
    • 4.9.4. cudaFreeHost
    • 4.9.5. cudaGetSymbolAddress
    • 4.9.6. cudaGetSymbolSize
    • 4.9.7. cudaHostAlloc
    • 4.9.8. cudaHostGetDevicePointer
    • 4.9.9. cudaHostGetFlags
    • 4.9.10. cudaHostRegister
    • 4.9.11. cudaHostUnregister
    • 4.9.12. cudaMalloc
    • 4.9.13. cudaMallocArray
    • 4.9.14. cudaMallocAsync
    • 4.9.15. cudaMallocManaged
    • 4.9.16. cudaMallocPitch
    • 4.9.17. cudaMalloc3D
    • 4.9.18. cudaMalloc3DArray
    • 4.9.19. cudaMemAdvise
    • 4.9.20. cudaMemcpy
    • 4.9.21. cudaMemcpyArrayToArray
    • 4.9.22. cudaMemcpyAsync
    • 4.9.23. cudaMemcpyFromArray
    • 4.9.24. cudaMemcpyFromSymbol
    • 4.9.25. cudaMemcpyFromSymbolAsync
    • 4.9.26. cudaMemcpyPeer
    • 4.9.27. cudaMemcpyPeerAsync
    • 4.9.28. cudaMemcpyToArray
    • 4.9.29. cudaMemcpyToSymbol
    • 4.9.30. cudaMemcpyToSymbolAsync
    • 4.9.31. cudaMemcpy2D
    • 4.9.32. cudaMemcpy2DArrayToArray
    • 4.9.33. cudaMemcpy2DAsync
    • 4.9.34. cudaMemcpy2DFromArray
    • 4.9.35. cudaMemcpy2DToArray
    • 4.9.36. cudaMemcpy3D
    • 4.9.37. cudaMemcpy3DAsync
    • 4.9.38. cudaMemGetInfo
    • 4.9.39. cudaMemPrefetchAsync
    • 4.9.40. cudaMemset
    • 4.9.41. cudaMemsetAsync
    • 4.9.42. cudaMemset2D
    • 4.9.43. cudaMemset3D
  • 4.10. 统一寻址和对等设备内存访问
    • 4.10.1. cudaDeviceCanAccessPeer
    • 4.10.2. cudaDeviceDisablePeerAccess
    • 4.10.3. cudaDeviceEnablePeerAccess
    • 4.10.4. cudaPointerGetAttributes
  • 4.11. 版本管理
    • 4.11.1. cudaDriverGetVersion
    • 4.11.2. cudaRuntimeGetVersion
  • 4.12. 性能分析管理
    • 4.12.1. cudaProfilerStart
    • 4.12.2. cudaProfilerStop
  • 4.13. CUDA 图管理
    • 4.13.1. cudaGraphCreate
    • 4.13.2. cudaGraphDestroy
    • 4.13.3. cudaGraphExecDestroy
    • 4.13.4. cudaGraphInstantiate
    • 4.13.5. cudaGraphLaunch
    • 4.13.6. cudaStreamBeginCapture
    • 4.13.7. cudaStreamEndCapture
    • 4.13.8. cudaStreamIsCapturing
• 5. 示例
  • 5.1. 矩阵乘法示例
    • 5.1.1. 源代码列表
    • 5.1.2. 源代码描述
  • 5.2. 映射内存示例
  • 5.3. Cublas 模块示例
  • 5.4. CUDA 设备属性示例
  • 5.5. CUDA 异步内存传输示例
  • 5.6. 托管内存示例
  • 5.7. WMMA Tensor Core 示例
  • 5.8. OpenACC 互操作性示例