目录

• 1. 简介
  • 1.1. 概览
    • 1.1.1. MPS
    • 1.1.2. Volta MPS
    • 1.1.3. 目标受众
    • 1.1.4. 本文档的组织结构
  • 1.2. 前提条件
  • 1.3. 概念
    • 1.3.1. 为什么需要 MPS
    • 1.3.2. 什么是 MPS
  • 1.4. 另请参阅
• 2. 何时使用 MPS
  • 2.1. MPS 的优势
    • 2.1.1. GPU 利用率
    • 2.1.2. 减少 GPU 上下文存储
    • 2.1.3. 减少 GPU 上下文切换
  • 2.2. 识别候选应用程序
  • 2.3. 注意事项
    • 2.3.1. 系统注意事项
      • 2.3.1.1. 局限性
      • 2.3.1.2. GPU 计算模式
    • 2.3.2. 应用程序注意事项
    • 2.3.3. 内存保护和错误遏制
      • 2.3.3.1. 内存保护
      • 2.3.3.2. 错误遏制
    • 2.3.4. 多 GPU 系统上的 MPS
    • 2.3.5. 性能
      • 2.3.5.1. 客户端-服务器连接限制
      • 2.3.5.2. Volta MPS 执行资源调配
      • 2.3.5.3. 线程和 Linux 调度
      • 2.3.5.4. Volta MPS 设备内存限制
    • 2.3.6. 与工具的交互
      • 2.3.6.1. 调试和 CUDA-GDB
      • 2.3.6.2. memcheck
      • 2.3.6.3. 性能分析
    • 2.3.7. 客户端提前终止
    • 2.3.8. 客户端优先级控制
• 3. 架构
  • 3.1. 背景
  • 3.2. 客户端-服务器架构
  • 3.3. 调配顺序
    • 3.3.1. 服务器
    • 3.3.2. 客户端连接/断开
• 4. 附录：工具和接口参考
  • 4.1. 实用程序和守护程序
    • 4.1.1. nvidia-cuda-mps-control
    • 4.1.2. nvidia-cuda-mps-server
    • 4.1.3. nvidia-smi
  • 4.2. 环境变量
    • 4.2.1. CUDA_VISIBLE_DEVICES
    • 4.2.2. CUDA_MPS_PIPE_DIRECTORY
    • 4.2.3. CUDA_MPS_LOG_DIRECTORY
    • 4.2.4. CUDA_DEVICE_MAX_CONNECTIONS
    • 4.2.5. CUDA_MPS_ACTIVE_THREAD_PERCENTAGE
      • 4.2.5.1. MPS 控制守护程序级别
      • 4.2.5.2. 客户端进程级别
      • 4.2.5.3. 客户端 CUDA 上下文级别
    • 4.2.6. CUDA_MPS_ENABLE_PER_CTX_DEVICE_MULTIPROCESSOR_PARTITIONING
    • 4.2.7. CUDA_MPS_PINNED_DEVICE_MEM_LIMIT
    • 4.2.8. CUDA_MPS_CLIENT_PRIORITY
  • 4.3. MPS 日志格式
    • 4.3.1. 控制日志
    • 4.3.2. 服务器日志
  • 4.4. MPS 已知问题
• 5. 附录：常见任务
  • 5.1. 在 Linux 上启动和停止 MPS
    • 5.1.1. 在多用户系统上
      • 5.1.1.1. 启动 MPS 控制守护程序
      • 5.1.1.2. 关闭 MPS 控制守护程序
      • 5.1.1.3. 日志文件
    • 5.1.2. 在单用户系统上
      • 5.1.2.1. 启动 MPS 控制守护程序
      • 5.1.2.2. 启动 MPS 客户端应用程序
      • 5.1.2.3. 关闭 MPS
      • 5.1.2.4. 日志文件
    • 5.1.3. 编写批处理队列系统脚本
      • 5.1.3.1. 基本原则
      • 5.1.3.2. 按作业 MPS 控制：Torque/PBS 示例
  • 5.2. SM 分区的最佳实践
• 6. 声明
  • 6.1. 商标