NVIDIA DGX Cloud Slurm 文档

DGX Cloud 上的 Slurm

• 1. 入门快速入门指南
  • 1.1. 简介和角色
  • 1.2. 集群所有者
  • 1.3. 集群管理员
  • 1.4. 集群用户
  • 1.5. 集群所有者步骤
    • 1.5.1. 先决条件
    • 1.5.2. 存储信息
    • 1.5.3. 以 Root 身份访问 Head 节点（仅限集群所有者）
    • 1.5.4. 通过 cmsh 添加集群管理员
    • 1.5.5. 通过 cmsh 添加集群用户
    • 1.5.6. 设置 NGC
  • 1.6. 集群管理员步骤（可选）
    • 1.6.1. 访问登录节点
    • 1.6.2. 访问 Base View
    • 1.6.3. 通过 Base View 添加用户
    • 1.6.4. 为集群管理员和用户创建和配置 Lustre 共享存储
    • 1.6.5. 设置公平份额调度和团队
  • 1.7. 集群用户步骤
    • 1.7.1. 访问登录节点
    • 1.7.2. 设置 NGC 集成
    • 1.7.3. 运行作业
      • 1.7.3.1. 加载 Slurm 模块
      • 1.7.3.2. 运行单节点作业
      • 1.7.3.3. 运行多节点作业
    • 1.7.4. 访问用户门户
  • 1.8. 故障排除
    • 1.8.1. SSH 密钥权限
      • 1.8.1.1. WSL 中未受保护的私钥文件
    • 1.8.2. Base View 权限
• 2. 集群管理指南
  • 2.1. NVIDIA DGX Cloud 概述
  • 2.2. 您的集群概述
  • 2.3. 集群管理概述
    • 2.3.1. 集群所有者任务
    • 2.3.2. 集群管理员任务
  • 2.4. DGX Cloud 的安全性
    • 2.4.1. 共同责任模型
      • 2.4.1.1. NVIDIA 责任
      • 2.4.1.2. 客户责任
    • 2.4.2. 其他安全注意事项
  • 2.5. DGX Cloud 集群入门
  • 2.6. 以管理员身份访问您的 DGX Cloud 集群
    • 2.6.1. 以 Root 身份访问 Head 节点（仅限集群所有者）
    • 2.6.2. 以非 Root 身份访问 Head 节点（仅限集群所有者）
    • 2.6.3. 以 Root 身份访问登录节点（仅限集群所有者）
    • 2.6.4. 以集群管理员身份访问登录节点
      • 2.6.4.1. 使用 SSH 密钥登录
    • 2.6.5. 访问 Base View
      • 2.6.5.1. 登录
    • 2.6.6. 访问 NGC
  • 2.7. 管理您的 DGX Cloud 集群
    • 2.7.1. 管理用户和管理员
      • 2.7.1.1. 通过 cmsh 添加集群管理员（仅限集群所有者）
      • 2.7.1.2. 通过 cmsh 添加集群用户（仅限集群所有者）
      • 2.7.1.3. （可选）将用户提升为集群管理员（仅限集群所有者）
      • 2.7.1.4. 启用备用集群所有者帐户（仅限集群所有者）
      • 2.7.1.5. 通过 Base View 添加用户
        • 2.7.1.5.1. 先决条件
        • 2.7.1.5.2. 在 Base View 中创建用户
        • 2.7.1.5.3. 在使用 Base View 创建帐户后为用户配置 SSH 访问
      • 2.7.1.6. 为集群管理员和用户创建和配置 Lustre 共享存储
      • 2.7.1.7. 更新密码
        • 2.7.1.7.1. 以 Root 身份重置用户密码（仅限集群所有者）
    • 2.7.2. 管理主目录
      • 2.7.2.1. 检查利用率
    • 2.7.3. 管理 Lustre 存储
      • 2.7.3.1. 检查利用率
      • 2.7.3.2. 查看配额
      • 2.7.3.3. 设置配额
    • 2.7.4. 管理 Slurm 集群
      • 2.7.4.1. 配置公平份额调度
      • 2.7.4.2. 查看节点信息
      • 2.7.4.3. 耗尽节点
        • 2.7.4.3.1. 重启失败节点
    • 2.7.5. 管理 NGC 上的用户
  • 2.8. 故障排除
    • 2.8.1. SSH 密钥权限
      • 2.8.1.1. 未受保护的私钥文件
    • 2.8.2. Base View 权限
    • 2.8.3. 作业问题
      • 2.8.3.1. 基本问题
      • 2.8.3.2. 容器下载超时问题
      • 2.8.3.3. 作业和应用程序问题
      • 2.8.3.4. 稳定或健康问题
      • 2.8.3.5. 性能问题
  • 2.9. 请求修改您的 DGX Cloud 集群
  • 2.10. 解决安全公告
    • 2.10.1. NVIDIA Container Toolkit - 2024 年 9 月
• 3. 集群用户指南
  • 3.1. NVIDIA DGX Cloud 概述
  • 3.2. 您的集群概述
  • 3.3. 访问您的 DGX Cloud 集群
    • 3.3.1. DGX Cloud 访问方法
    • 3.3.2. 访问登录节点
      • 3.3.2.1. 使用 SSH 密钥登录
      • 3.3.2.2. 更新密码
      • 3.3.2.3. 创建 SSH 密钥对以发送给您的管理员以进行用户创建
  • 3.4. 在您的 DGX Cloud 集群中工作概述
    • 3.4.1. 主目录
      • 3.4.1.1. 主目录的最佳实践
      • 3.4.1.2. 主目录配额管理
    • 3.4.2. Lustre 共享文件系统目录
      • 3.4.2.1. 访问共享目录
      • 3.4.2.2. 共享目录权限
      • 3.4.2.3. 限制文件和目录权限
      • 3.4.2.4. 查看配额
      • 3.4.2.5. 最佳实践
    • 3.4.3. 用户门户
      • 3.4.3.1. 登录到用户门户
      • 3.4.3.2. 导航用户门户
      • 3.4.3.3. 监控
      • 3.4.3.4. 账户和报告
  • 3.5. 设置以运行作业
    • 3.5.1. 加载 Slurm 模块
    • 3.5.2. 基本 Slurm 命令
      • 3.5.2.1. sinfo
      • 3.5.2.2. srun
      • 3.5.2.3. sbatch
      • 3.5.2.4. squeue
      • 3.5.2.5. scancel
      • 3.5.2.6. scontrol show
    • 3.5.3. 设置 NGC 集成
      • 3.5.3.1. 访问您的 NGC Org
      • 3.5.3.2. 设置您的 NGC API 密钥
      • 3.5.3.3. 设置您的 Enroot 配置文件
      • 3.5.3.4. 安装 NGC CLI
      • 3.5.3.5. 运行 Hello World 作业
    • 3.5.4. 将容器下载到集群上
      • 3.5.4.1. 从 NGC 容器创建 Squash 文件
  • 3.6. 运行示例作业
    • 3.6.1. 示例单节点批处理作业
      • 3.6.1.1. 基本 srun 命令
      • 3.6.1.2. 环境变量
      • 3.6.1.3. 运行 srun 命令
      • 3.6.1.4. 运行 sbatch 命令
      • 3.6.1.5. 查看 sbatch 日志文件
      • 3.6.1.6. SSH 访问计算节点
      • 3.6.1.7. 访问节点上运行的容器
  • 3.7. 示例单节点交互式 Bash 作业
    • 3.7.1. 示例单节点 JupyterLab 作业
      • 3.7.1.1. SSH 到登录节点
    • 3.7.2. 示例 Jupyter sbatch 脚本
      • 3.7.2.1. 连接到 Jupyter 服务
    • 3.7.3. 示例单节点 VS Code 作业
    • 3.7.4. 示例多节点批处理作业
      • 3.7.4.1. 关键环境变量
      • 3.7.4.2. 示例 PyTorch 作业
  • 3.8. 将数据移入您的 DGX Cloud 集群
    • 3.8.1. 将数据从本地工作站移动到 DGX Cloud
      • 3.8.1.1. scp
      • 3.8.1.2. sftp
      • 3.8.1.3. rsync
    • 3.8.2. 将数据从基于云的存储移动到 DGX Cloud
      • 3.8.2.1. 在 CPU 节点上使用容器运行作业
        • 3.8.2.1.1. 识别节点
        • 3.8.2.1.2. 运行作业
        • 3.8.2.1.3. 查看 sbatch 日志
      • 3.8.2.2. 通过 CPU 节点上的批处理作业加载数据
        • 3.8.2.2.1. 识别节点
        • 3.8.2.2.2. S3
        • 3.8.2.2.3. Azure
        • 3.8.2.2.4. CPU 作业 sbatch 日志
        • 3.8.2.2.5. 验证数据
  • 3.9. 管理作业
    • 3.9.1. 作业状态和监控
    • 3.9.2. 调整作业优先级
    • 3.9.3. 暂停和恢复正在运行的作业
    • 3.9.4. 保持和释放排队作业
    • 3.9.5. 重新提交作业
    • 3.9.6. 取消作业
• 4. 工作负载示例
  • 4.1. 在 DGX Cloud 上使用 DeepSpeed 的 PyTorch 和 Hugging Face Accelerate
    • 4.1.1. 概述
    • 4.1.2. 先决条件
    • 4.1.3. 准备自定义容器镜像
      • 4.1.3.1. 在本地 Linux 机器中创建容器镜像
      • 4.1.3.2. 设置您的集群工作区
        • 4.1.3.2.1. 选项 1：推送到可访问的容器注册表
        • 4.1.3.2.2. 选项 2：转换为 SquashFS 文件并上传到 Slurm 集群
    • 4.1.4. 在 Slurm 上运行
    • 4.1.5. 启用 Slurm 命令
    • 4.1.6. 从 ALMA 仓库拉取代码
    • 4.1.7. 运行 LoRA 批处理脚本
    • 4.1.8. 监控作业
    • 4.1.9. 检查多节点功能
    • 4.1.10. 参考结果
  • 4.2. DGX Cloud 上的 NeMo Framework
    • 4.2.1. 概述
    • 4.2.2. 先决条件
    • 4.2.3. 设置您的集群工作区
      • 4.2.3.1. 使用 NGC 身份验证
      • 4.2.3.2. 拉取 NeMo Framework 仓库
      • 4.2.3.3. 配置 NeMo Framework
    • 4.2.4. 使用合成数据在 Slurm 上运行训练作业
      • 4.2.4.1. 配置训练作业
      • 4.2.4.2. 运行训练作业
      • 4.2.4.3. 监控训练作业
      • 4.2.4.4. 解释训练性能
  • 4.3. 在 DGX Cloud 上使用 Hugging Face Accelerate 进行视频分类和 ASR
    • 4.3.1. 概述
    • 4.3.2. 先决条件
    • 4.3.3. 准备自定义容器镜像
      • 4.3.3.1. 在本地 Linux 机器中创建容器镜像
      • 4.3.3.2. 设置您的集群工作区
        • 4.3.3.2.1. 选项 1：推送到可访问的容器注册表
        • 4.3.3.2.2. 选项 2：转换为 SquashFS 文件并上传到 Slurm 集群
    • 4.3.4. 在 Slurm 上运行
    • 4.3.5. 启用 Slurm 命令
    • 4.3.6. 用例 1：使用 Slurm 微调视频分类模型
      • 4.3.6.1. 工作区和视频数据集准备
      • 4.3.6.2. 训练脚本
      • 4.3.6.3. 批处理提交脚本
      • 4.3.6.4. 训练步骤、Epoch 和时间
    • 4.3.7. 用例 2：使用 Slurm 进行 ASR 的 QLoRA 微调
      • 4.3.7.1. 工作区和 ASR 数据集准备
      • 4.3.7.2. 训练脚本
      • 4.3.7.3. 批处理提交脚本
      • 4.3.7.4. 训练步骤、Epoch 和时间

附录

• 环境变量

声明

• 声明
  • 声明
  • 商标
  • 版权

文档反馈

• 给我们发邮件！