NVIDIA AI 企业级 Red Hat Enterprise Linux 与 KVM 部署指南

本文档深入介绍了如何在 Red Hat Enterprise Linux 与 KVM 虚拟化上部署 NVIDIA AI 企业级，并作为理解系统前提条件、安装和配置的技术资源。

NVIDIA AI 企业级

• 企业级 AI 软件平台
  • 来自 NVIDIA 的企业级 AI 软件平台
  • 支持的 NVIDIA AI 软件
  • NVIDIA AI 工作流程
  • 生产就绪的预训练模型
  • NVIDIA NIM
  • 支持的硬件和软件

部署指南

• 概述
  • KVM 功能概述
• 前提条件
• 在主机服务器上安装 Red Hat Enterprise
• 初始主机配置
• NVIDIA AI 企业级软件
  • NVIDIA 驱动程序
  • 安装 NGC Catalog CLI
  • 安装 NVIDIA 驱动程序
    • CLS 场景的安装步骤
      • 安装 NVIDIA 驱动程序
        • 使用 NGC 下载 NVIDIA AI 企业级软件驱动程序
        • 使用 .run 文件在 RHEL 上安装 NVIDIA 驱动程序
• NVIDIA 许可系统
  • NVIDIA 许可系统用户指南
• 在您的 NVIDIA AI 企业级系统上启用 KVM 虚拟化
  • 在 x86 系统上启用虚拟化
• 在 KVM 上使用 NVIDIA AI 企业级创建虚拟机
  • 使用 Web 控制台创建虚拟机并安装客户操作系统
  • 安装 Web 控制台以管理虚拟机
  • 登录到 Web 控制台
  • 设置 Web 控制台以管理虚拟机
  • 使用 Web 控制台进行虚拟机管理概述
  • 使用 Web 控制台创建虚拟机
  • 使用命令行界面创建虚拟机（可选）
  • 验证
  • 使用 Web 控制台在虚拟机中安装 RHEL 客户操作系统
• 设置 NVIDIA vGPU 设备
  • 管理 NVIDIA vGPU 设备
  • 设置 NVIDIA vGPU 设备
    • NVIDIA 驱动程序
    • 使用 CLS 安装 NVIDIA 驱动程序
      • 使用 NGC 下载 NVIDIA AI 企业级软件驱动程序
      • 使用 .run 文件在 RHEL 上安装 NVIDIA 驱动程序
  • 创建 NVIDIA vGPU 设备
  • 虚拟机授权许可
• 安装 Podman 和 NVIDIA 容器工具包
  • 安装 NVIDIA 容器工具包
  • 测试 Podman 和 NVIDIA 容器运行时
    • 单 GPU
    • 多 GPU
• 安装 AI 和数据科学应用程序及框架
  • 访问 AI 和数据科学工具及框架
  • NVIDIA AI 企业级搜索过滤器
  • NVIDIA TensorRT
  • NVIDIA Triton 推理服务器
  • NVIDIA RAPIDS
  • PyTorch
  • TensorFlow
  • TAO 工具包
• 高级 GPU 配置（可选）
• 高级框架配置
  • 保护 notebook 服务器安全
  • 单个容器的启动脚本
    • Jupyter 的启动脚本
      • RAPIDS 容器
      • TensorFlow1 容器
      • TensorFlow2 容器
      • PyTorch 容器
    • 组合启动脚本
    • 启用启动脚本
  • Triton 推理服务器的启动脚本
• 验证
  • TensorRT RN50 推理
    • 运行测试的命令
    • 结果解读

支持

• 支持和服务

公告

• 公告
  • 公告
  • 商标
  • 版权