快速入门指南

在您使用 RTX 虚拟工作站构建 RAG 应用程序时，请参考本指南。

在开始之前，请完成以下步骤以获取必要的软件和硬件组件。

所需软件

• Hypervisor（虚拟机监控程序）： vGPU 支持的虚拟机监控程序

• NVIDIA vGPU 软件：vGPU 17.4 或更高版本

• Linux 虚拟机操作系统：Ubuntu 24.04 或 Ubuntu 22.04

• 在此处下载 NVIDIA AI Workbench for Ubuntu here (AI vWS 后端)

  警告

  • 请使用将要使用 AI Workbench 的同一帐户安装 AI Workbench。

  • 在下载 NVIDIA AI Workbench 之前，请阅读 NVIDIA AI 产品协议、《NVIDIA AI Workbench 共享安全模型》和我们的《数据隐私政策》。下载、安装或使用 NVIDIA AI Workbench 软件即表示您同意 NVIDIA AI 产品协议（EULA）的条款。如果您不同意 EULA 的条款，则您无权下载、安装或使用 NVIDIA AI Workbench。

  
  

• 激活、下载并安装您的 RTX 虚拟工作站许可证

• 选择并下载一个大型语言模型（建议使用 LLaMa 3-8B），该模型可以从 Hugging Face 或 GitHub 获取，用于构建 RAG 应用程序

所需硬件

配备 NVIDIA L40S、L40、L4、A40、A10 或 T4 的 NVIDIA vGPU 认证系统。查看 NVIDIA vGPU 认证服务器列表。

• Linux 虚拟机配置的最低要求：8 个 vCPU，32 GB 系统内存，120 GB 存储

• Linux 虚拟机推荐的 vGPU 配置文件：16Q（4 位模型）或 24Q（8 位模型）