快速入门指南

在您使用 RTX 虚拟工作站微调大型语言模型时，请参考本指南。

在开始之前，请完成以下步骤以获取必要的软件和硬件组件。

所需软件

• Hypervisor: vGPU 支持的 hypervisor

• NVIDIA vGPU 软件：vGPU 17.4 或更高版本

• Linux VM 操作系统：Ubuntu 24.04 或 Ubuntu 22.04

• 下载 NVIDIA AI Workbench for Ubuntu 此处

  警告

  • 从将要使用 AI Workbench 的同一帐户安装 AI Workbench。

  • 在下载 NVIDIA AI Workbench 之前，请阅读 NVIDIA AI 产品协议、NVIDIA AI Workbench 共享安全模型 和我们的 数据隐私政策。通过下载、安装或使用 NVIDIA AI Workbench 软件，您同意 NVIDIA AI 产品协议 (EULA) 的条款。如果您不同意 EULA 的条款，则您无权下载、安装或使用 NVIDIA AI Workbench。

  
  

• 激活、下载和安装 您的 RTX 虚拟工作站许可证

• 请求访问大型语言模型 LLaMa 3-8B on Hugging Face 并生成访问令牌

所需硬件

NVIDIA vGPU 认证系统配备 NVIDIA L40S、L40 和 L4。查看 NVIDIA vGPU 认证服务器 列表。

本部署指南中的微调（使用 Llama-3-8B-instruct 的 4 位量化）

• 最低要求：16 个 vCPU、24 GB 系统内存、120 GB 存储空间、16Q Profile

• 推荐配置：32 个 vGPU、128 GB 系统内存、120 GB 存储空间、16Q Profile

有关支持的模型、量化位数和硬件要求的更多详细信息，您可以参考 GitHub 上的 Llamafactory 项目。