支持矩阵

这些支持矩阵列出了 NVIDIA ACE Agent 支持的硬件和软件要求。

硬件

NVIDIA ACE Agent 数据中心平台支持的硬件

	硬件兼容性
GPU 型号	NVIDIA Turing T4 GPU NVIDIA Volta V100 GPU NVIDIA Ampere A100 GPU NVIDIA Ampere A30 GPU NVIDIA A10 GPU NVIDIA H100 GPU NVIDIA L4 GPU NVIDIA L40 GPU 注意 NVIDIA ACE Agent 在任何 NVIDIA Volta 或更新的 NVIDIA GPU (NVIDIA Turing 或 NVIDIA Ampere 架构) 上均受支持，用于开发目的。在训练或部署模型时，必须注意不要超过可用内存。
操作系统	NVIDIA ACE Agent 需要 Linux x86_64 (首选平台 Ubuntu 20.04 和 22.04)
麦克风和耳机	任何优质的麦克风和扬声器都可与 NVIDIA ACE Agent 配合使用。以下型号已验证可良好工作。 麦克风 带有 USB 麦克风的 Linux x86 (例如，Logitech H390 USB 电脑耳机) 耳机 Logitech H340 Logitech H390 Microsoft LX3000
将模型部署到 NVIDIA Triton 所需的 GPU 内存	ASR 模型 ~5600 MB TTS 模型 ~3500 MB NMT 模型 每个双语模型约 4500 MB 每个 megatron 500m 模型约 5500 MB 每个 megatron 1b 模型约 8500 MB NLP 模型 NLP 模型的 GPU 内存需求仅包括每个模型所需的增量内存。每个 Triton 服务器实例还需要额外的约 1500 MB GPU 内存。 BERT Base NLP 模型 每个模型约 600 MB
部署 LLM 模型所需的 GPU 内存	除了少数教程外，LLM 和 RAG 示例 Bot 使用本地部署的 meta/llama3-8b-instruct LLM 模型，这需要单独的 A100 80 GB 或 H100 GPU 用于本地部署。如果您计划使用不同的 LLM 模型，请在部署前确认 GPU 计算要求。

软件

有关支持的软件堆栈和容器的更多信息，请参阅 深度学习框架支持矩阵。

NVIDIA ACE Agent 数据中心平台支持的软件

	软件兼容性
容器	容器操作系统 Ubuntu 20.04 NVIDIA Riva 2.17.0
Docker	Docker >= 19.03，并安装 nvidia-docker 对于 DGX 用户，请参阅 准备使用 NVIDIA 容器。
TAO Toolkit	TAO Toolkit 21.10 或更高版本
NeMo Guardrails	0.10.1
NVIDIA 驱动程序	510+ 418.40+、440.33+、450.51+、460.27+、470.57+，适用于数据中心 GPU 对于更早的驱动程序版本，请参阅 深度学习框架支持矩阵 中的 NVIDIA 驱动程序部分。
NVIDIA NGC CLI	最新