重要提示

您正在查看 NeMo 2.0 文档。此版本引入了对 API 的重大更改和一个新的库 NeMo Run。我们目前正在将 NeMo 1.0 的所有功能移植到 2.0。有关先前版本或 2.0 中尚不可用的功能的文档，请参阅 NeMo 24.07 文档。

NVIDIA NeMo Framework 开发者文档#

NVIDIA NeMo Framework 是一个端到端、云原生框架，旨在在任何地方构建、定制和部署生成式 AI 模型。

NVIDIA NeMo Framework 支持大规模训练功能，包括

  • 混合精度训练

  • 并行性

  • 分布式优化器

  • 全分片数据并行 (FSDP)

  • Flash Attention

  • 激活重计算

  • 位置嵌入和位置插值

  • 使用 TensorRT Model Optimizer 的训练后量化 (PTQ) 和量化感知训练 (QAT)

  • 使用 TensorRT Model Optimizer 的基于知识蒸馏的训练

  • 序列打包

NVIDIA NeMo Framework 具有用于以下内容的单独集合

每个集合都包含预构建模块，其中包括在您的数据上进行训练所需的一切。每个模块都可以轻松定制、扩展和组合，以创建新的生成式 AI 模型架构。

有关快速指南和教程，请参阅下面的“入门指南”部分。

有关更多信息，请浏览下面内容部分或左侧边栏中您感兴趣领域的开发者文档。

模型检查点

API

集合

语音 AI 工具