跳到主要内容
Ctrl+K
NVIDIA NeMo Framework User Guide - Home

NVIDIA NeMo 框架用户指南

NVIDIA NeMo Framework User Guide - Home

NVIDIA NeMo 框架用户指南

目录

NeMo 框架

  • 概述
  • 安装 NeMo 框架
  • 性能
  • 为什么选择 NeMo 框架?

入门指南

  • NeMo-Run 快速入门
  • NeMo 2.0 API 快速入门
  • 教程

开发者指南

  • 迁移指南
    • 预训练
    • SFT 训练和推理
    • PEFT 训练和推理
    • 训练器配置
    • 实验管理器
    • 检查点配置
    • 优化器配置
    • 数据配置
    • Nsys 性能分析
    • 分词器
  • 功能指南
    • Lightning 和 Megatron Core 之间的桥梁
    • 日志记录和检查点
    • 序列化
    • 参数高效微调 (PEFT)
    • Hugging Face 集成
  • 最佳实践

训练和自定义

  • 长上下文训练
    • 上下文并行
  • 使用自动配置器的最佳配置
  • 参数高效微调 (PEFT)
    • 支持的 PEFT 方法
    • 高性能和规范 LoRA 变体的比较
  • 序列打包
  • 弹性
  • 持续训练

模型优化

  • 量化
  • 蒸馏

模型

  • 大型语言模型
    • Baichuan 2
    • ChatGLM 3
    • Gemma
    • Gemma 2
    • Llama 3
    • Mamba 2
    • Mixtral
    • Nemotron
    • Phi 3
    • Qwen2
    • Starcoder
    • Starcoder 2
    • T5
    • BERT
  • 视觉语言模型
    • NeVA (LLaVA)
    • LLaVA-Next
    • Llama 3.2 视觉模型
    • 使用 Megatron-Energon Dataloader 的数据准备
    • CLIP
  • 语音 AI 模型
  • 扩散模型
    • Flux
    • 扩散训练框架
  • 嵌入模型
    • SBERT
    • Llama 嵌入

部署模型

  • 概述
  • 大型语言模型
    • 通过导出到推理优化库来部署 NeMo 模型
      • 通过导出 TensorRT-LLM 来部署 NeMo 模型
      • 通过导出 vLLM 来部署 NeMo 模型
    • 在框架中部署 NeMo 模型
    • 将查询发送到 NVIDIA Triton 服务器以用于 NeMo LLM

库文档

  • 概述
  • NeMo
    • 简介
    • NeMo 基础知识
    • 教程
    • 混合精度训练
    • 并行性
    • 专家混合
    • 优化
      • 注意力优化
      • 激活重计算
      • 通信重叠
      • CPU 卸载
    • 检查点
      • NeMo 分布式检查点用户指南
      • 从 Megatron-LM 转换
    • NeMo API
      • NeMo 模型
      • 神经模块
      • 实验管理器
      • 神经类型
      • 导出 NeMo 模型
      • 适配器
        • 适配器组件
        • 适配器 API
      • NeMo Core API
      • NeMo 通用集合 API
        • 回调
        • 损失
        • 指标
        • 分词器
        • 数据
        • S3 检查点
      • NeMo 大型语言模型 API
        • Megatron 模型的 ONNX 导出
      • NeMo 多模态 API
      • NeMo ASR API
      • NeMo TTS API
    • NeMo 集合
      • 大型语言模型
        • GPT 模型训练
        • 批处理
        • 参数高效微调 (PEFT)
        • 位置嵌入
        • Megatron Core 自定义
        • 重置学习率
        • 加速批量大小
      • 机器翻译模型
      • Megatron 模型的 ONNX 导出
      • 量化
      • 多模态语言模型
        • 多模态语言模型数据集
        • 常用配置文件
        • NeVA
        • 视频 NeVA
        • NeVA 的序列打包
        • 语音增强型大型语言模型 (SpeechLLM)
        • SpechLLM 数据集
        • 常用配置文件
        • SpeechLLM API
      • 视觉语言基础
        • 数据集
        • 常用配置文件
        • 检查点
        • CLIP
      • 文本到图像模型
        • 数据集
        • 常用配置文件
        • 检查点
        • Stable Diffusion
        • Imagen
        • DreamBooth
        • ControlNet
        • InstructPix2Pix
        • Stable Diffusion XL Int8 量化
      • NeRF
        • 数据集
        • 常用配置文件
        • DreamFusion
      • 语音增强型大型语言模型 (SpeechLLM)
        • SpechLLM 数据集
        • 常用配置文件
        • SpeechLLM API
      • 视觉模型
        • 数据集
        • 常用配置文件
        • 检查点
        • ViT
      • 自动语音识别 (ASR)
        • 模型
        • 数据集
        • ASR 语言建模和自定义
        • 检查点
        • 分数
        • NeMo ASR 配置文件
        • NeMo ASR API
        • MCV 示例
      • 语音分类
        • 模型
        • 数据集
        • 检查点
        • NeMo 语音分类配置文件
        • 资源和文档指南
      • 说话人识别 (SR)
        • 模型
        • NeMo 说话人识别配置文件
        • 数据集
        • 检查点
        • NeMo 说话人识别 API
        • 资源和文档指南
      • 说话人日志分割
        • 模型
        • 数据集
        • 检查点
        • 端到端说话人日志分割配置文件
        • NeMo 说话人日志分割 API
        • 资源和文档指南
      • 语音自监督学习
        • 模型
        • 数据集
        • 检查点
        • NeMo SSL 配置文件
        • NeMo SSL 集合 API
        • 资源和文档
      • 语音意图分类和槽位填充
        • 模型
        • 数据集
        • 检查点
        • NeMo 语音意图分类和槽位填充配置文件
        • NeMo 语音意图分类和槽位填充集合 API
        • 资源和文档
      • 文本到语音 (TTS)
        • 模型
        • 数据预处理
        • 检查点
        • NeMo TTS 配置文件
        • 字素到音素模型
      • 语音和音频处理
        • 模型
        • 数据集
        • 检查点
        • NeMo 音频配置文件
        • NeMo 音频 API
    • 语音 AI 工具
      • NeMo 强制对齐器 (NFA)
      • 基于 CTC 分割的数据集创建工具
      • 语音数据浏览器
      • ASR 模型比较工具
      • ASR 评估器
      • 语音数据处理器
      • (逆向)文本规范化
        • 基于 WFST 的(逆向)文本规范化
        • 用于(逆向)文本规范化的神经模型
  • NeMo 对齐器
    • 获取预训练模型
    • 使用知识蒸馏的监督微调 (SFT)
    • 通过 REINFORCE 进行模型对齐
    • 通过 DPO、RPO 和 IPO 进行模型对齐
    • 通过 RLHF 进行模型对齐
    • 通过 SteerLM 方法进行模型对齐
    • SteerLM 2.0:用于属性条件语言模型对齐的迭代训练
    • 通过拒绝采样进行模型对齐
    • 通过自博弈微调 (SPIN) 进行模型对齐
    • 使用 DRaFT+ 微调 Stable Diffusion
    • 宪法 AI:来自 AI 反馈的无害性
  • NeMo Curator
    • 文本管理
      • 下载和提取文本
      • 使用 DocumentDataset
      • 带有 Dask 的 CPU 和 GPU 模块
      • 分类器和启发式质量过滤
      • 语言识别和 Unicode 修复
      • GPU 加速的精确和模糊去重
      • 语义去重
      • 合成数据生成
      • 下游任务去污染/去重
      • PII 识别和移除
      • 分布式数据分类
    • 图像管理
      • 开始使用
      • 图像-文本对数据集
      • 美学分类器
      • NSFW 分类器
      • 语义去重
    • 参考
      • 在 Kubernetes 上运行 NeMo Curator
      • 使用 NeMo Curator 和 Apache Spark 读取和写入数据集
      • 最佳实践
      • 下一步
      • API 参考
        • Dask 集群函数
        • 数据集
        • 下载和提取
        • 过滤器
        • 分类器
        • 修饰符
        • 去重
        • 任务去污染
        • LLM 服务
        • 合成数据
        • 图像管理
        • 杂项
  • NeMo Run
    • API 参考
      • 配置
      • 执行
      • 管理
      • 助手和实用程序
    • 常见问题解答

发布

  • 软件组件版本
  • 更新日志
  • 已知问题
  • NVIDIA NeMo 框架开发者文档
  • (逆向)文本规范化
  • 神经...

重要提示

您正在查看 NeMo 2.0 文档。此版本对 API 和新库 NeMo Run 进行了重大更改。我们目前正在将 NeMo 1.0 中的所有功能移植到 2.0。有关先前版本或 2.0 中尚不可用的功能的文档,请参阅 NeMo 24.07 文档。

用于(逆向)文本规范化的神经模型#

NeMo 提供了两种类型的神经模型

基于 Duplex T5 的 TN/ITN

  • 神经文本规范化模型

基于单程标签器的 ITN

  • Thutmose Tagger:基于单程标签器的 ITN 模型

上一页

资源和文档

下一页

神经文本规范化模型

NVIDIA NVIDIA
隐私政策 | 管理我的隐私 | 请勿出售或分享我的数据 | 服务条款 | 可访问性 | 公司政策 | 产品安全 | 联系我们

版权所有 © 2023-2025,NVIDIA Corporation。

上次更新于 2025 年 2 月 14 日。

© . All rights reserved.