重要提示

您正在查看 NeMo 2.0 文档。此版本对 API 和新库 NeMo Run 进行了重大更改。我们目前正在将 NeMo 1.0 中的所有功能移植到 2.0。有关先前版本或 2.0 中尚不可用的功能的文档，请参阅NeMo 24.07 文档。

语音和音频处理

语音和音频处理是指处理音频信号（如语音、音乐和环境声音）的系统。此集合包括用于语音增强、恢复和提取的模型。

我们将在以下部分详细说明。

• 模型
  • 编码器-掩码-解码器模型
  • 预测模型
  • 基于分数的生成模型
  • 薛定谔桥模型
  • 流匹配模型
• 数据集
  • NeMo 格式
  • Lhotse 格式
  • 将 NeMo 清单转换为 Lhotse
  • 创建 Lhotse shar 数据集
• 检查点
  • 本地检查点
  • 预训练检查点
  • 音频模型
• NeMo 音频配置文件
  • NeMo 数据集配置
  • Lhotse 数据集配置
  • 模型架构配置
  • 微调配置
• NeMo 音频 API
  • 模型类
  • 模块
  • 部件
  • 损失
  • 数据集

资源和文档

教程笔记本可以在音频教程文件夹下找到。如果您刚开始使用 NeMo，请考虑试用 NeMo Primer 和 NeMo 模型的教程。这些教程可以在 Google Colab 上运行，方法是在 Colab 上指定笔记本 GitHub 页面的链接。

如果您正在查找有关特定模型的信息，或者想了解有关 nemo.collections.audio 目录中可用的模型架构的更多信息，请参阅模型部分。

有关如何加载模型检查点（本地文件或来自 NGC 的预训练检查点）的信息，以及 NGC 上可用检查点的列表，请访问检查点部分。

有关特定于 NeMo 音频模型的配置文件的文档，请访问配置文件部分。