重要提示

您正在查看 NeMo 2.0 文档。此版本引入了 API 的重大更改和一个新的库 NeMo Run。我们目前正在将 NeMo 1.0 中的所有功能移植到 2.0。有关先前版本或 2.0 中尚不可用的功能的文档，请参阅 NeMo 24.07 文档。

检查点#

在 NeMo 中加载预训练检查点主要有两种方法

  • 使用 restore_from() 方法加载本地检查点文件 (.nemo)，或

  • 使用 from_pretrained() 方法从云端下载并设置检查点。

请注意，这些说明用于加载完全训练的检查点以进行评估或微调。要恢复未完成的训练实验，请使用实验管理器，方法是将 resume_if_exists 标志设置为 True。

本地检查点#

  • 保存模型检查点：NeMo 会自动保存带有 .nemo 后缀的最终模型检查点。您也可以使用 model.save_to(<checkpoint_path>.nemo) 手动保存任何模型检查点。

  • 加载模型检查点：如果您想加载保存在 <path/to/checkpoint/file.nemo> 的检查点，请使用下面的 restore_from() 方法，其中 <MODEL_BASE_CLASS> 是原始检查点的模型类。

import nemo.collections.audio as nemo_audio
model = nemo_audio.models.<MODEL_BASE_CLASS>.restore_from(restore_path="<path/to/checkpoint/file.nemo>")

预训练检查点#

下表在检查点列表部分列出了可用的预训练音频处理模型，包括语音处理、恢复和提取。

加载模型检查点#

可以通过音频模型类中的 from_pretrained() 方法访问这些模型。通常，您可以使用以下格式的代码加载这些模型中的任何一个，

import nemo.collections.audio as nemo_audio
model = nemo_audio.models.<MODEL_BASE_CLASS>.from_pretrained(model_name="<MODEL_NAME>")

其中 <MODEL_NAME> 是 检查点表中的 模型名称 列中的值。这些名称在每个模型的成员函数 self.list_available_models() 中预定义。

音频模型#

语音增强模型#

模型名称

数据集

采样率

模型类

模型卡

nvidia/se_den_sb_16k_small

WSJ0+CHiME

16000Hz

nemo.collections.audio.models.SchroedingerBridgeAudioToAudioModel

se_den_sb_16k_small

nvidia/se_der_sb_16k_small

WSJ0+Reverb

16000Hz

nemo.collections.audio.models.SchroedingerBridgeAudioToAudioModel

se_der_sb_16k_small

SSL 模型#

模型名称

数据集

采样率

模型类

模型卡

nvidia/sr_ssl_flowmatching_16k_430m

Libri-Light

16000Hz

nemo.collections.audio.models.FlowMatchingAudioToAudioModel

sr_ssl_flowmatching_16k_430m
在本页中