重要提示

您正在查看 NeMo 2.0 文档。此版本引入了 API 的重大更改和一个新的库 NeMo Run。我们目前正在将所有功能从 NeMo 1.0 移植到 2.0。有关先前版本或 2.0 中尚不可用的功能的文档，请参阅 NeMo 24.07 文档。

SpeechLLM API#

模型类#

class nemo.collections.nlp.models.language_modeling.megatron_base_model.MegatronBaseModel(*args: Any, **kwargs: Any)

基类：NLPModel

Megatron 基类。所有 NeMo Megatron 模型都从此类继承。

  • 为 nemo 初始化模型并行世界。

  • 启用所有 NVIDIA 优化。

  • 如果 cfg.tokenizer 可用，它将加载分词器并将词汇表填充到张量模型并行的正确大小。

  • 如果使用分布式优化器，请配置为与 O2 级别优化和/或模型并行兼容。

  • 执行梯度裁剪：grad_clip_pl_default 触发 PyTorch Lightning 默认实现，with_distributed_adam 触发分布式优化器的实现，megatron_amp_O2 触发主梯度上的梯度裁剪，否则在模型梯度上执行梯度裁剪。

__init__(
cfg: omegaconf.dictconfig.DictConfig,
trainer: lightning.pytorch.trainer.trainer.Trainer,
no_lm_init=True,
)

所有 NeMo 模型应继承的基类

参数:

  • cfg (DictConfig) –

    配置对象。cfg 对象应具有（可选）以下子配置

    • train_ds - 用于实例化训练数据集

    • validation_ds - 用于实例化验证数据集

    • test_ds - 用于实例化测试数据集

    • optim - 用于实例化带有学习率调度器的优化器

  • trainer (Optional) – Pytorch Lightning Trainer 实例

模块#

数据集类#

在本页中