重要提示

您正在查看 NeMo 2.0 文档。此版本引入了 API 的重大更改和一个新的库 NeMo Run。我们目前正在将 NeMo 1.0 中的所有功能移植到 2.0。有关先前版本或 2.0 中尚不可用的功能的文档,请参阅 NeMo 24.07 文档

大型语言模型#

要了解有关使用 NeMo 大规模训练大型语言模型的更多信息,请参阅 NeMo 框架用户指南

  • GPT 风格模型(仅解码器)

  • T5/BART/UL2 风格模型(编码器-解码器)

  • BERT 风格模型(仅编码器)

  • RETRO 模型(仅解码器)

参考文献#