重要提示
您正在查看 NeMo 2.0 文档。此版本对 API 和新库 NeMo Run 进行了重大更改。我们目前正在将 NeMo 1.0 中的所有功能移植到 2.0。有关先前版本或 2.0 中尚不可用的功能的文档，请参阅 NeMo 24.07 文档。
大型语言模型#
NeMo 框架拥有训练大型语言模型所需的一切，包括设置计算集群、下载数据和选择模型超参数。NeMo 2.0 使用 NeMo-Run，使其可以轻松地将 LLM 扩展到数千个 GPU。
NeMo 2.0 目前支持以下 LLM
为每个模型提供默认配置。提供的默认配置在上面链接的模型特定文档中概述。可以修改每个配置，以便在新数据集上进行训练或测试新的模型超参数。
NeMo 还支持训练长上下文模型或扩展预训练模型的上下文长度
有关部署 LLM 的信息