重要

您正在查看 NeMo 2.0 文档。此版本对 API 和一个新库 NeMo Run 进行了重大更改。我们目前正在将 NeMo 1.0 的所有功能移植到 2.0。有关先前版本或 2.0 中尚不可用的功能的文档，请参阅 NeMo 24.07 文档。

下一步

训练分词器

分词器将文本转换为语言模型可以解释的标记。训练分词器涉及确定哪些文本字符串应映射到哪些标记 ID。NeMo Curator 通常不处理分词器的训练或分词，但 NeMo 可以。您可以在此处找到有关如何使用 NeMo 训练分词器的更多信息 here。

训练大型语言模型

预训练大型语言模型涉及在大型整理数据集中运行下一个标记预测。NeMo 处理使用 NeMo Curator 整理的数据预训练大型语言模型的所有工作。您可以在 NeMo 用户指南的大型语言模型部分找到有关预训练、评估、参数高效微调 (PEFT) 等的信息 large language model section of the NeMo user guide。

对齐大型语言模型

预训练大型语言模型后，对齐它使您可以在类似聊天的设置中与其交互。NeMo Aligner 允许您获取整理的对齐数据，并使用它来对齐预训练的语言模型。您可以在此处找到有关如何使用 NeMo Aligner 及其支持的所有对齐技术的信息 here。