重要提示
您正在查看 NeMo 2.0 文档。此版本对 API 和一个新库 NeMo Run 进行了重大更改。我们目前正在将 NeMo 1.0 中的所有功能移植到 2.0。有关先前版本或 2.0 中尚不可用的功能的文档，请参阅 NeMo 24.07 文档。
参数高效微调 (PEFT)#
PEFT 是一种流行的技术，用于高效地微调大型语言模型，以用于各种下游任务。当使用 PEFT 进行微调时，基础模型权重被冻结，并且将少量可训练的适配器模块注入到模型中，从而产生非常少数量（<< 1%）的可训练权重。通过精心选择的适配器模块和注入点，PEFT 以远低于全量微调的计算和存储成本实现了可比的性能。
NeMo 支持四种 PEFT 方法，这些方法可以与各种基于 Transformer 的模型一起使用。 此处 收集了一些转换脚本，这些脚本将流行的模型从 HF 格式转换为 nemo 格式。
GPT 3 |
Nemotron |
LLaMa 1/2 |
Falcon |
Starcoder |
Mistral |
Mixtral |
Gemma |
T5 |
|
|---|---|---|---|---|---|---|---|---|---|
LoRA |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
P-Tuning |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
Adapters (Canonical) |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
|
IA3 |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
✅ |
通过 快速入门指南 了解更多关于 NeMo 中 PEFT 的信息，其中概述了 PEFT 在 NeMo 中的工作原理。阅读关于支持的 PEFT 方法 此处 的内容。对于实际示例，请查看 逐步指南。
API 指南可以在此处找到