Megatron Core 是一个 Python 库，其中包含构建语言模型所需的核心组件。Megatron Core 的参考实现可以在 NeMo 中找到。它提供了一个简单且直观的 API。
用户指南
API 指南
- API 指南
- models 包
- tensor_parallel 包
- context_parallel 包
- pipeline_parallel 包
- fusions 包
- transformer 包
- Mixture of Experts 包
- dist_checkpointing 包
- 分布式优化器
- distributed 包
- datasets 包
- 数据管道
- 子模块
- datasets.blended_megatron_dataset_config 模块
- datasets.blended_megatron_dataset_builder 模块
- datasets.megatron_tokenizer 模块
- datasets.indexed_dataset 模块
- datasets.megatron_dataset 模块
- datasets.gpt_dataset 模块
- datasets.masked_dataset 模块
- datasets.bert_dataset 模块
- datasets.t5_dataset 模块
- datasets.blended_dataset 模块
- datasets.utils 模块
- 模块内容
- 微批次计算器
- 优化器参数调度器
- encoder-decoder-parallelism 包
- models 包