API 指南
- models 包
- tensor_parallel 包
- context_parallel 包
- pipeline_parallel 包
- fusions 包
- transformer 包
- 专家混合包
- dist_checkpointing 包
- 分布式优化器
- distributed 包
- datasets 包
- 数据管道
- 子模块
- datasets.blended_megatron_dataset_config 模块
- datasets.blended_megatron_dataset_builder 模块
- datasets.megatron_tokenizer 模块
- datasets.indexed_dataset 模块
- datasets.megatron_dataset 模块
- datasets.gpt_dataset 模块
- datasets.masked_dataset 模块
- datasets.bert_dataset 模块
- datasets.t5_dataset 模块
- datasets.blended_dataset 模块
- datasets.utils 模块
- 模块内容
- 数据管道
- 微批次计算器
- 优化器参数调度器
- encoder-decoder-parallelism 包