重要

您正在查看 NeMo 2.0 文档。此版本引入了对 API 的重大更改和一个新的库，NeMo Run。我们目前正在将 NeMo 1.0 的所有功能移植到 2.0。有关先前版本或 2.0 中尚不可用的功能的文档，请参阅 NeMo 24.07 文档。

通用配置文件#

本节详细概述了 NeMo 视觉模型集合中特定于模型的 NeMo 配置文件设置。有关设置和执行所有 NeMo 模型通用的实验（例如实验管理器和 PyTorch Lightning 训练器参数）的基础知识，请参阅 NeMo 模型 部分。

在 NeMo 视觉模型的配置文件中，关于数据集、增强、优化参数和模型架构规范的详细信息是核心。本页探讨这些方面的每一个。

在 示例的 config 目录 中查找所有 NeMo 视觉模型脚本的示例配置文件。

数据集配置#

配置文件描述了数据集路径的参数。

实验中使用的 Dataset 类支持的所有初始化参数都可以在配置文件中定义。

一个代表性的训练配置如下所示

data:
  data_path:
    - ${data_dir}/imagenet_1k/train
    - ${data_dir}/imagenet_1k/val
  num_workers: 8
  dataloader_type: cyclic
  validation_drop_last: True
  data_sharding: False

训练器配置#

本节概述了 Pytorch Lightning Trainer 对象的参数。

trainer:
  devices: 1 # number of GPUs (0 for CPU), or list of the GPUs to use e.g. [0, 1]
  num_nodes: 1
  max_epochs: -1
  max_steps: 2500000 # precedence over max_epochs
  logger: False  # Provided by exp_manager
  precision: bf16 # Should be set to 16 for O1 and O2 to enable the AMP.
  accelerator: gpu
  log_every_n_steps: 5  # Interval of logging.
  resume_from_checkpoint: null # The path to a checkpoint file to continue the training, restores the whole state including the epoch, step, LR schedulers, apex, etc.
  num_sanity_val_steps: 10 # number of steps to perform validation steps for sanity check the validation process before starting the training, setting to 0 disables it
  enable_checkpointing: False # Provided by exp_manager
  accumulate_grad_batches: 1 # do not modify, grad acc is automatic for training megatron models
  gradient_clip_val: 1.0
  benchmark: False
  enable_model_summary: True

有关参数的详细列表，请参阅 Pytorch Lightning Trainer API 部分。

实验管理器配置#

NeMo 实验管理器提供了一种简化的方法来管理各种任务，例如日志记录、保存和恢复。

exp_manager:
  exp_dir: null  # exp_dir for your experiment, if None, defaults to "./nemo_experiments"
  name: ${name}
  create_wandb_logger: True
  wandb_logger_kwargs: # Whether you want exp_manger to create a Wandb logger
    name: training-session
    project: text2img
    group: nemo
    resume: True
  create_tensorboard_logger: True  # Whether you want exp_manger to create a tb logger
  create_checkpoint_callback: True  # Whether you want exp_manager to create a model checkpoint callback
  checkpoint_callback_params:
    monitor: reduced_train_loss
    save_top_k: 5
    every_n_epochs: 0 # Save checkpoint frequency.
    every_n_train_steps: 1000 # Mutually exclusive with every_n_epochs. It is recommended to set this if training on large-scale dataset.
    filename: '${name}--{reduced_train_loss:.2f}-{step}-{consumed_samples}'
  resume_if_exists: True
  resume_ignore_no_checkpoint: True
  resume_from_checkpoint: ${model.resume_from_checkpoint}
  ema:
    enable: True
    decay: 0.9999
    validate_original_weights: False
    every_n_steps: 1
    cpu_offload: False

优化器配置#

optim:
  name: fused_adam
  lr: 0.0001
  eps: 1e-8
  betas: [ 0.9, 0.999 ]
  weight_decay: 0.01
  sched:
    name: WarmupPolicy
    warmup_steps: 10000
    warmup_ratio: null

默认使用的优化器是 fused_adam。有关所有支持的优化器的详细信息，请参阅 NeMo 用户指南。optim.sched 部分可以指定学习率调度器。

模型配置#

每个配置文件都应详细说明用于实验的模型架构。

在大多数视觉集合模型中常用的参数包括

参数

数据类型

描述

micro_batch_size

int

适合每个 GPU 的微批大小

global_batch_size

int

考虑梯度累积和数据并行的全局批大小

tensor_model_parallel_size

int

层内模型并行

pipeline_model_parallel_size

int

层间模型并行

seed

int

训练中使用的种子

ViT#

有关特定于模型的配置，请参阅 vit。

本页目录