重要提示

您正在查看 NeMo 2.0 文档。此版本引入了对 API 的重大更改和一个新的库 NeMo Run。我们目前正在将 NeMo 1.0 中的所有功能移植到 2.0。有关先前版本或 2.0 中尚不可用的功能的文档，请参阅 NeMo 24.07 文档。

NeMo Common Collection API

通用集合包含可在所有集合中使用的内容。

• 回调
  • 指数移动平均 (EMA)
• 损失函数
  • AggregatorLoss
    • __init__()
  • CrossEntropyLoss
    • __init__()
  • MSELoss
    • __init__()
  • SmoothedCrossEntropyLoss
    • __init__()
  • SpanningLoss
    • __init__()
• 指标
  • 困惑度
    • compute()
    • full_state_update
    • update()
• 分词器
  • AutoTokenizer
    • __init__()
  • SentencePieceTokenizer
    • __init__()
  • TokenizerSpec
    • __init__()
• 数据
  • ConcatDataset
    • get_iterable()
    • random_generator()
    • round_robin_generator()
    • temperature_generator()
  • ConcatMapDataset
• S3 检查点
  • S3CheckpointIO
  • S3Utils 和依赖项
  • s3_dirpath_utils
  • 大规模运行时 S3 需求和 ExpManager 详细信息