重要提示

您正在查看 NeMo 2.0 文档。此版本对 API 和新库 NeMo Run 进行了重大更改。我们目前正在将 NeMo 1.0 的所有功能移植到 2.0。有关先前版本或 2.0 中尚不可用的功能的文档，请参阅 NeMo 24.07 文档。

数据集#

ImageNet 数据准备#

注意

每个用户有责任检查数据集的内容，查看适用的许可证，并确定其是否适合其预期用途。用户应在将数据放置在其机器上之前查看与数据集关联的任何适用链接。

请注意，根据 ImageNet 条款和条件，不提供用于下载数据集的自动化脚本。相反，可以按照下面概述的步骤下载和提取数据。

ImageNet 1k#

  1. 在 ImageNet 上创建一个帐户并导航到 ILSVRC 2012。下载“训练图像（任务 1 和 2）”和“验证图像（所有任务）”到 data/imagenet_1k。

  2. 提取训练数据

mkdir train && mv ILSVRC2012_img_train.tar train/ && cd train
tar -xvf ILSVRC2012_img_train.tar && rm -f ILSVRC2012_img_train.tar
find . -name "*.tar" | while read NAME ; do mkdir -p "${NAME%.tar}"; tar -xvf "${NAME}" -C "${NAME%.tar}"; rm -f "${NAME}"; done
cd ..

  1. 提取验证数据并将图像移动到子文件夹

mkdir val && mv ILSVRC2012_img_val.tar val/ && cd val && tar -xvf ILSVRC2012_img_val.tar
wget -qO- https://raw.githubusercontent.com/soumith/imagenetloader.torch/master/valprep.sh | bash

ImageNet 21k#

  1. 在 ImageNet 上创建一个帐户并下载“ImageNet21k”到 data/imagenet_21k。

  2. 提取数据

tar -xvf winter21_whole.tar.gz && rm -f winter21_whole.tar.gz
find . -name "*.tar" | while read NAME ; do mkdir -p "${NAME%.tar}"; tar -xvf "${NAME}" -C "${NAME%.tar}"; rm -f "${NAME}"; done
在本页中