在 Google Colab 上运行 TAO - NVIDIA 文档

Google Colab 提供免费的 GPU 实例访问权限，用于在云端运行计算作业。本页面提供有关在 Google Colab 上开始使用 TAO 的说明。

基于 Colab 实例上可用的硬件和软件的限制，Google Colab 对 TAO 有一些限制。您可以在注意事项部分查看这些限制。

先决条件

要使用 Google Colab，您需要一个具有 Google Drive 访问权限的 Google 帐户。

登录您的 Google 帐户，或者按照Gmail 注册页面上的说明创建一个帐户

使用 Google Colab 启动 Notebook

TAO 提供了一个广泛的模型库，其中包含用于不同计算机视觉用例的预训练模型。您可以点击您的用例模型的“一键部署”链接。

请参阅在 Colab Notebook 中查找文件的步骤部分，了解如何在 Colab notebook 中访问文件的示例。

通用计算机视觉模型

使用通用模型，您可以训练图像分类模型、目标检测模型或实例分割模型。

*用于计算机视觉的通用模型*
模型名称	一键部署	操作
多类别图像分类	多类别图像分类	分类
多任务图像分类	多任务图像分类	分类
DSSD	使用可变形 DSSD 的目标检测	目标检测
EfficientDet	使用 EfficientDet 的目标检测	目标检测
RetinaNet	使用 RetinaNet 的目标检测	目标检测
SSD	使用 SSD 的目标检测	目标检测
Yolo V3	使用 Yolo V3 的目标检测	目标检测
Yolo V4	使用 Yolo V4 的目标检测	目标检测
Yolo V4 Tiny	使用 Yolo V4 Tiny 的目标检测	目标检测

专用计算机视觉模型

专用模型专为高精度和高性能而构建。您可以开箱即用地部署这些模型，用于智能城市、零售、公共安全和医疗保健等应用。您也可以使用自己的数据重新训练它们。

*用于计算机视觉的专用模型*
模型名称	一键部署	用途
ActionRecognitonNet	动作识别	从视频中检测动作
LPRNET	车牌识别	识别车牌号码
PoseClassificationNet	姿势分类	根据人的骨骼分类姿势

TAO 预训练模型（仅推理）

除了使用一键部署链接训练不同的模型外，您还可以使用此 Notebook运行 TAO 发布的预训练模型进行推理

用于获取数据子集的实用程序脚本

如果您的存储空间有限，或者想快速迭代训练实验，我们建议您

将数据下载到您的本地系统
运行实用程序脚本以生成数据集的子集
将这个较小的数据集上传到您的 Google Drive 以运行实验

TAO 提供了实用程序脚本，用于为 COCO 数据集（约 25 GB，约 12 万张图像）和 KITTI 数据集（约 12 GB，约 1.4 万张图像）生成此类子集

要获取 KITTI 的子集

子集生成文件位于此处。在您的本地系统（而不是 Colab 中，因为您可能有存储限制）中运行此脚本
从此处下载并解压缩 kitti 训练和测试 zip 文件，您将拥有 2 个文件夹 training 和 testing

要获取训练的子集

复制
已复制！

            
            python generate_kitti_subset.py --source-data-dir=path_to_training_folder --out-data-dir=path_to_save_subset_data/training/ --training True --num-images=num_of_images_in_subset

示例

复制
已复制！

            
            python generate_kitti_subset.py --source-data-dir=/home/user/data/training --out-data-dir=/home/user/subset_data/training/  --training True --num-images=100

要获取测试的子集

复制
已复制！

            
            python generate_kitti_subset.py --source-data-dir=path_to_training_folder --out-data-dir=path_to_save_subset_data/training/ --num-images=num_of_images_in_subset

示例

复制
已复制！

            
            python generate_kitti_subset.py --source-data-dir=/home/user/data/testing --out-data-dir=/home/user/subset_data/testing/ --num-images=100

kitti 的数据集文件夹结构

复制
已复制！

            
            path_to_training_folder
|___images
|___labels

path_to_testing_folder
|___images

要获取 COCO 的子集

子集生成文件位于此处。在您的本地系统（而不是 Colab 中，因为您可能有存储限制）中运行此脚本
从此处下载并解压缩 2017 train 和 val 图像，2017 train/val 注释

要获取训练的子集

复制
已复制！

            
            python generate_coco_subset.py --source-image-dir=path_to_train2017_folder --source-annotation-file=path_to_instances_train2017.json_file --out-data-dir=path_to_save_subset_data --num-images=num_of_images_in_subset

示例

复制
已复制！

            
            python generate_coco_subset.py --source-image-dir=/home/user/data/train2017 --source-annotation-file=/home/user/data/annotations/instances_train2017.json --out-data-dir=/home/user/subset_data/ --num-images=100

要获取验证的子集

复制
已复制！

            
            python generate_coco_subset.py --source-image-dir=path_to_val2017_folder --source-annotation-file=path_to_instances_val2017.json_file --out-data-dir=path_to_save_subset_data --num-images=num_of_images_in_subset

示例

复制
已复制！

            
            python generate_coco_subset.py --source-image-dir=/home/user/data/val2017 --source-annotation-file=/home/user/data/annotations/instances_val2017.json --out-data-dir=/home/user/subset_data/ --num-images=100

coco 的数据集文件夹结构

复制
已复制！

            
            folder_into_which_downloaded_coco_files_are_unzipped
|___train2017
|___val2017
|___annotations
    |___instances_train2017.json
    |___instances_val2017.json

在 Colab Notebook 中查找文件的步骤

在 Colab 实例中挂载驱动器。
点击文件夹图标（在绿色框中显示）

点击“向上移动一个文件夹”图标（在绿色框中显示）

现在您可以查看与此实例关联的所有文件夹。
您挂载的 Google Drive 位于 content->drive->MyDrive。
以下屏幕截图中列出的所有文件夹都是根目录“/”中的文件夹。

注意事项

在 Colab 将其驱动程序更新到 515 或更高版本之前，以下 TAO 网络无法在 Colab 上运行：Detectnetv2、BPNET、FasterRCNN、FPNet 和 Gazenet。
任何不在 /content/drive/MyDrive/ 中的文件夹都将是易失路径：会话断开连接时，您将失去对内容的访问权限
如果您有 15GB 的驱动器存储限制，请尝试将数据文件夹设置为 /content/data/data_you_are_downloading，而不是使用 /content/drive/MyDrive 中的驱动器。
- 首选这样做是因为易失性存储大于 15GB。
- 您也可以使用拖放方法将系统上下载的文件上传到 /content/data。
浏览器选项卡需要在 Colab 会话期间保持活动状态。要使 Colab 实例在后台保持活动状态，您可以使用第三方扩展程序，例如 Colab Alive。
在 Tensorflow notebook 中，为了最大化 GPU 使用率，您可以在完成不需要 GPU 的数据下载和预处理步骤后，再切换到 GPU 硬件
- 在切换到 GPU 实例时，终止之前的实例是可以的。
- 您可以继续运行后续单元格，而无需重新运行任何之前的单元格，但以下情况除外
  - 如果某些数据保存在易失性存储而不是 Google Drive 存储中，则切换实例将删除数据。
  - 在这种情况下，数据必须在终止之前备份到 Google Drive。这可以通过简单的 Linux 复制命令来实现：cp path_to_volatile_storage /content/drive/MyDrive/folder_to_be_copied_into
使用免费版 Colab，GPU 实例最多可以运行 8 小时。
使用免费版 Colab，一次只能运行一个 GPU 实例 notebook。
- Colab Pro 可以同时运行两个 GPU 实例 notebook。
Colab 不允许您选择 GPU 类型。
- 截至 2022 年 11 月，主要的 GPU 是免费版的 Tesla T4 和 Colab Pro 的 P100。