TAO 工具包与 DeepStream 集成#
NVIDIA TAO 工具包是一个简单易用的训练工具包，只需少量编码即可使用用户自己的数据创建视觉 AI 模型。使用 TAO 工具包，用户可以从 NVIDIA 预训练模型进行迁移学习，以创建自己的模型。用户可以向现有的预训练模型添加新类，或者可以重新训练模型以适应其用例。用户可以使用模型剪枝功能来减小模型的整体大小。
预训练模型#
用户可以从两种类型的预训练模型入手 - 专用预训练模型和元架构视觉模型。专用预训练模型是在数百万个对象上针对特定任务进行训练的高精度模型。元架构视觉模型的预训练权重仅作为构建更复杂模型的起点。这些预训练权重在 Open Image 数据集上进行训练，与从头开始或从随机权重开始相比，它们为训练提供了更好的起点。对于后一种选择，用户可以从 100 多种模型架构和骨干网络排列组合中进行选择。请参见下图。
专用模型是在数千个数据输入上针对特定任务进行训练的高精度模型。这些面向领域的模型可以直接用于推理，也可以与 TAO 结合使用，在您自己的数据集上进行迁移学习。有关这些模型的更多信息，请参阅 TAO 工具包文档的“计算机视觉模型库”章节 – 计算机视觉模型库 或各个模型卡。
TAO 工具包预训练模型 - 用例# 模型名称
描述
NGC 实例
TAO 微调
TrafficCamNet
用于检测图像中汽车的 4 类目标检测网络。
是
PeopleNet
用于检测图像中行人的 3 类目标检测网络。
是
DashCamNet
用于检测图像中汽车的 4 类目标检测网络。
是
VehicleMakeNet
Resnet18 模型，用于将汽车裁剪图像分类为 20 个汽车品牌之一。
是
VehicleTypeNet
Resnet18 模型，用于将汽车裁剪图像分类为 6 种汽车类型之一。
是
车牌检测
用于检测汽车图像中车牌的目标检测网络。
是
车牌识别
用于识别车牌裁剪图像中字符的模型。
是
PeopleSemSegNet
图像中行人的语义分割。
是
CitySemSegFormer
图像中行人的语义分割。
是
光学字符检测
用于检测图像中字符的网络。
是
光学字符识别
用于识别来自先前 OCDNet 模型字符的模型。
是
零售商品检测
基于 DINO（具有改进的去噪锚框的 DETR）的目标检测网络，用于检测结账台上的零售商品。
是
零售商品识别
用于识别结账台上商品的嵌入生成器模型。
是
ReIdentificationNet
用于生成嵌入以识别不同场景中行人的重识别网络。
是
姿势分类
姿势分类网络，用于从人体骨骼分类人体姿势。
是
PeopleNet Transformer
用于检测图像中行人的 3 类目标检测网络。
是
BodyPose3DNet
3D 人体姿势估计网络，用于预测图像中人体 34 个 3D 关键点。
是
大多数使用 TAO 工具包训练的模型都原生集成了 DeepStream 推理。如果模型已集成，则参考 deepstream-app 支持它。如果模型未在 SDK 中原生集成，您可以在 GitHub 存储库中找到参考应用程序。请参阅下表，了解有关支持模型的信息。对于集成到 deepstream-app 中的模型，我们为每个网络提供了示例配置文件。示例配置文件位于 https://github.com/NVIDIA-AI-IOT/deepstream_tao_apps/blob/master/deepstream_app_tao_configs/ 文件夹中。下表还列出了每个模型的配置文件。
注意
请参阅软件包 /opt/nvidia/deepstream/deepstream/samples/configs/tao_pretrained_models/README.md 中的 README，以获取下表中提及的 TAO 工具包配置文件和模型。
TAO 工具包预训练模型表显示了专用预训练模型的部署信息。
DeepStream 中的 TAO 工具包预训练模型# 预训练模型
DeepStream 参考应用程序
配置文件
DLA 支持
deepstream-app
deepstream_app_source1_trafficcamnet.txt,config_infer_primary_trafficcamnet.txt,labels_trafficnet.txt是
deepstream-app
deepstream_app_source1_peoplenet.txt,config_infer_primary_peoplenet.txt,labels_peoplenet.txt是
deepstream-app
deepstream_app_source1_dashcamnet_vehiclemakenet_vehicletypenet.txt,config_infer_primary_dashcamnet.txt,labels_dashcamnet.txt是
deepstream-app
deepstream_app_source1_dashcamnet_vehiclemakenet_vehicletypenet.txt,config_infer_secondary_vehiclemakenet.txt,labels_vehiclemakenet.txt是
deepstream-app
deepstream_app_source1_dashcamnet_vehiclemakenet_vehicletypenet.txt,config_infer_secondary_vehicletypenet.txt,labels_vehicletypenet.txt是
seg_app_unet.yml,pgie_citysemsegformer_tao_config.txt是
否
否
否
否
否
否
否
否
否
否
det_app_frcnn.yml,pgie_peoplenet_transformer_tao_config.yml否
TAO 工具包模型可以与 DeepStream 示例应用程序一起部署。
在此处了解有关运行 TAO 模型的更多信息：NVIDIA-AI-IOT/deepstream_tao_apps
有关 TAO 以及如何部署 TAO 模型的更多信息，请参阅 TAO 工具包用户指南的“将 TAO 模型集成到 DeepStream 中”章节。
有关使用 DeepStream 部署特定架构模型的更多信息，请参阅 NVIDIA-AI-IOT/deepstream_tao_apps GitHub 存储库。