将 TAO CV 模型与 Triton 推理服务器集成

NVIDIA TAO 为用户提供了一个简单的界面，可以为许多计算机视觉用例生成准确且优化的模型。这些模型通常通过 DeepStream SDK 或 Riva 管道部署。

Triton 是 NVIDIA 开发的推理软件解决方案，可有效部署来自多种框架（如 TensorRT、Tensorflow 和 ONNXRuntime）的深度神经网络 (DNN)。作为此版本的一部分，TAO 现在提供了一个参考应用程序，概述了将训练好的模型部署到 Triton 所需的步骤。

目前，TAO Triton 应用仓库显示了将以下类型的模型集成到 Triton 推理服务器的参考实现

• DetectNet_v2

• 图像分类

• 车牌识别

• YOLOv3

• MaskRCNN

• RetinaNet

• 多任务分类

• 姿势分类

有关如何使用 Triton 部署这些模型的更多信息，请参阅此GitHub 仓库中托管的文档和源代码。