NVIDIA 文档中心 NVIDIA TAO TAO v5.5.0 TRTEXEC 与多任务分类

TRTEXEC 与多任务分类

trtexec 工具是一个命令行封装器，作为 TensorRT 示例的一部分包含在内。TAO 5.0.0 在 TAO Deploy 容器（或通过启动器运行时为任务组）中公开了 trtexec 工具，用于在使用基于 x86 的 CPU 和独立 GPU 部署模型。要在其他平台（例如 Jetson 设备）上或使用 TAO 容器中默认未使用的 TensorRT 版本运行 trtexec，您可以参考官方 TensorRT 文档，了解如何获取 trtexec。

本节介绍如何使用 trtexec 生成 TensorRT 引擎，这允许您在 TensorRT、Triton 和 Deepstream 上部署 TAO 训练的模型。

多任务分类模型的示例命令

要为多任务分类生成 .onnx 文件，请参阅多任务分类文档。您还可以参考多任务分类 TAO-Deploy 文档，以获取有关生成 INT8 校准文件的说明。

复制
已复制!

            
            # Running using INT8
trtexec --onnx=/path/to/model.onnx \
        --maxShapes=input_1:16x3x80x60 \
        --minShapes=input_1:1x3x80x60 \
        --optShapes=input_1:8x3x80x60 \
        --calib=/path/to/cal.bin \
        --fp16 \
        --int8 \
        --saveEngine=/path/to/model.plan

# Running using FP16
trtexec --onnx=/path/to/model.onnx \
        --maxShapes=input_1:16x3x80x60 \
        --minShapes=input_1:1x3x80x60 \
        --optShapes=input_1:8x3x80x60 \
        --fp16 \
        --saveEngine=/path/to/model.plan

上一篇 TRTEXEC 与 Mask RCNN

下一篇 TRTEXEC 与 OCDNet