TRTEXEC 与 OCRNet

trtexec 工具是一个命令行封装器，包含在 TensorRT 示例中。TAO 5.0.0 在 TAO Deploy 容器（或通过启动器运行时为任务组）中公开了 trtexec 工具，用于在基于 x86 的 CPU 和独立 GPU 上部署模型。要在其他平台（例如 Jetson 设备）上或使用 TAO 容器中默认未使用的 TensorRT 版本运行 trtexec，您可以参考 官方 TensorRT 文档，了解如何获取 trtexec。

本节介绍如何使用 trtexec 生成 TensorRT 引擎，从而允许您在 TensorRT、Triton 和 Deepstream 上部署 TAO 训练的模型。

要为 OCRNet 生成 .onnx 文件，请参阅 OCRNet 文档。OCRNet 目前不支持 INT8 校准。

            

            
trtexec --onnx=/path/to/model.onnx \
        --maxShapes=input:16x1x32x100 \
        --minShapes=input:1x1x32x100 \
        --optShapes=input:8x1x32x100 \
        --calib=/path/to/int8/calib.txt \
        --fp16 \
        --saveEngine=/path/to/save/trt/model.engine