TRTEXEC 与 Grounding DINO
trtexec 工具是一个命令行封装器，作为 TensorRT 示例的一部分包含在内。TAO 5.0.0 在 TAO Deploy 容器（或通过启动器运行时为任务组）中公开了 trtexec 工具，用于使用基于 x86 的 CPU 和独立 GPU 部署模型。要在其他平台（例如 Jetson 设备）上或使用 TAO 容器中默认未使用的 TensorRT 版本运行 trtexec，您可以按照官方 TensorRT 文档了解如何获取 trtexec。
本节介绍如何使用 trtexec 生成 TensorRT 引擎，这使您可以在 TensorRT、Triton 和 Deepstream 上部署 TAO 训练的模型。
要为 Grounding DINO 生成 .onnx 文件，请参阅 Grounding DINO 文档。
trtexec --onnx=/path/to/model.onnx \
--minShapes=inputs:1x3x544x960,input_ids:1x256,attention_mask:1x256,position_ids:1x256,token_type_ids:1x256,text_token_mask:1x256x256 \
--optShapes=inputs:8x3x544x960,input_ids:8x256,attention_mask:8x256,position_ids:8x256,token_type_ids:8x256,text_token_mask:8x256x256 \
--maxShapes=inputs:16x3x544x960,input_ids:16x256,attention_mask:16x256,position_ids:16x256,token_type_ids:16x256,text_token_mask:16x256x256 \
--fp16 \
--saveEngine=/path/to/save/trt/model.engine