TensorRTExtension#

有关支持矩阵和更多信息，请参阅官方 NVIDIA Tensorrt 文档。

  • UUID: d43f23e4-b9bf-11eb-9d18-2b7be630552b

  • 版本: 2.7.0

  • 作者: NVIDIA

  • 许可证: 专有

组件#

nvidia::gxf::TensorRtInference#

Codelet 接受输入张量并将它们馈送到 TensorRT 以进行推理。

  • 组件 ID: 06a7f0e0-b9c0-11eb-8cd6-23c9c2070107

  • 基本类型: nvidia::gxf::Codelet

参数#

model_file_path

模型文件路径。要加载的 ONNX 模型的路径。

  • 标志: GXF_PARAMETER_FLAGS_NONE

  • 类型: GXF_PARAMETER_TYPE_STRING


engine_file_path

引擎文件路径。要序列化并从中加载的生成引擎的路径。

  • 标志: GXF_PARAMETER_FLAGS_NONE

  • 类型: GXF_PARAMETER_TYPE_STRING


force_engine_update

强制引擎更新。始终更新引擎，而无需考虑现有引擎文件。这种转换可能需要几分钟。默认为 false。

  • 标志: GXF_PARAMETER_FLAGS_NONE

  • 类型: GXF_PARAMETER_TYPE_BOOL

  • 默认值: false


input_tensor_names

输入张量名称。输入张量的名称，按顺序馈送到模型中。

  • 标志: GXF_PARAMETER_FLAGS_NONE

  • 类型: GXF_PARAMETER_TYPE_STRING


input_binding_names

输入绑定名称。模型中输入绑定的名称，顺序与 input_tensor_names 中提供的顺序相同。

  • 标志: GXF_PARAMETER_FLAGS_NONE

  • 类型: GXF_PARAMETER_TYPE_STRING


output_tensor_names

输出张量名称。输出张量的名称，按顺序从模型中检索。

  • 标志: GXF_PARAMETER_FLAGS_NONE

  • 类型: GXF_PARAMETER_TYPE_STRING


output_binding_names

输出绑定名称。模型中输出绑定的名称，顺序与 output_tensor_names 中提供的顺序相同。

  • 标志: GXF_PARAMETER_FLAGS_NONE

  • 类型: GXF_PARAMETER_TYPE_STRING


pool

池。输出张量的分配器实例。

  • 标志: GXF_PARAMETER_FLAGS_NONE

  • 类型: GXF_PARAMETER_TYPE_HANDLE

  • 句柄类型: nvidia::gxf::Allocator


cuda_stream_pool

Cuda Stream Pool。gxf::CudaStreamPool 的实例，用于分配 CUDA 流。

  • 标志: GXF_PARAMETER_FLAGS_NONE

  • 类型: GXF_PARAMETER_TYPE_HANDLE

  • 句柄类型: nvidia::gxf::CudaStreamPool


max_workspace_size

最大工作区大小。工作空间的大小，以字节为单位。默认为 64MB。

  • 标志: GXF_PARAMETER_FLAGS_NONE

  • 类型: GXF_PARAMETER_TYPE_INT64

  • 默认值: 67108864


dla_core

要使用的 DLA 核心。始终启用回退到 GPU。默认为仅使用 GPU。

  • 标志: GXF_PARAMETER_FLAGS_OPTIONAL

  • 类型: GXF_PARAMETER_TYPE_INT64


max_batch_size

最大批大小。最大可能的批大小，以防第一个维度是动态的并用作批大小。

  • 标志: GXF_PARAMETER_FLAGS_NONE

  • 类型: GXF_PARAMETER_TYPE_INT32

  • 默认值: 1


enable_fp16

启用 FP16 模式。启用使用 FP16 和 FP32 回退进行推理。

  • 标志: GXF_PARAMETER_FLAGS_NONE

  • 类型: GXF_PARAMETER_TYPE_BOOL

  • 默认值: false


verbose

在控制台上启用详细日志记录。默认为 false。

  • 标志: GXF_PARAMETER_FLAGS_NONE

  • 类型: GXF_PARAMETER_TYPE_BOOL

  • 默认值: false


relaxed_dimension_check

宽松维度检查。忽略输入张量维度检查的维度 1。

  • 标志: GXF_PARAMETER_FLAGS_NONE

  • 类型: GXF_PARAMETER_TYPE_BOOL

  • 默认值: true


clock

时钟。用于发布时间的时钟实例。

  • 标志: GXF_PARAMETER_FLAGS_OPTIONAL

  • 类型: GXF_PARAMETER_TYPE_HANDLE

  • 句柄类型: nvidia::gxf::Clock


dev_id

设备 ID。在其上创建 CUDA 流的设备。

  • 标志: GXF_PARAMETER_FLAGS_OPTIONAL

  • 类型: GXF_PARAMETER_TYPE_INT32

  • 默认值: 0


rx

RX。接收器列表，用于接收输入张量。

  • 标志: GXF_PARAMETER_FLAGS_NONE

  • 类型: GXF_PARAMETER_TYPE_HANDLE

  • 句柄类型: nvidia::gxf::Receiver


tx

TX。发射器，用于发布输出张量。

  • 标志: GXF_PARAMETER_FLAGS_NONE

  • 类型: GXF_PARAMETER_TYPE_HANDLE

  • 句柄类型: nvidia::gxf::Transmitter


在本页中