核心概念¶

TensorRT 工作流程¶

通用的 TensorRT 工作流程包含 3 个步骤

使用解析器或 TensorRT Network API 填充 tensorrt.INetworkDefinition（详见 tensorrt.INetworkDefinition）。tensorrt.Builder 可用于生成空的 tensorrt.INetworkDefinition 。
使用 tensorrt.Builder 构建 tensorrt.ICudaEngine，使用已填充的 tensorrt.INetworkDefinition 。
从 tensorrt.ICudaEngine 创建 tensorrt.IExecutionContext 并使用它来执行优化的推理。

类概览¶

Logger¶

大多数其他 TensorRT 类使用 logger 来报告错误、警告和信息性消息。TensorRT 提供了基本的 tensorrt.Logger 实现，但您可以编写自己的实现，通过从 tensorrt.ILogger 派生以获得更高级的功能。

解析器¶

解析器用于从深度学习框架中训练的模型填充 tensorrt.INetworkDefinition 。

网络¶

tensorrt.INetworkDefinition 表示计算图。为了填充网络，TensorRT 为各种深度学习框架提供了一套解析器。也可以使用 Network API 手动填充网络。

构建器¶

tensorrt.Builder 用于构建 tensorrt.ICudaEngine 。为此，必须提供已填充的 tensorrt.INetworkDefinition 。

引擎和上下文¶

tensorrt.ICudaEngine 是 TensorRT 优化器的输出。它用于生成可以执行推理的 tensorrt.IExecutionContext 。