优化配置文件

模块：polygraphy.backend.trt

class ShapeTuple(min, opt, max)

基类：object

表示配置文件中单个绑定的形状集合。

参数:

• min (Tuple[int]) – 配置文件将支持的最小形状。

• opt (Tuple[int]) – TensorRT 将优化引擎的形状。

• max (Tuple[int]) – 配置文件将支持的最大形状。

class Profile(dct=None)

基类：Interface

一个有序字典，表示可用于构建引擎的单个优化配置文件。

更具体地说，它是一个 OrderedDict[str, ShapeTuple]，它将绑定名称映射到一组最小/最佳/最大形状。

add(name, min, opt, max)

一个方便的函数，用于为单个绑定添加形状。

参数:

• name (str) – 绑定的名称。

• min (Tuple[int]) – 配置文件将支持的最小形状。

• opt (Tuple[int]) – TensorRT 将优化引擎的形状。

• max (Tuple[int]) – 配置文件将支持的最大形状。

返回:

self，这使得此函数可以轻松链接以添加多个绑定，例如，Profile().add(…).add(…)

返回类型:

配置文件

__getitem__(key)

检索为给定输入名称注册的形状。

返回:

一个命名元组，包括对应于输入的形状的 min、opt 和 max 成员。

返回类型:

ShapeTuple

fill_defaults(network, default_shape_value=None)

为任何形状未显式设置的绑定，使用合理的默认值填充此配置文件。

参数:

• network (trt.INetworkDefinition) – 此配置文件旨在用于的 TensorRT 网络。 这将用于确定模型输入及其形状。

• default_shape_value (int) – 用于覆盖动态维度的值。

返回:

Self

返回类型:

配置文件

to_trt(builder, network)

基于此配置文件中设置的值创建 TensorRT IOptimizationProfile。

参数:

• builder (trt.Builder) – 一个 TensorRT 构建器。 这将用于构建 IOptimizationProfile。

• network (trt.INetworkDefinition) – 配置文件应用于的 TensorRT 网络。

返回:

一个 TensorRT 优化配置文件。

返回类型:

trt.IOptimizationProfile