加载器

模块: polygraphy.tools.args

class TfTrtArgs

基类: BaseArgs

[未测试] TensorFlow-TensorRT 集成: TensorFlow-TensorRT。

依赖于

• TrtConfigArgs

parse_impl(args)

解析命令行参数并填充以下属性

use_tftrt

是否使用 TF-TRT。

类型:

bool

minimum_segment_size

卸载到 TRT 的段的最小大小。

类型:

int

dynamic_op

是否启用动态模式，该模式将引擎构建延迟到运行时。

类型:

bool

add_to_script_impl(script, loader_name=None, suffix=None)

参数:

loader_name (str) – 应该由 UseTfTrt 加载器使用的加载器的名称。

class TfLoadArgs(allow_artifacts: bool | None = None, allow_custom_outputs: bool | None = None, allow_tftrt: bool | None = None)

基类: BaseArgs

TensorFlow 模型加载: 加载 TensorFlow 模型。

依赖于

• ModelArgs

• TfTrtArgs: 如果 allow_tftrt == True

• TrtSaveEngineBytesArgs: 如果 allow_tftrt == True

参数:

• allow_artifacts (bool) – 是否允许将工件保存到磁盘，例如冻结模型或 TensorBoard 可视化。默认为 True。

• allow_custom_outputs (bool) – 是否允许标记自定义输出张量。默认为 True。

• allow_tftrt (bool) – 是否允许应用 TF-TRT。默认为 False。

parse_impl(args)

解析命令行参数并填充以下属性

ckpt

检查点名称。

类型:

str

outputs

输出张量的名称。

类型:

List[str]

save_frozen_graph_path

将要保存冻结图的路径。

类型:

str

save_tensorboard_path

将要保存 TensorBoard 可视化的路径。

类型:

str

freeze_graph

是否尝试冻结图。

类型:

bool

add_to_script_impl(script, disable_custom_outputs=None)

参数:

disable_custom_outputs (bool) – 是否禁止根据 outputs 属性修改输出。默认为 False。

load_graph()

根据命令行提供的参数加载 TensorFlow 图。

返回值:

tf.Graph

class TfConfigArgs

基类: BaseArgs

TensorFlow 会话配置: 创建 TensorFlow SessionConfig。

parse_impl(args)

解析命令行参数并填充以下属性

gpu_memory_fraction

TensorFlow 每个会话可以分配的最大 GPU 内存百分比。

类型:

float

allow_growth

TensorFlow 是否可以动态分配额外的 GPU 内存。

类型:

bool

xla

是否启用 XLA。

类型:

bool