运行器

模块: polygraphy.tools.args

class TrtRunnerArgs[source]

基类: BaseRunnerArgs

TensorRT 推理：使用 TensorRT 运行推理。

依赖于

  • TrtLoadEngineArgs

parse_impl(args)[source]

解析命令行参数并填充以下属性

optimization_profile

用于初始化运行器的优化配置文件的索引。

类型:

int

allocation_strategy

激活内存的分配方式。

类型:

str

weight_streaming_budget

GPU 上权重的字节大小。

类型:

int

weight_streaming_percent

GPU 上权重的百分比。

类型:

float