命令行工具 API
模块：polygraphy.tools
- 命令行参数组
- 基础接口
- 后端
- ONNX
- 加载器
OnnxInferShapesArgsOnnxInferShapesArgs.parse_impl() 解析实现()OnnxInferShapesArgs.do_shape_inference 执行形状推断OnnxInferShapesArgs.force_fallback 强制回退OnnxInferShapesArgs.allow_onnxruntime 允许 ONNX RuntimeOnnxInferShapesArgs.add_to_script_impl() 添加到脚本实现()OnnxInferShapesArgs.infer_shapes() 推断形状()OnnxInferShapesArgs.fallback_inference() 回退推断()
OnnxSaveArgsOnnxLoadArgsOnnxLoadArgs.parse_impl() 解析实现()OnnxLoadArgs.outputs 输出OnnxLoadArgs.exclude_outputs 排除输出OnnxLoadArgs.external_data_dir 外部数据目录OnnxLoadArgs.ignore_external_data 忽略外部数据OnnxLoadArgs.convert_to_fp16 转换为 FP16OnnxLoadArgs.upper_bounds 上界OnnxLoadArgs.add_to_script_impl() 添加到脚本实现()OnnxLoadArgs.must_use_onnx_loader() 必须使用 ONNX 加载器()OnnxLoadArgs.load_onnx() 加载 ONNX()
OnnxFromTfArgs
- 加载器
- ONNX Runtime
- 插件参考
- TensorFlow
- TensorRT
- 加载器
TrtLoadPluginsArgsTrtOnnxFlagArgsTrtLoadNetworkArgsTrtLoadNetworkArgs.parse_impl() 解析实现()TrtLoadNetworkArgs.outputs 输出TrtLoadNetworkArgs.exclude_outputs 排除输出TrtLoadNetworkArgs.trt_network_func_name TRT 网络函数名TrtLoadNetworkArgs.layer_precisions 层精度TrtLoadNetworkArgs.tensor_datatypes 张量数据类型TrtLoadNetworkArgs.tensor_formats 张量格式TrtLoadNetworkArgs.postprocess_scripts 后处理脚本TrtLoadNetworkArgs.strongly_typed 强类型TrtLoadNetworkArgs.mark_debug 标记调试TrtLoadNetworkArgs.load_network() 加载网络()
TrtSaveEngineBytesArgsTrtSaveEngineArgsTrtLoadEngineBytesArgsTrtLoadEngineArgsTrtConfigArgsTrtConfigArgs.parse_impl() 解析实现()TrtConfigArgs.profile_dicts 性能分析字典TrtConfigArgs.tf32 TF32TrtConfigArgs.fp16 FP16TrtConfigArgs.bf16 BF16TrtConfigArgs.fp8 FP8TrtConfigArgs.int8 INT8TrtConfigArgs.precision_constraints 精度约束TrtConfigArgs.restricted 受限TrtConfigArgs.calibration_cache 校准缓存TrtConfigArgs.calibration_base_class 校准基类TrtConfigArgs.sparse_weights 稀疏权重TrtConfigArgs.load_timing_cache 加载时序缓存TrtConfigArgs.load_tactics 加载策略TrtConfigArgs.save_tactics 保存策略TrtConfigArgs.tactic_sources 策略来源TrtConfigArgs.trt_config_script TRT 配置脚本TrtConfigArgs.trt_config_func_name TRT 配置函数名TrtConfigArgs.trt_config_postprocess_script TRT 配置后处理脚本TrtConfigArgs.trt_config_postprocess_func_name TRT 配置后处理函数名TrtConfigArgs.use_dla 使用 DLATrtConfigArgs.allow_gpu_fallback 允许 GPU 回退TrtConfigArgs.memory_pool_limits 内存池限制TrtConfigArgs.engine_capability 引擎能力TrtConfigArgs.direct_io 直接 IOTrtConfigArgs.preview_features 预览功能TrtConfigArgs.refittable 可重装配TrtConfigArgs.strip_plan 精简计划TrtConfigArgs.builder_optimization_level 构建器优化级别TrtConfigArgs.hardware_compatibility_level 硬件兼容性级别TrtConfigArgs.profiling_verbosity 性能分析详细程度TrtConfigArgs.max_aux_streams 最大辅助流TrtConfigArgs.version_compatible 版本兼容TrtConfigArgs.exclude_lean_runtime 排除精简运行时TrtConfigArgs.quantization_flags 量化标志TrtConfigArgs.error_on_timing_cache_miss 时序缓存未命中时报错TrtConfigArgs.disable_compilation_cache 禁用编译缓存TrtConfigArgs.weight_streaming 权重流式传输TrtConfigArgs.runtime_platform 运行时平台TrtConfigArgs.tiling_optimization_level 瓦片优化级别TrtConfigArgs.create_config() 创建配置()
- 运行器
- 加载器
- ONNX
- 比较器
- 比较器
ComparatorRunArgsComparatorCompareArgsComparatorCompareArgs.parse_impl() 解析实现()ComparatorCompareArgs.validate 验证ComparatorCompareArgs.load_outputs_paths 加载输出路径ComparatorCompareArgs.fail_fast 快速失败ComparatorCompareArgs.compare_func 比较函数ComparatorCompareArgs.compare_func_script 比较函数脚本ComparatorCompareArgs.compare_func_name 比较函数名ComparatorCompareArgs.add_to_script_impl() 添加到脚本实现()
- 比较函数
CompareFuncSimpleArgsCompareFuncSimpleArgs.parse_impl() 解析实现()CompareFuncSimpleArgs.no_shape_check 无形状检查CompareFuncSimpleArgs.rtol 相对容差CompareFuncSimpleArgs.atol 绝对容差CompareFuncSimpleArgs.check_error_stat 检查误差统计CompareFuncSimpleArgs.infinities_compare_equal 无穷值比较相等CompareFuncSimpleArgs.save_heatmaps 保存热图CompareFuncSimpleArgs.show_heatmaps 显示热图CompareFuncSimpleArgs.save_error_metrics_plot 保存误差指标图CompareFuncSimpleArgs.show_error_metrics_plot 显示误差指标图CompareFuncSimpleArgs.error_quantile 误差分位数
CompareFuncIndicesArgs
- 数据加载器
DataLoaderArgsDataLoaderArgs.parse_impl() 解析实现()DataLoaderArgs.seed 种子DataLoaderArgs.val_range 值范围DataLoaderArgs.iterations 迭代次数DataLoaderArgs.load_inputs_paths 加载输入路径DataLoaderArgs.data_loader_script 数据加载器脚本DataLoaderArgs.data_loader_func_name 数据加载器函数名DataLoaderArgs.data_loader_backend_module 数据加载器后端模块DataLoaderArgs.add_to_script_impl() 添加到脚本实现()DataLoaderArgs.get_data_loader() 获取数据加载器()DataLoaderArgs.is_using_random_data() 是否使用随机数据()
- 后处理函数
- 比较器
- 日志
- 模型
- 脚本接口