使用 TAO Deploy 部署 OCRNet - NVIDIA 文档

从 tao export 生成的 OCRNet .etlt 或 .onnx 文件被作为 tao-deploy 的输入，以生成优化的 TensorRT 引擎。有关训练 OCRNet 的更多信息，请参阅 OCRNet 训练文档。

将 .etlt 或 .onnx 文件转换为 TensorRT 引擎

gen_trt_engine

实验规范文件中的 gen_trt_engine 参数提供了从 .etlt` 或 .onnx 生成 TensorRT 引擎的选项。

复制
已复制！

            
            gen_trt_engine:
    onnx_file: "??"
    results_dir: "${results_dir}/convert_dataset"

参数	数据类型	默认值	描述	支持的值
`onnx_file`	字符串	–	导出的 `.etlt` 或 `.onnx` 模型的绝对路径	–
`trt_engine`	字符串	–	生成的 TensorRT 引擎的绝对路径	–
`gpu_id`	无符号整数	0	GPU 设备索引	有效的 GPU 索引
`input_channel`	无符号整数	1	TensorRT 引擎的输入通道	>0
`input_width`	无符号整数	100	TensorRT 引擎的输入宽度	>0
`input_height`	无符号整数	32	TensorRT 引擎的输入高度	>0
`opset_version`	无符号整数	12	ONNX opset 版本	有效的 ONNX opset 版本
`batch_size`	无符号整数	-1	TensorRT 引擎的批次大小。将其设置为 `-1` 以启用动态批次。	-1 或 >0
`verbose`	布尔值	False	一个标志，用于在 TensorRT 引擎生成期间启用详细信息输出	True/False
`tensorrt`	字典配置	–	TensorRT 引擎生成的其他选项	–
`results_dir`	字符串	–	`gen_trt_engine` 日志输出的绝对路径	–

tensorrt

tensorrt 参数为 TensorRT 生成提供了更多选项。

复制
已复制！

            
            tensorrt:
    data_type: fp16
    workspace_size: 1024
    min_batch_size: 1
    opt_batch_size: 1
    max_batch_size: 1

参数	数据类型	默认值	描述	支持的值
`data_type`	字符串	fp16	生成的 TensorRT 引擎的精度	fp16,FP32
`workspace_size`	无符号整数	1024	生成的 TensorRT 引擎的工作区大小	>0
`min_batch_size`	无符号整数	1	生成的 TensorRT 引擎的最小批次大小	>0
`opt_batch_size`	无符号整数	1	生成的 TensorRT 引擎的最佳批次大小	>0
`max_batch_size`	无符号整数	1	生成的 TensorRT 引擎的最大批次大小	>0

使用以下命令生成 TensorRT 引擎

复制
已复制！

            
            tao deploy ocrnet gen_trt_engine -e <experiment_spec_file>
                                 results_dir=<global_results_dir>
                                 [gen_trt_engine.<gen_trt_engine_option>=<gen_trt_engine_option_value>]

必需参数

-e, --experiment_spec_file: 实验规范文件的路径。
results_dir: 全局结果目录。引擎生成日志将保存在 results_dir 中。

可选参数

您可以设置可选参数以覆盖实验规范文件中的选项值

gen_trt_engine.<gen_trt_engine_option>: 生成 TensorRT 引擎选项。

以下是使用 OCRNet evaluate 命令的示例

复制
已复制！

            
            tao deploy ocrnet gen_trt_engine -e $DEFAULT_SPEC \
                                 results_dir=$RESULTS_DIR \
                                 gen_trt_engine.onnx_file=$ONNX_TAO_MODEL \
                                 gen_trt_engine.trt_engine=$PATH_TO_SAVED_ENGINE

通过 TensorRT 引擎运行评估

实验规范文件中的 evaluate 参数提供了使用 TensorRT 引擎设置评估的选项

复制
已复制！

            
            evaluate:
    trt_engine: "??"
    test_dataset_dir: "/path/to/test_images_directory"
    test_dataset_gt_file: "/path/to/gt_file_list"
    input_width: 100
    input_height: 32

参数	数据类型	默认值	描述	支持的值
`trt_engine`	字符串	–	TensorRT 引擎的绝对路径	–
`gput_id`	无符号整数	0	GPU 设备索引	有效的 GPU 索引
`test_dataset_dir`	字符串	–	测试图像目录的绝对路径	–
`test_dataset_gt_file`	字符串	–	`test_images` 的 ground truth 文件的绝对路径。ground truth 的所需格式在准备数据部分中描述。	>0
`input_width`	无符号整数	100	TensorRT 引擎的输入宽度	>0
`input_height`	无符号整数	32	TensorRT 引擎的输入高度	>0
`batch_size`	无符号整数	1	推理的批次大小	>0
`results_dir`	字符串	–	`gen_trt_engine` 日志输出的绝对路径	–

使用以下命令通过 TensorRT 引擎运行评估

复制
已复制！

            
            tao deploy ocrnet evaluate -e <experiment_spec_file>
                           results_dir=<global_results_dir>
                           [evaluate.<evaluate_option>=<evaluate_value>]

必需参数

-e, --experiment_spec_file: 实验规范文件的路径。
results_dir: 全局结果目录。引擎生成日志将保存在 results_dir 中。

可选参数

您可以设置可选参数以覆盖实验规范文件中的选项值。

evaluate.<evaluate_option>: 评估选项。

以下是使用 OCRNet evaluate 命令的示例

复制
已复制！

            
            tao deploy ocrnet evaluate -e $DEFAULT_SPEC \
                           results_dir=$RESULTS_DIR \
                           evaluate.test_dataset_dir=$EVALUATE_IMG_DIR \
                           evaluate.test_dataset_gt_file=$EVALUATE_GT_FILE \
                           evaluate.trt_engine=$PATH_TO_SAVED_ENGINE

通过 TensorRT 引擎运行推理

实验规范文件中的 inference 参数提供了使用 TensorRT 引擎设置评估的选项

复制
已复制！

            
            inference:
    trt_engine: "??"
    inference_dataset_dir: "/path/to/test_images_directory"
    input_width: 100
    input_height: 32

参数	数据类型	默认值	描述	支持的值
`trt_engine`	字符串	–	TensorRT 引擎的绝对路径	–
`gput_id`	无符号整数	0	GPU 设备索引	有效的 GPU 索引
`inference_dataset_dir`	字符串	–	推理图像目录的绝对路径	–
`input_width`	无符号整数	100	TensorRT 引擎的输入宽度	>0
`input_height`	无符号整数	32	TensorRT 引擎的输入高度	>0
`batch_size`	无符号整数	1	推理的批次大小	>0
`results_dir`	字符串	–	gen_trt_engine 日志输出的绝对路径	–

使用以下命令通过 TensorRT 引擎运行推理

复制
已复制！

            
            tao deploy ocrnet inference -e <experiment_spec_file>
                               results_dir=<global_results_dir>
                               [inference.<inference_option>=<evaluate_value>]

必需参数

-e, --experiment_spec_file: 实验规范文件的路径。
results_dir: 全局结果目录。引擎生成日志将保存在 results_dir 中。

可选参数

您可以设置可选参数以覆盖实验规范文件中的选项值。

inference.<inference_option>: 推理选项。

以下是使用 OCRNet evaluate 命令的示例

复制
已复制！

            
            tao deploy ocrnet inference -e $DEFAULT_SPEC \
                            results_dir=$RESULTS_DIR \
                            inference.inference_dataset_dir=$INFERENCE_IMAGES_DIR \
                            inference.trt_engine=$PATH_TO_SAVED_ENGINE