YOLOv3
YOLOv3 是 TAO 中包含的对象检测模型。YOLOv3 支持以下任务
dataset_convert（数据集转换）
kmeans（K 均值聚类）
train（训练）
evaluate（评估）
inference（推理）
prune（剪枝）
export（导出）
这些任务可以使用以下命令行约定从 TAO Launcher 调用
tao model yolo_v3 <sub_task> <args_per_subtask>
其中 args_per_subtask 是给定子任务所需的命令行参数。每个子任务将在下面详细解释。
YOLOv3 的数据集结构与 DetectNet_v2 的结构相同。唯一的区别是用于从 KITTI 文本标签生成 TFRecords 的命令行。要为 YOLOv3 训练生成 TFRecords，请使用此命令
tao model yolo_v3 dataset_convert [-h] -d <dataset_spec>
-o <output_tfrecords_file>
[--gpu_index <gpu_index>]
必需参数
-d, --dataset_spec：数据集规范文件路径。-o, --output_filename：输出 TFRecords 文件路径。
可选参数
--gpu_index：运行此命令的 GPU 索引。如果机器安装了多个 GPU，我们可以指定用于运行此命令的 GPU 索引。请注意，此命令只能在单个 GPU 上运行。
以下是 YOLOv3 规范文件的示例。它有六个主要组件：yolov3_config、training_config、eval_config、nms_config、augmentation_config 和 dataset_config。规范文件的格式是 protobuf 文本 (prototxt) 消息，其每个字段可以是基本数据类型或嵌套消息。下表总结了规范文件的顶层结构。
random_seed: 42
yolov3_config {
big_anchor_shape: "[(114.94, 60.67), (159.06, 114.59), (297.59, 176.38)]"
mid_anchor_shape: "[(42.99, 31.91), (79.57, 31.75), (56.80, 56.93)]"
small_anchor_shape: "[(15.60, 13.88), (30.25, 20.25), (20.67, 49.63)]"
matching_neutral_box_iou: 0.7
arch: "resnet"
nlayers: 18
arch_conv_blocks: 2
loss_loc_weight: 0.8
loss_neg_obj_weights: 100.0
loss_class_weights: 1.0
freeze_bn: false
force_relu: false
}
training_config {
batch_size_per_gpu: 8
num_epochs: 80
enable_qat: false
checkpoint_interval: 10
learning_rate {
soft_start_annealing_schedule {
min_learning_rate: 1e-6
max_learning_rate: 1e-4
soft_start: 0.1
annealing: 0.5
}
}
regularizer {
type: L1
weight: 3e-5
}
optimizer {
adam {
epsilon: 1e-7
beta1: 0.9
beta2: 0.999
amsgrad: false
}
}
pretrain_model_path: "EXPERIMENT_DIR/pretrained_resnet18/tlt_pretrained_object_detection_vresnet18/resnet_18.hdf5"
}
eval_config {
average_precision_mode: SAMPLE
batch_size: 8
matching_iou_threshold: 0.5
}
nms_config {
confidence_threshold: 0.001
clustering_iou_threshold: 0.5
top_k: 200
}
augmentation_config {
hue: 0.1
saturation: 1.5
exposure:1.5
vertical_flip:0
horizontal_flip: 0.5
jitter: 0.3
output_width: 1248
output_height: 384
output_channel: 3
randomize_input_shape_period: 0
}
dataset_config {
data_sources: {
tfrecords_path: "/workspace/tao-experiments/data/tfrecords/kitti_trainval/kitti_trainval*"
image_directory_path: "/workspace/tao-experiments/data/training"
}
include_difficult_in_training: true
image_extension: "png"
target_class_mapping {
key: "car"
value: "car"
}
target_class_mapping {
key: "pedestrian"
value: "pedestrian"
}
target_class_mapping {
key: "cyclist"
value: "cyclist"
}
target_class_mapping {
key: "van"
value: "car"
}
target_class_mapping {
key: "person_sitting"
value: "pedestrian"
}
validation_fold: 0
}
训练配置
训练配置 (training_config) 定义了训练、评估和推理所需的参数。详细信息总结在下表中。
| 字段 | 描述 | 数据类型和约束 | 推荐/典型值 |
| batch_size_per_gpu（每 GPU 批大小） | 每个 GPU 的批大小，因此有效批大小为 batch_size_per_gpu * num_gpus | 无符号整数，正数 | – |
| checkpoint_interval（检查点间隔） | 每个模型检查点/验证应运行的训练 epoch 数 | 无符号整数，正数 | 10 |
| num_epochs（epoch 数） | 训练网络的 epoch 数 | 无符号整数，正数。 | – |
| enable_qat（启用 QAT） | 是否使用量化感知训练 | 布尔值 | 注意：YOLOv3 不支持加载剪枝后的 QAT 模型并禁用 QAT 后重新训练，反之亦然。例如，要获得剪枝后的 QAT 模型，请在启用 QAT 或 enable_qat=True 的情况下执行初始训练。 |
| learning_rate（学习率） | 仅支持具有这些嵌套参数的“soft_start_annealing_schedule”（软启动退火计划）
|
消息类型。 | – |
| regularizer（正则化器） | 此参数配置训练时要使用的正则化器，并包含以下嵌套参数
|
消息类型。 | L1（注意：NVIDIA 建议在剪枝前训练网络时使用 L1 正则化器，因为 L1 正则化有助于使网络权重更易于剪枝。） |
| optimizer（优化器） | 可以是“adam”、“sgd”或“rmsprop”之一。每种类型都有以下参数
这些参数与 Keras 中的参数相同。 |
消息类型。 | – |
| pretrain_model_path（预训练模型路径） | 预训练模型的路径（如果有）。pretrain_model_path、resume_model_path 或 pruned_model_path 最多只能出现一个。 | 字符串 | – |
| resume_model_path（恢复模型路径） | 要恢复训练的 TAO 检查点模型的路径（如果有）。pretrain_model_path、resume_model_path 或 pruned_model_path 最多只能出现一个。 | 字符串 | – |
| pruned_model_path（剪枝模型路径） | 用于重新训练的 TAO 剪枝模型的路径（如果有）。pretrain_model_path、resume_model_path 或 pruned_model_path 最多只能出现一个。 | 字符串 | – |
| max_queue_size（最大队列大小） | 数据加载中预取的批次数 | 无符号整数，正数 | – |
| n_workers（工作线程数） | 每个 GPU 的数据加载工作线程数 | 无符号整数，正数 | – |
| use_multiprocessing（使用多进程） | 是否使用 keras 序列数据加载器的多进程模式 | 布尔值 | true（如果发生死锁，请重启训练并使用 False） |
学习率会根据训练期间使用的 GPU 数量自动缩放，或者有效学习率为 learning_rate * n_gpu。
评估配置
评估配置 (eval_config) 定义了训练期间或作为独立程序进行评估所需的参数。详细信息总结在下表中。
| 字段 | 描述 | 数据类型和约束 | 推荐/典型值 |
| average_precision_mode（平均精度模式） | 平均精度 (AP) 计算模式可以是 SAMPLE 或 INTEGRATE。SAMPLE 用作 VOC 2009 或更早版本的 VOC 指标。INTEGRATE 用于 VOC 2010 或之后的版本。 | 枚举类型（SAMPLE 或 INTEGRATE） | SAMPLE |
| matching_iou_threshold（匹配 IoU 阈值） | 预测框和真实框的最低 IoU，可以被认为是匹配。 | 浮点数 | 0.5 |
NMS 配置
NMS 配置 (nms_config) 定义了 NMS 后处理所需的参数。NMS 配置适用于训练、验证、评估、推理和导出中模型的 NMS 层。详细信息总结在下表中。
| 字段 | 描述 | 数据类型和约束 | 推荐/典型值 |
| confidence_threshold（置信度阈值） | 置信度分数低于 confidence_threshold 的框将在应用 NMS 之前被丢弃。 | 浮点数 | 0.01 |
| cluster_iou_threshold（聚类 IoU 阈值） | IoU 阈值，低于此阈值的框将通过 NMS 过程。 | 浮点数 | 0.6 |
| top_k | NMS Keras 层之后将输出 top_k 个框。如果有效框的数量少于 k，则返回的数组将填充置信度分数为 0 的框。 | 无符号整数 | 200 |
| infer_nms_score_bits（推理 NMS 分数位数） | 在 TensorRT OSS 的 NMS 插件中表示分数值的位数。有效范围是 [1, 10] 中的整数。将其设置为任何其他值将使其回退到普通 NMS。目前，此优化的 NMS 插件仅在 FP16 中可用，但它也应由 INT8 数据类型选择，因为 TensorRT OSS 中没有 INT8 NMS，因此将选择 FP16 中最快的实现。如果回退到普通 NMS，则构建引擎时的实际数据类型将决定运行的确切精度（FP16 或 FP32）。 | 整数。在区间 [1, 10] 内。 | 0 |
数据增强配置
数据增强配置 (augmentation_config) 定义了在线数据增强所需的参数。详细信息总结在下表中。
| 字段 | 描述 | 数据类型和约束 | 推荐/典型值 |
| hue（色调） | 图像色调在 [-hue, hue] * 180.0 范围内变化 | [0, 1] 范围内的浮点数 | 0.1 |
| saturation（饱和度） | 图像饱和度在 [1.0 / saturation, saturation] 倍范围内变化 | 浮点数 >= 1.0 | 1.5 |
| exposure（曝光度） | 图像曝光度在 [1.0 / exposure, exposure] 倍范围内变化 | 浮点数 >= 1.0 | 1.5 |
| vertical_flip（垂直翻转） | 图像垂直翻转的概率 | [0, 1] 范围内的浮点数 | 0 |
| horizontal_flip（水平翻转） | 图像水平翻转的概率 | [0, 1] 范围内的浮点数 | 0.5 |
| jitter（抖动） | 增强中允许的最大抖动。此处的抖动指的是 YOLO 网络中的抖动增强 | [0, 1] 范围内的浮点数 | 0.3 |
| output_width（输出宽度） | 增强管道的基本输出图像宽度。 | 整数，32 的倍数 | – |
| output_height（输出高度） | 增强管道的基本输出图像高度 | 整数，32 的倍数 | – |
| output_channel（输出通道数） | 增强管道的输出通道数 | 1 或 3 | – |
| randomize_input_shape_period（随机输入形状周期） | 随机更改输出宽度和高度的批次间隔。对于值 K，增强管道将每 K 个批次调整输出形状，调整后的输出宽度/高度将在基本宽度/高度的 0.6 到 1.5 倍之间。注意：如果 K=0，则输出宽度/高度将始终与配置的基本宽度/高度匹配，并且训练速度会快得多，但训练网络的精度可能不如预期。 | 非负整数 | 10 |
| image_mean（图像均值） | 用于指定图像均值的键/值对。如果省略，图像预处理将使用 ImageNet 均值。如果设置，根据 output_channel，必须配置“r/g/b”或“l”键/值对。 | 字典 | – |
数据集配置
YOLOv3 支持两种数据格式：序列格式（图像文件夹和具有 KITTI 格式的原始标签文件夹）和 tfrecords 格式（图像文件夹和 TFRecords）。在大多数情况下，使用 TFRecord 数据集进行训练比序列格式更快，因此 TFRecord 数据集是推荐的格式。但是，在某些情况下，例如小输入分辨率（例如，416x416），序列格式比 TFRecord 稍快。
YOLOv3 数据加载器假定训练/验证拆分已经完成，并且数据以 KITTI 格式准备：图像和标签位于两个单独的文件夹中，其中图像文件夹中的每个图像在标签文件夹中都有一个具有相同文件名的 .txt 标签文件，并且标签文件内容遵循 KITTI 格式。支持 COCO 数据格式，但仅通过 TFRecords。使用 dataset_convert 准备 TFRecords。
以下是使用从 KITTI 数据格式转换的 TFRecord 数据集的 dataset_config 示例。
dataset_config {
data_sources: {
tfrecords_path: "/workspace/tao-experiments/data/tfrecords/kitti_trainval/kitti_trainval*"
image_directory_path: "/workspace/tao-experiments/data/training"
}
include_difficult_in_training: true
image_extension: "png"
target_class_mapping {
key: "car"
value: "car"
}
target_class_mapping {
key: "pedestrian"
value: "pedestrian"
}
target_class_mapping {
key: "cyclist"
value: "cyclist"
}
target_class_mapping {
key: "van"
value: "car"
}
target_class_mapping {
key: "person_sitting"
value: "pedestrian"
}
validation_fold: 0
}
如果您想使用序列格式，以下是 dataset_config 元素的示例
dataset_config {
data_sources: {
label_directory_path: "/workspace/tao-experiments/data/training/label_2"
image_directory_path: "/workspace/tao-experiments/data/training/image_2"
}
data_sources: {
label_directory_path: "/workspace/tao-experiments/data/training/label_3"
image_directory_path: "/workspace/tao-experiments/data/training/image_3"
}
include_difficult_in_training: true
target_class_mapping {
key: "car"
value: "car"
}
target_class_mapping {
key: "pedestrian"
value: "pedestrian"
}
target_class_mapping {
key: "cyclist"
value: "cyclist"
}
target_class_mapping {
key: "van"
value: "car"
}
target_class_mapping {
key: "person_sitting"
value: "pedestrian"
}
validation_data_sources: {
label_directory_path: "/workspace/tao-experiments/data/val/label_1"
image_directory_path: "/workspace/tao-experiments/data/val/image_1"
}
}
dataset_config 中的参数定义如下
data_sources：捕获要训练的数据集路径。如果您有多个训练数据源，可以使用多个data_sources。对于序列格式，此字段包含 2 个参数label_directory_path：数据源标签文件夹的路径image_directory_path：数据源图像文件夹的路径
对于 TFRecord 格式，此字段包含 2 个参数
tfrecords_path：TFRecord 文件的路径，可以是匹配多个 TFrecord 文件的模式。image_directory_path：数据源图像文件夹的路径。确保这与dataset_convert命令中指定的路径一致。
include_difficult_in_training：指定是否在训练中包含困难框。如果设置为 False，则会忽略困难框。困难框是指 KITTI 标签中具有非零遮挡级别的框。image_extension：图像文件的后缀（扩展名）。例如，png或jpg等。此参数仅在使用 TFRecord 数据集时有用。target_class_mapping：此参数将标签中的类名称映射到网络中要训练的目标类。为每个源类到目标类的映射定义一个元素。包含此字段的目的是将相似的类对象分组到一个保护伞下。例如，“car”、“van”、“heavy_truck”等可以分组到“automobile”下。“key”字段是 tfrecords 文件中类名称的值，“value”字段对应于网络期望学习的值。validation_data_sources：捕获要验证的数据集路径。如果您有多个验证数据源，可以使用多个validation_data_sources。与data_sources类似，此字段包含两个相同的参数。此参数与validation_fold互斥。validation_fold：当使用 TFRecord 数据集进行训练时，验证数据集可以是训练数据集中的一个拆分（折叠）。此参数与validation_data_sources互斥。
target_class_mapping 中的类名称键必须与 KITTI 标签中显示的类名称相同，以便为训练选择正确的类。
YOLOv3 配置
YOLOv3 配置 (yolov3_config) 定义了构建 YOLOv3 模型所需的参数。详细信息总结在下表中。
| 字段 | 描述 | 数据类型和约束 | 推荐/典型值 |
| big_anchor_shape（大锚框形状）、mid_anchor_shape（中锚框形状）和 small_anchor_shape（小锚框形状） | 这些设置应为引号内的 1 维数组。这些数组的元素是元组，表示宽度、高度顺序的预定义锚框形状。默认情况下，YOLOv3 有九个预定义的锚框形状，分为三组，分别对应于大、中、小对象。对应于不同组的检测输出来自网络中的不同深度。用户应运行 kmeans 命令 (tao model yolo_v3 kmeans) 以确定其自身数据集的最佳锚框形状，并将这些锚框形状放在规范文件中。请注意，任何字段的锚框形状数量不限于 3 个。用户只需在每个字段中指定至少一个锚框形状即可。 |
字符串 | 使用 tao model yolo_v3 kmeans 命令生成这些形状 |
| matching_neutral_box_iou（匹配中性框 IoU） | 此字段应为介于 0 和 1 之间的浮点数。任何推断的边界框与任何真实框的 IOU 高于此浮点值，则其对象性损失在训练期间不会反向传播。这是为了减少假阴性。 | 浮点数 | 0.5 |
| arch_conv_blocks（架构卷积块） | 支持的值为 0、1 和 2。此值控制检测输出层之间存在的卷积块数量。如果要重现带有 DarkNet 53 的原始 YOLOv3 模型的元架构，请将此值设置为 2。请注意，此配置设置仅控制 YOLO 元架构的大小，而特征提取器的大小与此配置字段无关。 | 0、1 或 2 | 2 |
| loss_loc_weight（定位损失权重）、loss_neg_obj_weights（负对象性损失权重）和 loss_class_weights（类别损失权重） | 这些损失权重可以配置为浮点数。YOLOv3 损失是定位损失、负对象性损失、正对象性损失和分类损失的总和。正对象性损失的权重设置为 1，而其他损失的权重从配置文件中读取。 | 浮点数 | loss_loc_weight：5.0 loss_neg_obj_weights：50.0 loss_class_weights：1.0 |
| arch（架构） | 特征提取的骨干网络。目前，支持“resnet”、“vgg”、“darknet”、“googlenet”、“mobilenet_v1”、“mobilenet_v2”和“squeezenet”。 | 字符串 | resnet |
| nlayers（层数） | 特定架构中的卷积层数。对于“resnet”，支持 10、18、34、50 和 101。对于“vgg”，支持 16 和 19。对于“darknet”，支持 19 和 53。所有其他网络都没有此配置，用户应从配置文件中删除此配置。 | 无符号整数 | – |
| freeze_bn（冻结 BN） | 是否在训练期间冻结所有批归一化层。 | 布尔值 | False |
| freeze_blocks（冻结块） | 在模型训练期间要冻结的块 ID 列表。您可以选择冻结模型中的某些 CNN 块，以使训练更稳定和/或更容易收敛。块的定义对于特定架构是启发式的。例如，按步幅或按模型中的逻辑块等。但是，块 ID 号按顺序标识模型中的块，因此在进行训练时不必知道块的确切位置。要记住的一般原则是：块 ID 越小，它越靠近模型输入；块 ID 越大，它越靠近模型输出。您可以将整个模型划分为几个块，并有选择地冻结其中一部分。请注意，对于 FasterRCNN，您只能冻结 ROI 池化层之前的块。ROI 池化层之后的任何层都不会被冻结。对于不同的骨干网络，块的数量和每个块的块 ID 是不同的。值得详细解释如何为每个骨干网络指定块 ID。 | list(重复整数)
|
– |
| force_relu（强制 ReLU） | 是否将所有激活函数替换为 ReLU。这对于为 NVDLA 训练模型很有用。 | 布尔值 | False |
锚框形状应与数据集中的大多数真实框匹配，以帮助网络学习边界框。您可以使用 kmeans 算法生成锚框形状。该算法在 TAO 中实现为 tao model yolo_v3 kmeans 命令。您可以使用该算法的输出作为 yolov3_config 规范文件中的锚框形状。
tao model yolo_v3 kmeans [-h] -l <label_folders>
-i <image_folders>
-x <network base input width>
-y <network base input height>
[-n <num_clusters>]
[--max_steps <kmeans max steps>]
[--min_x <ignore boxes with width less than this value>]
[--min_y <ignore boxes with height less than this value>]
必需参数
-l：训练标签文件夹的路径。多个文件夹路径应以空格分隔。-i：相应训练图像文件夹的路径。文件夹计数和顺序必须与标签文件夹匹配。-x：基本网络输入宽度，应为规范文件数据增强配置部分中的 output_width。-y：基本网络输入高度，应为规范文件数据增强配置部分中的 output_height。
可选参数
-n：形状聚类的数量。这定义了命令将输出多少个形状中心。默认值为 9（每组 3 个，共 3 组）--max_steps：kmeans 算法应运行的最大步数。如果算法在此步骤未收敛，将返回次优结果。默认值为 10000。--min_x：忽略重塑图像中宽度小于此值的真实框（图像首先重塑为网络基本形状，如 -x、-y）--min_y：忽略重塑图像中高度小于此值的真实框（图像首先重塑为网络基本形状，如 -x、-y）-h, --help：显示此帮助消息并退出。
使用以下命令训练 YOLOv3 模型
tao model yolo_v3 train [-h] -e <experiment_spec>
-r <output_dir>
-k <key>
[--gpus <num_gpus>]
[--gpu_index <gpu_index>]
[--use_amp]
[--log_file <log_file_path>]
必需参数
-r, --results_dir：实验输出写入的文件夹路径。-k, --key：提供加密密钥以解密模型。-e, --experiment_spec_file：实验规范文件，用于设置评估实验。这应与训练规范文件相同。
可选参数
--gpus：用于多 GPU 场景中训练的 GPU 数量（默认值为 1）。--gpu_index：用于运行训练的 GPU 索引。当机器安装了多个 GPU 时，您可以使用 GPU 索引来指定用于训练的 GPU。--use_amp：用于启用 AMP 训练的标志。--log_file：日志文件的路径。默认路径为“stdout”。-h, --help：显示此帮助消息并退出。
输入要求
输入大小：C * W * H（其中 C = 1 或 3，W >= 128，H >= 128，W、H 是 32 的倍数）
图像格式：JPG、JPEG、PNG
标签格式：KITTI 检测
使用示例
以下是在 YOLOv3 模型上使用 train 命令的示例
tao model yolo_v3 train --gpus 2 -e /path/to/spec.txt -r /path/to/result -k $KEY
要为 YOLOv3 模型运行评估，请使用以下命令
tao model yolo_v3 evaluate [-h] -e <experiment_spec_file>
-m <model_file>
-k <key>
[--gpu_index <gpu_index>]
[--log_file <log_file_path>]
必需参数
-e, --experiment_spec_file：实验规范文件，用于设置评估实验。这应与训练规范文件相同。-m, --model：用于评估的模型文件路径。模型可以是 .tlt 模型文件或 TensorRT 引擎。-k, --key：提供密钥以加载模型（如果模型是 TensorRT 引擎，则不需要）。
可选参数
-h, --help：显示此帮助消息并退出。--gpu_index：用于运行评估的 GPU 索引。当机器安装了多个 GPU 时，我们可以指定用于运行评估的 GPU 索引。请注意，评估只能在单个 GPU 上运行。--log_file：日志文件的路径。默认为 stdout。
YOLOv3 网络的推理工具可用于可视化边界框或在单个图像或图像目录上生成逐帧 KITTI 格式标签。此处显示了此工具的命令示例
tao model yolo_v3 inference [-h] -i <input directory>
-o <output annotated image directory>
-e <experiment spec file>
-m <model file>
-k <key>
[-l <output label directory>]
[-t <visualization threshold>]
[--gpu_index <gpu_index>]
[--log_file <log_file_path>]
必需参数
-m, --model：训练模型（TAO 模型）或 TensorRT 引擎的路径。-i, --in_image_dir：用于推理的输入图像目录。-o, --out_image_dir：输出带注释图像的目录路径。-k, --key：用于加载模型的密钥（如果模型是 TensorRT 引擎，则不需要）。-e, --config_path：训练的实验规范文件路径。
可选参数
-t, --draw_conf_thres：绘制边界框的阈值。默认值为 0.3。-h, --help：显示此帮助消息并退出。-l, --out_label_dir：输出 KITTI 标签的目录。--gpu_index：用于运行推理的 GPU 索引。当机器安装了多个 GPU 时，您可以指定用于运行评估的 GPU 索引。请注意，评估只能在单个 GPU 上运行。--log_file：日志文件的路径。默认路径为“stdout”。
剪枝使用 tao model yolo_v3 prune 命令从模型中删除参数，以减小模型大小，而不会损害模型本身的完整性。
tao model yolo_v3 prune 命令包括以下参数
tao model yolo_v3 prune [-h] -m <pretrained_model>
-o <output_file>
-k <key>
[-n <normalizer>]
[-eq <equalization_criterion>]
[-pg <pruning_granularity>]
[-pth <pruning threshold>]
[-nf <min_num_filters>]
[-el <excluded_list>]
必需参数
-m, --model：预训练 YOLOv3 模型的路径。-o, --output_file：输出检查点的路径。-k, --key：用于加载 .tlt 模型的密钥。
可选参数
-h, --help：显示此帮助消息并退出。-n, –normalizer：max表示通过将每层中的每个范数除以最大范数来进行归一化；L2表示通过除以包含所有内核范数的向量的 L2 范数来进行归一化。（默认值：max）-eq, --equalization_criterion：均衡元素级操作层或深度可分离卷积层输入统计信息的标准。此参数对于 resnet 和 mobilenet 很有用。选项包括arithmetic_mean、geometric_mean、union和intersection。（默认值：union）-pg, -pruning_granularity：一次删除的过滤器数量（默认值：8）-pth：用于比较归一化范数的阈值（默认值：0.1）-nf, --min_num_filters：每层要保留的最小过滤器数量（默认值：16）。-el, --excluded_layers：excluded_layers 列表。示例：-i item1 item2（默认值：[]）。
剪枝后，模型需要重新训练。有关更多详细信息，请参阅 重新训练剪枝后的模型。
使用 Prune 命令
以下是使用 tao model yolo_v3 prune 命令的示例
tao model yolo_v3 prune -m /workspace/output/weights/resnet_003.tlt \
-o /workspace/output/weights/resnet_003_pruned.tlt \
-eq union \
-pth 0.7 -k $KEY
模型剪枝后，由于某些以前有用的权重可能被删除，因此精度可能会略有下降。为了恢复精度，NVIDIA 建议您在同一数据集上重新训练此剪枝后的模型。为此，请使用 训练模型 中记录的 tao model yolo_v3 train 命令，并使用更新后的规范文件，该文件将新剪枝后的模型指定为 pruned_model_path。
我们建议关闭 training_config 中的 detectnet 的正则化器，以在重新训练剪枝后的模型时恢复精度。为此，请将正则化器类型设置为 Training config 中提到的 NO_REG。所有其他参数可以从之前的训练中保留在规范文件中。
导出模型将训练过程与推理分离，并允许在 TAO 环境之外转换为 TensorRT 引擎。TensorRT 引擎特定于每个硬件配置，应为每个唯一的推理环境生成。导出的模型可以在训练和部署硬件之间通用使用。
导出的模型格式称为 .etlt。与 .tlt 模型格式一样，.etlt 是一种加密模型格式，它使用与导出它的 .tlt 模型相同的密钥。部署此模型时需要此密钥。
INT8 模式概述
TensorRT 引擎可以在 INT8 模式下生成以提高性能，但需要在引擎创建时使用校准缓存。如果使用 --data_type 标志设置为 int8 运行 tao model yolo_v3 export，则可以使用校准张量文件生成校准缓存。预先生成校准信息并缓存它可以消除在推理机器上校准模型的需要。移动校准缓存通常比移动校准张量文件方便得多，因为它是一个小得多的文件，并且可以与导出的模型一起移动。使用校准缓存还可以加快引擎创建速度，因为构建缓存可能需要几分钟才能生成，具体时间取决于张量文件的大小和模型本身。
导出工具可以通过使用以下选项之一摄取训练数据来生成 INT8 校准缓存
选项 1：使用训练数据加载器加载训练图像以进行 INT8 校准。此选项现在是推荐的方法，通过利用训练数据集加载器来支持多个图像目录。这也确保了校准期间数据的两个重要方面
INT8 校准步骤中的数据预处理与训练过程中的预处理相同。
数据批次在整个训练数据集中随机采样，从而提高了 INT8 模型的准确性。
选项 2：将工具指向要用于校准模型的图像目录。对于此选项，请确保创建一个随机图像的子采样目录，以最好地代表您的训练数据集。
FP16/FP32 模型
只有当您需要在 INT8 精度下运行推理时，才需要 calibration.bin。对于基于 FP16/FP32 的推理，导出步骤要简单得多。您只需提供一个来自训练/再训练步骤的 .tlt 模型，即可将其转换为 .etlt 格式。
导出模型
以下是 tao model yolo_v3 export 命令的命令行参数示例
tao model yolo_v3 export [-h]
-m <path to the .tlt model file generated by tao model train>
-k <key>
[-o <path to output file>]
[--cal_json_file <path to calibration json file>]
[--experiment_spec <path to experiment spec file>]
[--gen_ds_config]
[--verbose]
[--gpu_index <gpu_index>]
[--log_file <log_file_path>]
必需参数
-m, --model：要导出的.tlt模型文件的路径。-k, --key：用于保存.tlt模型文件的密钥。-e, --experiment_spec：spec 文件的路径。
可选参数
-h, --help：显示此帮助消息并退出。-o, --output_file：保存导出模型的路径。默认路径为./<input_file>.etlt。--gen_ds_config：一个布尔标志，指示是否在与output_file相同的目录中生成模板 DeepStream 相关配置 (“nvinfer_config.txt”) 以及标签文件 (“labels.txt”)。请注意，配置文件不是完整的配置文件，需要用户使用生成的参数更新 DeepStream 中的示例配置文件。--gpu_index：用于导出模型的（离散）GPU 的索引。如果机器安装了多个 GPU，您可以指定 GPU 的索引来运行导出。请注意，导出只能在单个 GPU 上运行。--log_file：日志文件的路径。默认路径为“stdout”。
QAT 导出模式必需参数
--cal_json_file：包含 QAT 模型张量比例的 json 文件的路径。如果要生成 QAT 模型的引擎，则需要此参数。
导出使用 QAT 启用的模型进行训练时，用于校准激活的张量比例因子将从模型中剥离出来，并序列化到由 cal_json_file 参数定义的 JSON 文件中。
使用示例
以下是导出 YOLOv3 模型的示例命令
tao model yolo_v3 export -m /workspace/yolov3_resnet18_epoch_100.tlt \
-o /workspace/yolov3_resnet18_epoch_100_int8.etlt \
-e /workspace/yolov3_retrain_resnet18_kitti.txt \
-k $KEY
有关 TensorRT 引擎生成、验证和 int8 校准，请参阅 TAO Deploy 文档。
有关部署到 deep stream，请参阅 部署到 DeepStream for YOLOv3。