YOLOv4

YOLOv4 是 TAO 中包含的对象检测模型。YOLOv4 支持以下任务

• dataset_convert

• kmeans

• train

• evaluate

• inference

• prune

• export

这些任务可以使用 TAO Launcher 从命令行调用，使用以下约定

            

            
tao model yolo_v4 <sub_task> <args_per_subtask>
        

其中 args_per_subtask 是给定子任务所需的命令行参数。每个子任务在下面详细解释。

YOLOv4 的数据集结构与 DetectNet_v2 的结构相同。唯一的区别是用于从 KITTI 文本标签生成 TFRecords 的命令行。要为 YOLOv4 训练生成 TFRecords，请使用此命令

            

            
tao model yolo_v4 dataset_convert [-h] -d <dataset_spec>
                                     -o <output_tfrecords_file>
                                     [--gpu_index <gpu_index>]
        

必需参数

• -d, --dataset_spec: 数据集 spec 文件的路径。

• -o, --output_filename: 输出 TFRecords 文件的路径。

可选参数

• --gpu_index: 运行此命令的 GPU 索引。如果机器安装了多个 GPU，我们可以指定用于运行此命令的 GPU 索引。请注意，此命令只能在单个 GPU 上运行。

以下是 YOLOv4 spec 文件的示例。它有 6 个主要组成部分：yolov4_config、training_config、eval_config、nms_config、augmentation_config 和 dataset_config。spec 文件的格式是 protobuf 文本 (prototxt) 消息，其每个字段可以是基本数据类型或嵌套消息。下表总结了 spec 文件的顶层结构。

            

            
random_seed: 42
yolov4_config {
  big_anchor_shape: "[(114.94, 60.67), (159.06, 114.59), (297.59, 176.38)]"
  mid_anchor_shape: "[(42.99, 31.91), (79.57, 31.75), (56.80, 56.93)]"
  small_anchor_shape: "[(15.60, 13.88), (30.25, 20.25), (20.67, 49.63)]"
  box_matching_iou: 0.25
  matching_neutral_box_iou: 0.5
  arch: "resnet"
  nlayers: 18
  loss_loc_weight: 1.0
  loss_neg_obj_weights: 1.0
  loss_class_weights: 1.0
  label_smoothing: 0.0
  big_grid_xy_extend: 0.05
  mid_grid_xy_extend: 0.1
  small_grid_xy_extend: 0.2
  freeze_bn: false
  freeze_blocks: 0
  force_relu: false
}
training_config {
  batch_size_per_gpu: 8
  num_epochs: 80
  enable_qat: false
  checkpoint_interval: 10
  learning_rate {
    soft_start_cosine_annealing_schedule {
      min_learning_rate: 1e-7
      max_learning_rate: 1e-4
      soft_start: 0.3
    }
  }
  regularizer {
    type: L1
    weight: 3e-5
  }
  optimizer {
    adam {
      epsilon: 1e-7
      beta1: 0.9
      beta2: 0.999
      amsgrad: false
    }
  }
  pretrain_model_path: "EXPERIMENT_DIR/pretrained_resnet18/tlt_pretrained_object_detection_vresnet18/resnet_18.hdf5"
}
eval_config {
  average_precision_mode: SAMPLE
  batch_size: 8
  matching_iou_threshold: 0.5
}
nms_config {
  confidence_threshold: 0.001
  clustering_iou_threshold: 0.5
  top_k: 200
}
augmentation_config {
  hue: 0.1
  saturation: 1.5
  exposure:1.5
  vertical_flip:0
  horizontal_flip: 0.5
  jitter: 0.3
  output_width: 1248
  output_height: 384
  output_channel: 3
  randomize_input_shape_period: 100
  mosaic_prob: 0.5
  mosaic_min_ratio:0.2
  image_mean {
    key: 'b'
    value: 103.9
  }
  image_mean {
    key: 'g'
    value: 116.8
  }
  image_mean {
    key: 'r'
    value: 123.7
  }
}
dataset_config {
  data_sources: {
      tfrecords_path: "/workspace/tao-experiments/data/training/tfrecords/<tfrecords pattern>"
      image_directory_path: "/workspace/tao-experiments/data/training"
  }
  include_difficult_in_training: true
  image_extension: "png"
  target_class_mapping {
      key: "car"
      value: "car"
  }
  target_class_mapping {
      key: "pedestrian"
      value: "pedestrian"
  }
  target_class_mapping {
      key: "cyclist"
      value: "cyclist"
  }
  target_class_mapping {
      key: "van"
      value: "car"
  }
  target_class_mapping {
      key: "person_sitting"
      value: "pedestrian"
  }
  validation_data_sources: {
      tfrecords_path: "/workspace/tao-experiments/data/val/tfrecords/<tfrecords pattern>"
      image_directory_path: "/workspace/tao-experiments/data/val"
  }
}
        

训练配置

训练配置 (training_config) 定义了训练、评估和推理所需的参数。详细信息总结在下表中。

训练期间的可视化

训练期间的可视化由 visualizer 参数配置。其参数在下表中描述。

训练期间的可视化支持 3 种类型的可视化，即：标量、图像和直方图。这些类型的可视化都利用 TensorBoard 工具。每种类型在 TensorBoard GUI 界面中都有一个选项卡。使用标量选项卡，它可以可视化标量，如损失、学习率和验证 mAP 随时间变化（训练步骤）。使用图像选项卡，它可以可视化训练期间的增强图像，并在其上绘制边界框。使用直方图选项卡，它可以可视化正在训练的模型的每一层权重和偏差的直方图。

如果参数 enabled 设置为 True，则将启用以上所有可视化。否则，所有可视化都将被禁用。

参数 num_images 用于限制要在 TensorBoard 的图像选项卡上可视化的最大图像数量。

在训练期间，可以在任何可以访问 TensorBoard 日志目录的地方进行可视化。通常，TAO 容器会将卷映射到主机，因此可以在主机上调用 TensorBoard。命令 tensorboard --logdir=/path/to/logs 可用于在 Web 浏览器中打开 TensorBoard 可视化 GUI。确保在运行此命令之前安装了 tensorboard。如果环境中未安装，可以运行 pip3 install tensorboard 进行安装。/path/to/logs 参数是训练的结果目录，并附加了后缀 /logs。

提前停止

提前停止的参数在下表中描述。

评估配置

评估配置 (eval_config) 定义了训练期间或独立评估所需的参数。详细信息总结在下表中。

NMS 配置

NMS 配置 (nms_config) 定义了 NMS 后处理所需的参数。NMS 配置适用于模型在训练、验证、评估、推理和导出中的 NMS 层。详细信息总结在下表中。

增强配置

增强配置 (augmentation_config) 定义了在线数据增强所需的参数。详细信息总结在下表中。

数据集配置

YOLOv4 支持两种数据格式：序列格式（图像文件夹和带有 KITTI 格式的原始标签文件夹）和 tfrecords 格式（图像文件夹和 TFRecords）。根据我们的经验，如果禁用马赛克增强 (mosaic_prob=0)，则使用 TFRecords 格式进行训练更快。如果启用马赛克增强 (mosaic_prob>0)，则使用序列格式进行训练更快。train 和 evaluate 命令将根据您的 dataset_config 确定数据格式。

YOLOv4 数据加载器假定训练/验证拆分已完成，并且数据以 KITTI 格式准备：图像和标签位于两个单独的文件夹中，其中图像文件夹中的每个图像在标签文件夹中都有一个文件名相同的 .txt 标签文件，并且标签文件内容遵循 KITTI 格式。COCO 数据格式受支持，但仅通过 TFRecords。使用 dataset_convert 准备 TFRecords。

序列格式

如果您想使用序列格式，以下是 dataset_config 元素的示例

            

            
dataset_config {
   data_sources: {
       label_directory_path: "/workspace/tao-experiments/data/training/label_2"
       image_directory_path: "/workspace/tao-experiments/data/training/image_2"
   }
   data_sources: {
       label_directory_path: "/workspace/tao-experiments/data/training/label_3"
       image_directory_path: "/workspace/tao-experiments/data/training/image_3"
   }
   include_difficult_in_training: true
   target_class_mapping {
       key: "car"
       value: "car"
   }
   target_class_mapping {
       key: "pedestrian"
       value: "pedestrian"
   }
   target_class_mapping {
       key: "cyclist"
       value: "cyclist"
   }
   target_class_mapping {
       key: "van"
       value: "car"
   }
   target_class_mapping {
       key: "person_sitting"
       value: "pedestrian"
   }
   validation_data_sources: {
       label_directory_path: "/workspace/tao-experiments/data/val/label_1"
       image_directory_path: "/workspace/tao-experiments/data/val/image_1"
   }
}
        

dataset_config 中的参数定义如下

• data_sources：要训练的数据集路径。如果您有多个训练数据源，可以使用多个 data_sources。此字段包含 2 个参数

  • label_directory_path：数据源标签文件夹的路径。

  • image_directory_path：数据源图像文件夹的路径。

• include_difficult_in_training：一个标志，指定是否在训练中包含困难框。如果设置为 false，则将忽略困难框。困难框是在 KITTI 标签中具有非零遮挡级别的框。

• target_class_mapping：此参数将标签中的类名称映射到网络中要训练的目标类。为每个源类到目标类映射定义一个元素。包含此字段的目的是将相似的类对象分组到一个保护伞下。例如，“car”、“van”、“heavy_truck” 等可以分组在 “automobile” 下。“key” 字段是 tfrecords 文件中类名称的值，“value” 字段对应于网络预期学习的值。

• validation_data_sources：捕获要验证的数据集路径。如果您有多个验证数据源，可以使用多个 validation_data_sources。与 data_sources 一样，此字段包含两个参数。

TFRecords 格式

TFRecords 格式需要所有标签的 tfrecords。这需要运行 tao model yolo_v4 dataset-convert 命令。该命令具有与 detectnet_v2 相同的功能和参数要求，有关如何生成 tfrecords 的详细信息，请查看 detectnet_v2 中的 预处理数据集。

如果您想使用从 KITTI 数据格式转换而来的 tfrecords 格式，以下是 dataset_config 元素的示例。在这里，我们假设您的 tfrecords 都生成在名为 tfrecords 的文件夹下，该文件夹与图像和标签位于同一父文件夹下

            

            
dataset_config {
   data_sources: {
       tfrecords_path: "/workspace/tao-experiments/data/training/tfrecords/<tfrecords pattern>"
       image_directory_path: "/workspace/tao-experiments/data/training"
   }
   include_difficult_in_training: true
   image_extension: "png"
   target_class_mapping {
       key: "car"
       value: "car"
   }
   target_class_mapping {
       key: "pedestrian"
       value: "pedestrian"
   }
   target_class_mapping {
       key: "cyclist"
       value: "cyclist"
   }
   target_class_mapping {
       key: "van"
       value: "car"
   }
   target_class_mapping {
       key: "person_sitting"
       value: "pedestrian"
   }
   validation_data_sources: {
       tfrecords_path: "/workspace/tao-experiments/data/val/tfrecords/<tfrecords pattern>"
       image_directory_path: "/workspace/tao-experiments/data/val"
   }
}
        

dataset_config 中的参数定义如下

• data_sources：要训练的数据集路径。如果您有多个训练数据源，可以使用多个 data_sources。此字段包含 2 个参数

  • tfrecords_path：数据源 tfrecords 的路径。

  • image_directory_path：包含图像文件夹的根目录的路径。

• image_extension：图像文件夹中包含的图像的图像扩展名。注意，要使用 tfrecords 格式，所有图像必须具有相同的扩展名，目前我们支持 jpg 和 png

• validation_data_sources：捕获要验证的数据集路径。此字段包含与 data_sources 相同的两个参数。如果您有多个验证数据源，可以使用多个 validation_data_sources。

所有其他字段与序列格式 dataset_config 中的字段相同。

16 位灰度图像支持

TAO YOLOv4 可以支持 16 位灰度图像。要启用此功能，只需在 augmentation_config 中将 output_channel 设置为 1，将 output_depth 设置为 16。此外，通常 16 位灰度图像的均值与 RGB 图像的均值不同，因此通常有必要通过 augmentation_config 中的 image_mean 字典为其设置正确的通道均值。原则上，16 位图像的通道均值是从训练图像计算得出的统计值。以下是如何设置均值的示例。

            

            
image_mean {
  key: "l"
  value: 10141.5
}
        

请注意，只有 PNG 格式可以支持每通道每像素 16 位的深度。JPEG 格式不支持此功能。

类权重配置

YOLOV4 支持在训练期间对损失函数进行类级别加权。以下是类权重配置 (class_weighting_config) 的示例，用于设置两个类的权重。

            

            
class_weighting_config {
  class_weighting{
      key: "person"
      value: 1.0
  }
  class_weighting{
      key: "bus"
      value: 5.0
  }
}
        

class_weighting_config 中的参数定义如下

• class_weighting：此参数将类名称映射到损失函数上的相应类权重。类权重 value 应大于 0。如果未在配置中显式设置类权重，则将隐式分配默认值 1.0。

• enable_auto：此参数指示是否在训练中启用自动类权重。将其设置为 true 以根据每个类的训练损失自动生成类权重。

YOLO4 配置

YOLOv4 配置 (yolov4_config) 定义了构建 YOLOv4 模型所需的参数。详细信息总结在下表中。

锚点形状应与数据集中的大多数真实框匹配，以帮助网络学习边界框。YOLOv4 论文建议使用 kmeans 算法来获取锚点形状，并且 tao model yolo_v4 kmeans 命令在 TAO 算法中实现。您应该使用输出作为 yolov4_config spec 文件中的锚点形状。

            

            
tao model yolo_v4 kmeans [-h] -l <label_folders>
                        -i <image_folders>
                        -x <network base input width>
                        -y <network base input height>
                        [-n <num_clusters>]
                        [--max_steps <kmeans max steps>]
                        [--min_x <ignore boxes with width less than this value>]
                        [--min_y <ignore boxes with height less than this value>]
        

必需参数

• -l: 训练标签文件夹的路径。多个文件夹路径应以空格分隔。

• -i: 相应训练图像文件夹的路径。文件夹计数和顺序必须与标签文件夹匹配。

• -x: 基本网络输入宽度。这应该是您的 spec 文件的增强配置部分中的 output_width。

• -y: 基本网络输入高度。这应该是您的 spec 文件的增强配置部分中的 output_height。

可选参数

• -n: 形状聚类的数量。这定义了命令将输出多少个形状中心。默认值为 9（每组 3 个，共 3 组）。

• --max_steps: kmeans 算法应运行的最大步数。如果算法在此步骤未收敛，将返回次优结果。默认值为 10000。

• --min_x: 忽略宽度小于此值的真实框（在重塑图像中）（图像首先重塑为网络基本形状，如 -x, -y）。

• --min_y: 忽略高度小于此值的真实框（在重塑图像中）（图像首先重塑为网络基本形状，如 -x, -y）。

• -h, --help: 显示此帮助消息并退出。

使用此命令训练 YOLOv4 模型

            

            
tao model yolo_v4 train [-h] -e <experiment_spec>
                       -r <output_dir>
                       -k <key>
                       [--gpus <num_gpus>]
                       [--gpu_index <gpu_index>]
                       [--use_amp]
                       [--log_file <log_file_path>]
        

必需参数

• -r, --results_dir: 实验输出写入的文件夹路径。

• -k, --key: 用于解密模型的加密密钥。

• -e, --experiment_spec_file: 用于设置评估实验的实验规格文件。这应与训练规格文件相同。

可选参数

• --gpus: 用于多 GPU 场景中训练的 GPU 数量（默认值：1）。

• --gpu_index: 用于运行训练的 GPU 索引。当机器安装了多个 GPU 时，您可以指定用于训练的 GPU 索引。

• --use_amp: 启用 AMP 训练的标志。

• --log_file: 日志文件的路径。默认路径为 stdout。

• -h, --help: 显示此帮助消息并退出。

输入要求

• 输入大小：C * W * H（其中 C = 1 或 3，W >= 128，H >= 128，W、H 是 32 的倍数）

• 图像格式：JPG、JPEG、PNG

• 标签格式：KITTI 检测

示例用法

以下是在 YOLOv4 模型上使用 train 命令的示例

            

            
tao model yolo_v4 train --gpus 2 -e /path/to/spec.txt -r /path/to/result -k $KEY
        

要在 YOLOv4 模型上运行评估，请使用此命令

            

            
tao model yolo_v4 evaluate [-h] -e <experiment_spec_file>
                          -m <model_file>
                          -k <key>
                          [--gpu_index <gpu_index>]
                          [--log_file <log_file_path>]
        

必需参数

• -e, --experiment_spec_file: 用于设置评估实验的实验规格文件。这应与训练规格文件相同。

• -m, --model: 用于评估的模型文件的路径。该模型可以是 .tlt 模型文件或 TensorRT 引擎。

• -k, --key: 用于加载模型的密钥（如果模型是 TensorRT 引擎，则不需要）。

可选参数

• -h, --help: 显示此帮助消息并退出。

• --gpu_index: 用于运行评估的 GPU 索引。当机器安装了多个 GPU 时，您可以指定用于运行评估的 GPU 索引。请注意，评估只能在单个 GPU 上运行。

• --log_file: 日志文件的路径。默认路径为 stdout。

YOLOv4 网络的推理工具，可用于可视化边界框或在单个图像或图像目录上生成逐帧 KITTI 格式标签。以下显示了此工具的命令示例

            

            
tao model yolo_v4 inference [-h] -i <input directory>
                           -o <output annotated image directory>
                           -e <experiment spec file>
                           -m <model file>
                           -k <key>
                           [-l <output label directory>]
                           [-t <visualization threshold>]
                           [--gpu_index <gpu_index>]
                           [--log_file <log_file_path>]
        

必需参数

• -m, --model: 训练模型的路径（TAO 模型）或 TensorRT 引擎。

• -i, --in_image_dir: 用于推理的输入图像目录。

• -o, --out_image_dir: 用于输出带注释图像的目录路径。

• -k, --key: 用于加载模型的密钥（如果模型是 TensorRT 引擎，则不需要）。

• -e, --config_path: 训练的实验规格文件路径。

可选参数

• -t, --draw_conf_thres: 绘制边界框的阈值。默认值：0.3。

• -h, --help: 显示此帮助消息并退出。

• -l, --out_label_dir: 用于输出 KITTI 标签的目录。

• --gpu_index: 用于运行推理的 GPU 索引。当机器安装了多个 GPU 时，我们可以指定用于运行评估的 GPU 索引。请注意，评估只能在单个 GPU 上运行。

• --log_file: 日志文件的路径。默认路径为 stdout。

剪枝从模型中移除参数，以减小模型大小，同时使用 tao model yolo_v4 prune 命令，在不损害模型完整性的前提下进行。

tao model yolo_v4 prune 命令包括以下参数

            

            
tao model yolo_v4 prune [-h] -m <pretrained_model>
                       -o <output_file>
                       -k <key>
                       [-n <normalizer>]
                       [-eq <equalization_criterion>]
                       [-pg <pruning_granularity>]
                       [-pth <pruning threshold>]
                       [-nf <min_num_filters>]
                       [-el [<excluded_list>]
        

必需参数

• -m, --model: 预训练 YOLOv4 模型的路径

• -o, --output_file: 输出检查点的路径

• -k, --key: 用于加载 .tlt 模型的密钥

可选参数

• -h, --help: 显示此帮助消息并退出。

• -n, –normalizer: 使用 max 通过将每层中的每个范数除以最大范数来进行归一化；使用 L2 通过除以包含所有内核范数的向量的 L2 范数来进行归一化。默认值为 max。

• -eq, --equalization_criterion: 用于均衡元素级操作层或深度卷积层输入的统计信息的标准。此参数对于 ResNet 和 MobileNet 非常有用。选项包括 arithmetic_mean、geometric_mean、union 和 intersection。默认值为 union。

• -pg, -pruning_granularity: 每次要移除的过滤器数量（默认值：8）

• -pth: 用于比较归一化范数的阈值（默认值：0.1）

• -nf, --min_num_filters: 每层要保留的最小过滤器数量（默认值：16）

• -el, --excluded_layers: 排除层的列表。示例：-i item1 item2（默认值：[]）

剪枝后，模型需要重新训练。有关更多详细信息，请参阅重新训练剪枝模型。

使用剪枝命令

以下是使用 tao model yolo_v4 prune 命令的示例

            

            
tao model yolo_v4 prune -m /workspace/output/weights/resnet_003.tlt \
                  -o /workspace/output/weights/resnet_003_pruned.tlt \
                  -eq union \
                  -pth 0.7 -k $KEY
        

模型剪枝后，由于某些先前有用的权重可能已被移除，因此精度可能会略有下降。为了恢复精度，我们建议在同一数据集上重新训练剪枝模型。为此，请使用 训练模型中记录的 tao model yolo_v4 train 命令，并更新规格文件，将新剪枝的模型指向 pruned_model_path。

我们建议关闭 detectnet 中 training_config 中的正则化器，以在重新训练剪枝模型时恢复精度。您可以通过将正则化器类型设置为 NO_REG 来执行此操作，如训练配置部分所述。规格文件中的所有其他参数都可以从先前的训练中沿用。

导出模型将训练过程与推理分离，并允许在 TAO 环境之外转换为 TensorRT 引擎。TensorRT 引擎特定于每个硬件配置，应为每个唯一的推理环境生成。导出的模型可以通用地用于训练和部署硬件。导出的模型格式称为 .etlt。与 .tlt 类似，.etlt 模型格式也是一种加密模型格式，具有与其导出的 .tlt 模型相同的密钥。部署此模型时需要此密钥。

INT8 模式概述

TensorRT 引擎可以在 INT8 模式下生成以提高性能，但需要在引擎创建时使用校准缓存。如果使用设置为 int8 的 --data_type 标志运行 tao model yolo_v4 export，则将使用校准张量文件生成校准缓存。预先生成校准信息并缓存它，无需在推理机器上校准模型。移动校准缓存通常比移动校准张量文件方便得多，因为它是一个小得多的文件，可以与导出的模型一起移动。使用校准缓存还可以加快引擎创建速度，因为构建缓存可能需要几分钟时间，具体取决于 Tensorfile 的大小和模型本身。

导出工具可以通过使用以下任一选项摄取训练数据来生成 INT8 校准缓存

• 选项 1：使用训练数据加载器加载训练图像以进行 INT8 校准。此选项现在是推荐的方法，通过利用训练数据集加载器来支持多个图像目录。这也确保了校准期间数据的两个重要方面

  • INT8 校准步骤中的数据预处理与训练过程中的数据预处理相同。

  • 数据批次在整个训练数据集中随机采样，从而提高了 INT8 模型的准确性。

• 选项 2：将工具指向要用于校准模型的图像目录。对于此选项，请确保创建随机图像的子采样目录，以最好地代表您的训练数据集。

FP16/FP32 模型

如果您需要在 INT8 精度下运行推理，则仅需要 calibration.bin。对于基于 FP16/FP32 的推理，导出步骤要简单得多。只需要提供来自训练/重新训练步骤的 .tlt 模型即可转换为 .etlt。

导出模型

以下是 tao model yolo_v4 export 命令的命令行参数示例

            

            
tao model yolo_v4 export [-h]
                    -m <path to the .tlt model file generated by tao model train>
                    -k <key>
                    [-o <path to output file>]
                    [--cal_json_file <path to calibration json file>]
                    [--experiment_spec <path to experiment spec file>]
                    [--gen_ds_config]
                    [--verbose]
                    [--gpu_index <gpu_index>]
                    [--log_file <log_file_path>]
        

必需参数

• -m, --model: 要导出的 .tlt 模型 文件的路径。

• -k, --key: 用于保存 .tlt 模型文件的密钥。

• -e, --experiment_spec: 规格文件的路径。

可选参数

• -h, --help: 显示此帮助消息并退出。

• -o, --output_file: 用于保存导出模型的路径。默认路径为 ./<input_file>.etlt。

• --gen_ds_config: 一个布尔标志，指示是否在与 output_file 相同的目录中生成模板 DeepStream 相关配置 (“nvinfer_config.txt”) 以及标签文件 (“labels.txt”)。请注意，配置文件不是完整的配置文件，需要用户使用生成的参数更新 DeepStream 中的示例配置文件。

• --gpu_index: 如果机器安装了多个 GPU，则用于导出模型的（离散）GPU 的索引。请注意，导出只能在单个 GPU 上运行。

• --log_file: 日志文件的路径。默认路径为 stdout。

QAT 导出模式必需参数

• --cal_json_file: 包含 QAT 模型张量比例的 json 文件的路径。如果要生成 QAT 模型的引擎，则需要此参数。

示例用法

以下是导出 YOLOv4 模型的示例命令

            

            
tao model yolo_v4 export -m /workspace/yolov4_resnet18_epoch_100.tlt  \
                         -o /workspace/yolov4_resnet18_epoch_100_int8.etlt \
                         -e /workspace/yolov4_retrain_resnet18_kitti.txt \
                         -k $KEY \
        

有关 TensorRT 引擎生成、验证和 int8 校准，请参阅TAO 部署文档。

有关部署到 deep stream，请参阅部署到 DeepStream for YOLOv4。