离线数据增强

训练深度神经网络可能是一项艰巨的任务，而训练模型最重要的组成部分是数据。获取经过整理和标注的数据集通常是一个手动过程，需要数千人时进行细致的标注。即使数据经过仔细收集和规划，也很难估计网络可能遇到的所有极端情况，而重复收集缺失数据并对其进行标注的过程非常昂贵且周转时间长。

使用训练数据加载器的在线增强是增加数据集中变异性的一个好方法。但是，增强数据是根据数据加载器在采样数据时遵循的分布随机生成的。为了获得高水平的准确率，模型可能需要训练很长时间。

为了规避这些限制，生成一个具有所需增强的数据集，并将控制权交给用户，TAO 数据服务提供了一个离线数据增强服务。当收集和标注数据成本高昂或不可能时，离线增强可以显著增加数据集的大小。增强服务提供多种自定义 GPU 加速的增强例程

• 空间增强

• 色彩空间增强

• 图像模糊

空间增强

空间增强包括在空间中增强数据的例程。支持以下空间增强操作

• 旋转（可选，带有 AI 辅助的边界框优化）

• 调整大小

• 平移

• 剪切

• 翻转

色彩空间增强

色彩空间增强包括在色彩空间中增强图像数据的例程。支持以下操作符

• 色调旋转

• 亮度偏移

• 对比度偏移

图像模糊

除了上述增强操作外，增强服务还支持图像模糊或锐化，这在FilterKernel 配置中进一步描述。

空间增强例程应用于图像以及真实标签，而颜色增强例程和通道式模糊运算符仅应用于图像。示例工作流程如下

离线数据增强需要一个图像目录和一个包含 KITTI 文本标签或 COCO JSON 文件的目录。

有关数据格式的更多信息，请参阅数据标注格式的 KITTI 和 COCO 部分。

增强实验的配置 YAML 文件包含四个主要组件，以及一些用于启动多 GPU 作业和保存作业日志的全局参数。

• 空间增强配置

• 颜色增强配置

• 模糊配置

• 数据配置（输出图像尺寸、数据集类型等）

空间增强配置

空间增强配置包含用于配置空间增强例程的参数。

            

            
{
angle: 0.5
units: degrees
}
        

            

            
{
flip_vertical: true
flip_horizontal: true
}
        

            

            
{
translate_x: 8
translate_y: 8
}
        

            

            
{
shear_ratio_x: 0.2
shear_ratio_y: 0.2
}
        

旋转配置

旋转操作以一定角度旋转图像。剪切操作的变换矩阵计算如下

            

            
[x_new, y_new, 1] = [x, y, 1] * [[cos(angle) sin(angle)              zero]
                                 [-sin(angle)           cos(angle)           zero]
                                 [x_t                         y_t                    one]]
Where x_t, y_t are defined as
x_t = height * sin(angle) / 2.0 - width * cos(angle) / 2.0 + width / 2.0
y_t = -1 * height * cos(angle) / 2.0 + height / 2.0 - width * sin_(angle) / 2.0
Here height = height of the output image, width = width of the output image.
        

剪切配置

剪切操作沿 x 或 y 维度向对象引入倾斜。剪切操作的变换矩阵计算如下

            

            
[x_new, y_new, 1] = [x, y, 1] * [[1.0             shear_ratio_y,    0],
                                          [shear_ratio_x,       1.0,         0],
                                    [x_t,                 y_t,       1.0]]
X_t = -height * shear_ratio_x / 2.
Y_t = -width * shear_ratio_y / 2.
Here height = height of the output image, width = width of the output image.
        

翻转配置

该操作符沿水平轴和垂直轴翻转图像和边界框坐标。

平移配置

该操作符沿 x 和/或 y 轴平移图像和多边形坐标。

颜色增强配置

颜色增强配置包含用于配置颜色空间增强例程的参数，包括以下内容

色调配置

此增强操作符通过将 RGB 图像转换为 HSV，执行色调旋转，然后返回相应的 RGB 图像来应用色彩空间操作。

饱和度配置

此增强操作符通过将 RGB 图像转换为 HSV，执行饱和度偏移，然后返回相应的 RGB 图像来应用色彩空间操作。

亮度配置

此增强操作符应用通道式亮度偏移。

对比度配置

此增强操作符对图像应用跨中心点的对比度缩放。

KernelFilter 配置

KernelFilter 配置对图像应用高斯模糊操作符。高斯核根据以下参数制定，然后在图像和核之间执行逐通道 2D 卷积。

数据配置

数据配置参数配置输入和输出数据维度、类型和位置。

离线增强服务具有简单的命令行界面，定义如下

            

            
tao dataset augmentation generate [-h] -e <experiment spec file>
                         [results_dir=<global_results_dir>]
                         [spatial_aug.<spatial_aug_option>=<spatial_aug_option_value>]
                         [color_aug.<color_aug_option>=<color_aug_option_value>]
                         [blur_aug.<blur_aug_option>=<blur_aug_option_value>]
                         [data.<data_option>=<data_option_value>]
                         [num_gpus=<num_gpus>]
                         [gpu_ids=<gpu_ids>]
        

• -e, --experiment_spec_file：YAML spec 文件的路径

可选参数

• -h, --help：显示此帮助消息并退出。

• spatial_aug.<spatial_aug_option>：空间增强选项。

• color_aug.<color_aug_option>：颜色增强选项。

• blur_aug.<blur_aug_option>：模糊增强选项。

• data.<data_option>：数据选项。

生成数据集后，您可以使用代码：dataset-convert 工具将其转换为 TFRecords，以便 train 子任务可以摄取它。有关将数据转换为 TFRecords 的详细信息，请参阅对象检测的数据输入部分，以及使用此数据集训练模型在数据标注格式部分中描述。

以下是一些示例渲染的增强图像

输入图像旋转 5 度

图像旋转 5 度，色调旋转 25 度，饱和度偏移 0.0