DeepStream 3D 动作识别应用#

示例应用程序 deepstream-3d-action-recognition 位于 app/sample_apps/deepstream-3d-action-recognition 供您参考。此示例演示了基于序列批处理的 3D 或 2D 模型推理流水线，用于动作识别。下图显示了此参考应用的架构。

Gst-nvdspreprocess 插件重新处理 Gst-nvinfer 插件的输入张量。Gst-nvdspreprocess 加载 custom_sequence_preprocess lib (子文件夹) 以执行时间序列批处理和 ROI 空间批处理。它将预处理的批处理张量缓冲区传递到下游插件 Gst-nvinfer 以进行推理。此应用程序探测张量数据和动作分类结果，将其转换为显示元数据以在屏幕上打印。此 3D/2D 模型由 NVIDIA TAO 工具包预训练。3D 模型具有 NCDHW (NCSHW) 输入，2D 模型具有 NSHW 形状。

N: Max batch size of total number of ROIs in all streams, value > 0.
C: Channel numbers, must be 3.
D/S: sequence length of consecutive frames, value > 1
H: height, value > 0
W: width, value > 0
2D S: channels x sequence_length, reshaped from [C, D]

自定义序列预处理库：libnvds_custom_sequence_preprocess.so 也位于 sources/apps/sample_apps/deepstream-3d-action-recognition/custom_sequence_preprocess，用于演示如何使用 Gst-nvdspreprocess 插件实现序列批处理和预处理方法。此自定义库标准化每个传入的 ROI 裁剪图像，并将数据累积到缓冲区序列中以进行时间批处理。当时间批处理准备就绪时，它继续对多 ROI 和多流执行空间批处理。最后，它将时间和空间批处理的缓冲区（张量）返回给 Gst-nvdspreprocess 插件，该插件会将缓冲区作为预处理输入元数据附加并传递到下游 Gst-nvinfer 插件以进行推理。

入门#

先决条件#

转到文件夹 sources/apps/sample_apps/deepstream-3d-action-recognition。
从 NGC https://ngc.nvidia.com/catalog/models/nvidia:tao:actionrecognitionnet (版本 5) 搜索并下载基于 3D 和 2D RGB 的 tao_iva_action_recognition_pretrained 模型
- resnet18_3d_rgb_hmdb5_32
- resnet18_2d_rgb_hmdb5_32
这些模型支持以下类别：push; fall_floor; walk; run; ride_bike。

在动作识别配置文件 deepstream_action_recognition_config.txt 中更新源流 uri-list。

uri-list=file:///path/to/sample_action1.mov;file:///path/to/sample_action2.mov;file:///path/to/sample_action3.mov;file:///path/to/sample_action4.mov;

导出 DISPLAY 环境变量以进行正确的显示。例如 export DISPLAY=:0.0。

运行 3D 动作识别示例#

确保在 deepstream_action_recognition_config.txt 中启用 3D 预处理配置和 3D 推理配置。

# Enable 3D preprocess and inference
preprocess-config=config_preprocess_3d_custom.txt
infer-config=config_infer_primary_3d_action.txt

运行以下命令

$ deepstream-3d-action-recognition -c deepstream_action_recognition_config.txt

使用 DS-Triton 运行，更新应用程序配置文件 deepstream_triton_action_recognition_config.txt。

preprocess-config=config_preprocess_3d_custom.txt
triton-infer-config=config_triton_infer_primary_3d_action.txt

使用 DS-Triton 运行 3D 测试
$ ./deepstream-3d-action-recognition -c deepstream_triton_action_recognition_config.txt
查看 sources/TritonOnnxYolo/README 以了解有关如何在 CAPI 和 gRPC 之间切换动作识别 DS-Triton 测试的更多详细信息。

运行 2D 动作识别示例#

确保在 deepstream_action_recognition_config.txt 中启用 2D 预处理配置和 2D 推理配置。

# Enable 2D preprocess and inference
preprocess-config=config_preprocess_2d_custom.txt
infer-config=config_infer_primary_2d_action.txt

运行以下命令

$ deepstream-3d-action-recognition -c deepstream_action_recognition_config.txt

使用 DS-Triton 运行，更新应用程序配置文件 deepstream_triton_action_recognition_config.txt。

preprocess-config=config_preprocess_2d_custom.txt
triton-infer-config=config_triton_infer_primary_2d_action.txt

使用 DS-Triton 运行 2D 测试
$ ./deepstream-3d-action-recognition -c deepstream_triton_action_recognition_config.txt
查看 sources/TritonOnnxYolo/README 以了解有关如何在 CAPI 和 gRPC 之间切换动作识别 DS-Triton 测试的更多详细信息。