GStreamer 插件概述

DeepStream SDK 基于 GStreamer 框架。本节介绍 DeepStream GStreamer 插件以及 DeepStream 的输入、输出和控制参数。DeepStream SDK 在包含 NVIDIA^® Jetson™ 模块或 NVIDIA dGPU 适配器的系统上受支持 [1]。本手册适用于希望使用 DeepStream SDK 开发 DeepStream 应用程序或附加插件的工程师。它还包含有关 SDK 中使用的元数据的信息。开发人员也可以添加自定义元数据。本手册介绍了 SDK 中定义的使用 NVIDIA^® TensorRT™ 的 IPlugin 接口实现自定义推理层的方法。您可以参考 SDK 附带的示例，并在使用本手册熟悉 DeepStream 应用程序和插件开发时使用它们。

• DeepStream SDK 中的元数据
  • NvDsBatchMeta：基本元数据结构
  • NvDsBatchMeta 内的用户/自定义元数据添加
  • 在 Gst-nvstreammux 上游的 Gst 插件中添加自定义元数据
    • 在 Gst-nvstreammux 之前的插件中添加元数据
    • 新的元数据字段
• Gst-nvdspreprocess (Alpha)
  • 输入和输出
  • 特性
  • 自定义库接口
  • Gst-nvdspreprocess 文件配置规范
  • Gst 属性
  • 示例管道
• Gst-nvinfer
  • 输入和输出
  • 特性
  • Gst-nvinfer 文件配置规范
  • Gst 属性
  • nvinfer 支持的聚类算法
    • cluster-mode = 0 | GroupRectangles
    • cluster-mode = 1 | DBSCAN
    • cluster-mode = 2 | NMS
    • cluster-mode = 3 | Hybrid
    • cluster-mode=4 | No clustering
  • 张量元数据
    • 读取或解析输出层的推理原始张量数据
  • 分割元数据
• Gst-nvinferserver
  • 输入和输出
  • Gst-nvinferserver 配置文件规范
  • 特性
    • 底层 libnvds_infer_server.so 配置文件规范
  • Gst 属性
  • DeepStream Triton 示例
  • DeepStream Triton gRPC 支持
  • Triton 集成模型
  • 自定义处理接口 IInferCustomProcessor，用于额外输入、LSTM 循环、输出张量后处理
  • 下游插件的张量元数据输出
    • 读取或解析输出层的推理原始张量数据
  • 分割元数据
• Gst-nvtracker
  • 子批处理 (Alpha)
  • 输入和输出
  • Gst 属性
  • 用于底层跟踪器库的 NvDsTracker API
  • NvMultiObjectTracker：参考底层跟踪器库
  • 用于可组合多对象跟踪器的统一跟踪器架构
  • NvMultiObjectTracker 库中的工作流程和核心模块
    • 数据关联
    • 目标管理和错误处理
    • 状态估计
    • 对象重识别
    • 目标重关联
    • 边界框取消裁剪
    • 单视图 3D 跟踪 (Alpha)
    • 配置参数
  • 底层跟踪器比较和权衡
  • IOU 跟踪器
  • NvSORT 跟踪器
  • NvDeepSORT 跟踪器
    • 数据关联
    • 配置参数
    • 实现细节和参考
  • NvDCF 跟踪器
    • 视觉跟踪
    • 数据关联
    • 配置参数
  • 杂项数据输出
    • 终止的轨迹列表
    • 阴影跟踪目标数据
    • 过去帧目标数据
  • Re-ID 模型的设置和使用
    • 设置示例 Re-ID 模型
    • 自定义 Re-ID 模型
    • Re-ID 特征输出
  • 子批处理 (Alpha) 的设置和使用
    • 用例 1
    • 用例 2
  • 跟踪器示例管道的设置和可视化
    • 行人跟踪
    • 车辆跟踪
  • 跟踪器准确性调整
  • 如何实现自定义底层跟踪器库
• Gst-nvstreammux
  • 输入和输出
  • 特性
  • Gst 属性
  • 已知问题及其解决方案和常见问题解答
    • 1. 在传统和新的 streammux 之间切换时，gst-inspect 未正确更新
• Gst-nvstreammux New
  • 输入和输出
  • 特性
  • Gst 属性
  • Mux 配置属性
  • 针对特定用例的 NvStreamMux 调整解决方案
    • 目标
    • 重要的调整参数
    • 视频和音频多路复用用例
    • 故障排除
    • 通过 nvstreammux 和 nvstreamdemux 的元数据传播
    • 级联多路复用
  • 已知问题及其解决方案和常见问题解答
    • 观察到视频和/或音频卡顿（低帧率）
    • Sink 插件不应异步移动到 PAUSED 状态
    • 异构批处理
    • 自适应批处理
    • 优化 nvstreammux 配置以实现低延迟与计算
    • 音频的延迟测量 API 使用指南
    • 在传统和新的 streammux 之间切换时，gst-inspect 未正确更新
• Gst-nvstreamdemux
  • 输入和输出
    • 用例 1
    • 用例 2
    • 用例 3
• Gst-nvmultistreamtiler
  • 输入和输出
  • 特性
  • Gst 属性
• Gst-nvdsosd
  • 输入和输出
  • 特性
  • Gst 属性
• Gst-nvdsmetautils
  • Gst-nvdsmetainsert
  • 输入和输出
  • 特性
  • customlib_impl 接口
  • Gst 属性
  • 用例和示例管道
  • Gst-nvdsmetaextract
  • 输入和输出
  • 特性
  • customlib_impl 接口
  • Gst 属性
  • 用例和示例管道
• Gst-nvdsvideotemplate
  • 输入和输出
  • 特性
  • customlib_impl 接口
  • Gst 属性
  • 示例管道
• Gst-nvdsaudiotemplate
  • 输入和输出
  • 特性
  • customlib_impl 接口
  • Gst 属性
  • 示例管道
• Gst-nvvideoconvert
  • 输入和输出
  • 特性
  • Gst 属性
• Gst-nvdewarper
  • 输入和输出
  • 特性
  • 配置文件参数
  • Gst 属性
• Gst-nvof
  • 输入和输出
  • 特性
  • Gst 属性
• Gst-nvofvisual
  • 输入和输出
  • 特性
  • Gst 属性
• Gst-nvsegvisual
  • 输入和输出
  • 特性
  • Gst 属性
• Gst-nvvideo4linux2
  • 解码器
    • 输入和输出
    • 特性
    • Gst 属性
  • 编码器
    • 输入和输出
    • 特性
    • Gst 属性
• Gst-nvjpegdec
  • 输入和输出
  • 特性
  • Gst 属性
• Gst-nvimagedec
  • 输入和输出
  • 特性
  • Gst 属性
• Gst-nvjpegenc
  • 输入和输出
  • 特性
  • Gst 属性
• Gst-nvimageenc
  • 输入和输出
  • 特性
  • Gst 属性
• Gst-nvmsgconv
  • 输入和输出
  • 特性
  • Gst 属性
  • NvMsgConv 底层库 API
  • 模式自定义
  • 带有自定义对象的有效负载
• Gst-nvmsgbroker
  • 输入和输出
  • 特性
  • Gst 属性
  • nvds_msgapi：协议适配器接口
    • nvds_msgapi_connect()：创建连接
    • nvds_msgapi_send() 和 nvds_msgapi_send_async()：发送事件
    • nvds_msgapi_subscribe()：通过订阅主题来消费数据
    • nvds_msgapi_do_work()：适配器逻辑的增量执行
    • nvds_msgapi_disconnect()：终止连接
    • nvds_msgapi_getversion()：获取版本号
    • nvds_msgapi_get_protocol_name()：获取协议名称
    • nvds_msgapi_connection_signature()：获取连接签名
  • nvds_kafka_proto：Kafka 协议适配器
    • 安装依赖项
    • 使用适配器
    • 配置协议设置
    • 程序化集成
    • Kafka 的安全性
  • Azure MQTT 协议适配器库
    • 安装依赖项
    • 设置 Azure IoT
    • 配置适配器设置
    • 使用适配器
    • 监控适配器执行
    • 消息主题和路由
  • AMQP 协议适配器
    • 安装依赖项
    • AMQP 代理
    • 配置适配器设置
    • 使用适配器
    • 用户身份验证
    • 程序化集成
    • 监控适配器执行
  • REDIS 协议适配器
    • 安装依赖项
    • REDIS 服务器
    • 配置适配器设置
    • 用户身份验证
    • 使用适配器
    • 程序化集成
    • 监控适配器执行
  • MQTT 协议适配器
    • 安装依赖项
    • Eclipse Mosquitto
    • 配置适配器设置
    • 使用适配器
    • 程序化集成
    • 监控适配器执行
  • nv_msgbroker：消息代理接口
    • nv_msgbroker_connect()：创建连接
    • nv_msgbroker_send_async()：异步发送事件
    • nv_msgbroker_subscribe()：通过订阅主题来消费数据
    • nv_msgbroker_disconnect()：终止连接
    • nv_msgbroker_version()：获取版本号
    • 自动重连功能
    • 工作间隔配置
    • nvds_logger：日志记录框架
• Gst-nvdsanalytics
  • 输入和输出
  • 特性
  • Gst 属性
  • 配置文件参数
• Gst-nvdsudpsrc
  • 输入和输出
  • 特性
  • Gst 属性
  • 示例管道
• Gst-nvdsudpsink
  • 输入和输出
  • 特性
  • Gst 属性
  • 示例管道
• Gst-nvdspostprocess (Alpha)
  • 输入和输出
  • 特性
  • Gst-nvdspostprocess 文件配置规范
  • Gst 属性
  • 示例管道
• Gst-nvds3dfilter
  • 自定义库接口
  • 输入和输出
  • 配置文件
  • Gst-nvds3dfilter 属性规范
  • 支持的 DS3D 过滤器自定义库
  • 自定义 ds3d::datafilter 库：libnvds_3d_alignment_datafilter.so
    • 输入和输出
    • 配置文件
    • 配置选项
  • 自定义 ds3d::datafilter 库：libnvds_3d_depth2point_datafilter.so
• Gst-nvds3dbridge
  • Gst-nvds3dbridge 属性规范
  • 自定义库接口
  • 支持的 DS3D 数据桥
  • 自定义底层库：libnvds_3d_video_databridge.so
    • 输入和输出
    • 配置文件
    • 视频桥配置选项
• Gst-nvds3dmixer
  • Gst-nvds3dmixer 属性规范
  • 自定义库接口
  • 支持的 DS3D 数据混合器
  • 自定义底层库：libnvds_3d_multisensor_mixer.so
    • 输入和输出
    • 配置文件
    • 视频混合器配置选项
• Gst-NvDsUcx
  • 描述
  • 要求
  • 输入和输出
  • Gst 属性
  • 示例
• Gst-nvdsxfer
  • 输入和输出
  • Gst 属性
  • 如何测试
  • 用例
    • 单流 + 多 dGPU 设置
    • 多流 + 多 dGPU 设置
• Gst-nvvideotestsrc
  • 输出
  • Gst 属性
  • 如何测试
• Gst-nvmultiurisrcbin
  • 1. 简介
  • 2. 特性
  • 3. 如何在管道中使用 nvmultiurisrcbin
    • REST API 有效负载定义和示例 curl 命令以供参考
  • 4. Gst 属性
    • 直接配置 nvmultiurisrcbin 的 Gst 属性
    • 配置在此 bin 内创建的 nvurisrcbin 的每个实例的 Gst 属性
    • 配置在此 bin 内创建的 nvstreammux 实例的 Gst 属性
  • 5. 重要提示
    • 关于预期行为的 nvmultiurisrcbin 配置建议和说明
  • 6. 局限性
• Gst-nvurisrcbin
  • 1. 简介
  • 2. 如何在管道中使用 nvurisrcbin
  • 3. Gst 属性
    • 3.1 用于配置 nvurisrcbin 的 Gst 属性

脚注

[1]

本手册使用术语 dGPU（“独立 GPU”）来指代 NVIDIA GPU 扩展卡产品，例如 NVIDIA® Tesla® T4、NVIDIA® Ampere 和 NVIDIA® GeForce® RTX 2080。此版本的 DeepStream SDK 在 NVIDIA 驱动程序 535+ 和 NVIDIA® TensorRT™ 10.3.0.26 及更高版本支持的 x86_64 平台上特定的 dGPU 产品上运行。