NVIDIA DeepStream SDK 开发者指南

DeepStream 入门

• 欢迎来到 DeepStream 文档
  • NVIDIA DeepStream 概述
• 迁移指南
  • 其他资源
• 安装
  • Jetson 设置
  • Ubuntu 的 dGPU 设置
  • Ubuntu 的 IGX/dGPU on ARM 设置 (Alpha)
  • Ubuntu 的 dGPU on ARM 设置 (Alpha)
  • RedHat Enterprise Linux (RHEL) 的 dGPU 设置
  • 平台和操作系统兼容性
• 快速入门指南
  • Jetson [不适用于 NVAIE 客户]
  • Ubuntu 的 dGPU
  • 如果显示器未连接到系统，如何可视化输出
  • DeepStream Triton 推理服务器使用指南
  • 使用 DLA 进行推理
• Docker 容器
  • 先决条件
  • dGPU 的 Docker 容器
  • Jetson 的 Docker 容器
  • ARM 上 dGPU 的 Docker 容器 (IGX/dGPU, GH100, GH200, SBSA)
  • 使用 DeepStreamSDK 包为 dGPU 或 Jetson 创建自定义 DeepStream Docker
  • 在 Jetson 上运行新 Docker 镜像所需的推荐最低 L4T 设置

DeepStream 示例

• C/C++ 示例应用程序源代码详情
  • 插件和库源代码详情
• Python 示例应用程序和绑定源代码详情
  • 示例应用程序源代码详情
  • Python 绑定和应用程序开发
  • 元数据访问
• DeepStream 参考应用程序 - deepstream-app
  • 应用程序架构
  • 参考应用程序配置
  • 配置组
  • DeepStream SDK 的应用程序调优
• DeepStream 参考应用程序 - deepstream-test5 app
  • 支持的 IoT 协议和云配置
  • 消息消费者
  • 智能录制 - 基于事件的录制
  • OTA 模型更新
  • 通过 REST API 的传感器配置支持 (运行时传感器添加/删除功能)
• DeepStream 参考应用程序 - deepstream-nmos app
  • 应用程序架构
  • 使用 Easy-NMOS 进行 NMOS 注册和控制
• GitHub 上的 DeepStream 参考应用程序
  • 用例应用程序
  • 带有 DeepStream 的 AI 模型
  • DeepStream 功能示例
• 示例配置和流
  • 软件包内容
• 使用 OpenCV 集成示例实现自定义 GStreamer 插件
  • 示例插件描述: gst-dsexample
  • 启用和配置示例插件
  • 在自定义应用程序/pipeline 中使用示例插件
  • 在示例插件中实现自定义逻辑
  • 为示例插件添加 NVTX API
  • 在 OpenCV 中访问 NvBufSurface 内存

TAO 工具包与 DeepStream 集成

• TAO 工具包与 DeepStream 集成
  • 预训练模型

教程和操作指南

• DeepStream-3D 自定义应用程序和库教程
  • DS3D 应用程序示例
  • DS3D 数据格式 ds3d/datamap
  • ds3d::dataloader - 加载用于数据捕获的自定义库
  • ds3d::databridge - 加载用于 DS3D 数据转换的自定义库。
  • ds3d::datafilter- DS3D 自定义 DataFilter
  • ds3d::datarender - 加载 DS3D 自定义 DataRender
  • 自定义库配置规范

DeepStream 性能

• 性能
  • TAO 预训练模型
  • DeepStream 参考模型和跟踪器
  • 性能测量配置文件设置
  • DeepStream 参考模型

DeepStream 准确性

• 准确性调优工具
  • 用于自动调优的 PipeTuner (开发者预览)
  • 用于手动调优的多对象跟踪参数功能

DeepStream 自定义模型

• 在 DeepStream 中使用自定义模型
  • 自定义模型实现接口
  • 自定义输出解析
  • IPlugin 实现
  • 输入层初始化
  • 自定义模型的 CUDA 引擎创建
  • 自定义模型解析的 IModelParser 接口

DeepStream 主要特性

• DeepStream-3D 传感器融合多模态应用和框架
  • 示例 1. 带有 6 摄像头 + 1 激光雷达数据融合 Pipeline 的 BEVFusion 多模态
  • 示例 2. V2XFusion 多模态批量 4 摄像头和 4 激光雷达推理 Pipeline
  • 快速开始
  • 从源代码构建应用程序
  • 此示例应用程序中使用的 DS3D 组件
  • DS3D 自定义组件配置规范
• DeepStream-3D 多模态 BEVFusion 设置
  • 先决条件
  • 入门
  • 在带有 dGPU 的 X86 上准备 DeepStream Triton BEVFusion 容器和模型
  • 用法
  • 物联网 (IoT) 消息传递
  • 从源代码构建
  • DS3D BEVFusion Pipeline 的 NuScenes 数据集设置
  • DS3D BEVFusion 的数据集生成
  • 如何使用其他 nuScenes 场景示例
  • 引用
• DeepStream-3D 多模态 V2XFusion 设置
  • 先决条件
  • 入门
  • 从源代码构建
• 智能视频录制
  • 智能视频录制模块 API
  • 智能视频录制配置
• 物联网 (IoT)
  • 安全边缘到云消息传递
  • 双向消息传递
  • 自动重连功能
• 动态模型更新
  • 假设
• DeepStream 中的 NTP 时间戳
• DeepStream 中的 AV 同步
  • RTMP/RTSP 输入流的测试设置
  • AVSync 参考 Pipeline
• 带 REST API 服务器的 DeepStream
  • 功能特性
  • nvds_rest_server
  • deepstream-server-app
  • 使用 deepstream-test5-app 的传感器配置
  • 如何添加自定义 REST API 支持
  • Schema 和端点
  • 限制
• DeepStream 3D 动作识别应用
  • 入门
  • DeepStream 3D 动作识别应用程序配置规范
  • 从源代码构建自定义序列预处理库和应用程序
• DeepStream 3D 深度相机应用
  • 先决条件
  • 深度颜色捕获到 2D 渲染 Pipeline 概述
  • 深度颜色捕获到 3D 点云处理和渲染
  • 入门
  • 运行 3D 深度捕获、点云过滤器和 3D 点渲染示例
  • DeepStream 3D 深度相机应用程序配置规范
• DeepStream 3D 激光雷达推理应用
  • 先决条件
  • 激光雷达点云到 3D 点云处理和渲染
  • 入门
• DeepStream 中的网络媒体开放规范 (NMOS)
  • 支持的规范
  • 先决条件
  • NvDsNmos API
  • 示例应用程序
• DeepStream 中的 Gst-nvdspostprocess
  • 检测器模型
  • 主要分类模型
  • Mask RCNN 模型
  • 自定义解析函数
• DeepStream 罐头方向应用
  • 入门
  • DeepStream 罐头方向应用程序配置规范
  • 从源代码构建应用程序

DeepStream 应用程序迁移

• 从 DeepStream 7.0 迁移应用程序到 DeepStream 7.1
  • 在 DeepStream 7.1 中运行 DeepStream 7.0 编译的应用程序
  • 在 DeepStream 7.1 中编译 DeepStream 7.0 应用程序
  • 将 DeepStream 7.0 Gst-nvtracker 迁移到 DeepStream 7.1

插件开发指南

DeepStream 插件指南

• GStreamer 插件概述
  • DeepStream SDK 中的元数据
    • NvDsBatchMeta：基本元数据结构
    • NvDsBatchMeta 内部的用户/自定义元数据添加
    • 从 Gst-nvstreammux 上游的 Gst 插件中添加自定义 Meta
      • 在 Gst-nvstreammux 之前向插件添加元数据
      • 新的元数据字段
  • Gst-nvdspreprocess (Alpha)
    • 输入和输出
    • 功能特性
    • 自定义库接口
    • Gst-nvdspreprocess 文件配置规范
    • Gst 属性
    • 示例 pipeline
  • Gst-nvinfer
    • 输入和输出
    • 功能特性
    • Gst-nvinfer 文件配置规范
    • Gst 属性
    • nvinfer 支持的聚类算法
      • cluster-mode = 0 | GroupRectangles
      • cluster-mode = 1 | DBSCAN
      • cluster-mode = 2 | NMS
      • cluster-mode = 3 | Hybrid
      • cluster-mode=4 | No clustering
    • 张量元数据
      • 读取或解析输出层的推理原始张量数据
    • 分割元数据
  • Gst-nvinferserver
    • 输入和输出
    • Gst-nvinferserver 配置文件规范
    • 功能特性
      • 低级别 libnvds_infer_server.so 配置文件规范
    • Gst 属性
    • DeepStream Triton 示例
    • DeepStream Triton gRPC 支持
    • Triton 集成模型
    • 用于额外输入、LSTM 循环、输出张量后处理的自定义进程接口 IInferCustomProcessor
    • 下游插件的张量元数据输出
      • 读取或解析输出层的推理原始张量数据
    • 分割元数据
  • Gst-nvtracker
    • 子批处理 (Alpha)
    • 输入和输出
    • Gst 属性
    • 用于低级别跟踪器库的 NvDsTracker API
    • NvMultiObjectTracker : 参考低级别跟踪器库
    • 用于可组合多对象跟踪器的统一跟踪器架构
    • NvMultiObjectTracker 库中的工作流程和核心模块
      • 数据关联
      • 目标管理和错误处理
      • 状态估计
      • 对象重识别
      • 目标重关联
      • 边界框去裁剪
      • 单视图 3D 跟踪 (Alpha)
      • 配置参数
    • 低级别跟踪器比较和权衡
    • IOU 跟踪器
    • NvSORT 跟踪器
    • NvDeepSORT 跟踪器
      • 数据关联
      • 配置参数
      • 实现细节和参考
    • NvDCF 跟踪器
      • 视觉跟踪
      • 数据关联
      • 配置参数
    • 杂项数据输出
      • 终止的跟踪列表
      • 影子跟踪目标数据
      • 过去帧目标数据
    • Re-ID 模型的设置和用法
      • 设置示例 Re-ID 模型
      • 自定义 Re-ID 模型
      • Re-ID 特征输出
    • 子批处理的设置和用法 (Alpha)
      • 用例 1
      • 用例 2
    • 跟踪器示例 Pipeline 的设置和可视化
      • 人员跟踪
      • 车辆跟踪
    • 跟踪器精度调优
    • 如何实现自定义低级别跟踪器库
  • Gst-nvstreammux
    • 输入和输出
    • 功能特性
    • Gst 属性
    • 已知问题与解决方案和常见问题解答
      • 1. 在传统和新的 streammux 之间切换时，gst-inspect 未正确更新
  • Gst-nvstreammux New
    • 输入和输出
    • 功能特性
    • Gst 属性
    • Mux 配置属性
    • 针对特定用例的 NvStreamMux 调优解决方案
      • 目标
      • 重要的调优参数
      • 视频和音频混合用例
      • 故障排除
      • 通过 nvstreammux 和 nvstreamdemux 的元数据传播
      • 级联混合
    • 已知问题与解决方案和常见问题解答
      • 观察到视频和/或音频卡顿 (低帧率)
      • Sink 插件不应异步移动到 PAUSED 状态
      • 异构批处理
      • 自适应批处理
      • 优化 nvstreammux 配置以实现低延迟与计算的平衡
      • 音频的延迟测量 API 用法指南
      • 在传统和新的 streammux 之间切换时，gst-inspect 未正确更新
  • Gst-nvstreamdemux
    • 输入和输出
      • 用例 1
      • 用例 2
      • 用例 3
  • Gst-nvmultistreamtiler
    • 输入和输出
    • 功能特性
    • Gst 属性
  • Gst-nvdsosd
    • 输入和输出
    • 功能特性
    • Gst 属性
  • Gst-nvdsmetautils
    • Gst-nvdsmetainsert
    • 输入和输出
    • 功能特性
    • customlib_impl 接口
    • Gst 属性
    • 用例和示例 Pipeline
    • Gst-nvdsmetaextract
    • 输入和输出
    • 功能特性
    • customlib_impl 接口
    • Gst 属性
    • 用例和示例 Pipeline
  • Gst-nvdsvideotemplate
    • 输入和输出
    • 功能特性
    • customlib_impl 接口
    • Gst 属性
    • 示例 pipeline
  • Gst-nvdsaudiotemplate
    • 输入和输出
    • 功能特性
    • customlib_impl 接口
    • Gst 属性
    • 示例 pipeline
  • Gst-nvvideoconvert
    • 输入和输出
    • 功能特性
    • Gst 属性
  • Gst-nvdewarper
    • 输入和输出
    • 功能特性
    • 配置文件参数
    • Gst 属性
  • Gst-nvof
    • 输入和输出
    • 功能特性
    • Gst 属性
  • Gst-nvofvisual
    • 输入和输出
    • 功能特性
    • Gst 属性
  • Gst-nvsegvisual
    • 输入和输出
    • 功能特性
    • Gst 属性
  • Gst-nvvideo4linux2
    • 解码器
      • 输入和输出
      • 功能特性
      • Gst 属性
    • 编码器
      • 输入和输出
      • 功能特性
      • Gst 属性
  • Gst-nvjpegdec
    • 输入和输出
    • 功能特性
    • Gst 属性
  • Gst-nvimagedec
    • 输入和输出
    • 功能特性
    • Gst 属性
  • Gst-nvjpegenc
    • 输入和输出
    • 功能特性
    • Gst 属性
  • Gst-nvimageenc
    • 输入和输出
    • 功能特性
    • Gst 属性
  • Gst-nvmsgconv
    • 输入和输出
    • 功能特性
    • Gst 属性
    • NvMsgConv 低级别库 API
    • Schema 自定义
    • 带有自定义对象的 Payload
  • Gst-nvmsgbroker
    • 输入和输出
    • 功能特性
    • Gst 属性
    • nvds_msgapi：协议适配器接口
      • nvds_msgapi_connect()：创建连接
      • nvds_msgapi_send() 和 nvds_msgapi_send_async()：发送事件
      • nvds_msgapi_subscribe()：通过订阅主题来消费数据
      • nvds_msgapi_do_work()：适配器逻辑的增量执行
      • nvds_msgapi_disconnect()：终止连接
      • nvds_msgapi_getversion()：获取版本号
      • nvds_msgapi_get_protocol_name()：获取协议名称
      • nvds_msgapi_connection_signature()：获取连接签名
    • nvds_kafka_proto：Kafka 协议适配器
      • 安装依赖项
      • 使用适配器
      • 配置协议设置
      • 程序化集成
      • Kafka 的安全性
    • Azure MQTT 协议适配器库
      • 安装依赖项
      • 设置 Azure IoT
      • 配置适配器设置
      • 使用适配器
      • 监控适配器执行
      • 消息主题和路由
    • AMQP 协议适配器
      • 安装依赖项
      • AMQP 代理
      • 配置适配器设置
      • 使用适配器
      • 用户身份验证
      • 程序化集成
      • 监控适配器执行
    • REDIS 协议适配器
      • 安装依赖项
      • REDIS 服务器
      • 配置适配器设置
      • 用户身份验证
      • 使用适配器
      • 程序化集成
      • 监控适配器执行
    • MQTT 协议适配器
      • 安装依赖项
      • Eclipse Mosquitto
      • 配置适配器设置
      • 使用适配器
      • 程序化集成
      • 监控适配器执行
    • nv_msgbroker：消息代理接口
      • nv_msgbroker_connect()：创建连接
      • nv_msgbroker_send_async()：异步发送事件
      • nv_msgbroker_subscribe()：通过订阅主题来消费数据
      • nv_msgbroker_disconnect()：终止连接
      • nv_msgbroker_version()：获取版本号
      • 自动重连功能
      • Work-interval 配置
      • nvds_logger：日志框架
  • Gst-nvdsanalytics
    • 输入和输出
    • 功能特性
    • Gst 属性
    • 配置文件参数
  • Gst-nvdsudpsrc
    • 输入和输出
    • 功能特性
    • Gst 属性
    • 示例 pipeline
  • Gst-nvdsudpsink
    • 输入和输出
    • 功能特性
    • Gst 属性
    • 示例 pipeline
  • Gst-nvdspostprocess (Alpha)
    • 输入和输出
    • 功能特性
    • Gst-nvdspostprocess 文件配置规范
    • Gst 属性
    • 示例 pipeline
  • Gst-nvds3dfilter
    • 自定义库接口
    • 输入和输出
    • 配置文件
    • Gst-nvds3dfilter 属性规范
    • 支持的 DS3D 过滤器自定义库
    • 自定义 ds3d::datafilter 库: libnvds_3d_alignment_datafilter.so
      • 输入和输出
      • 配置文件
      • 配置选项
    • 自定义 ds3d::datafilter 库: libnvds_3d_depth2point_datafilter.so
  • Gst-nvds3dbridge
    • Gst-nvds3dbridge 属性规范
    • 自定义库接口
    • 支持的 DS3D 数据桥
    • 自定义低级别库: libnvds_3d_video_databridge.so
      • 输入和输出
      • 配置文件
      • 视频桥配置选项
  • Gst-nvds3dmixer
    • Gst-nvds3dmixer 属性规范
    • 自定义库接口
    • 支持的 DS3D 数据混合器
    • 自定义低级别库: libnvds_3d_multisensor_mixer.so
      • 输入和输出
      • 配置文件
      • 视频混合器配置选项
  • Gst-NvDsUcx
    • 描述
    • 要求
    • 输入和输出
    • Gst 属性
    • 示例
  • Gst-nvdsxfer
    • 输入和输出
    • Gst 属性
    • 如何测试
    • 用例
      • 单流 + 多 dGPU 设置
      • 多流 + 多 dGPU 设置
  • Gst-nvvideotestsrc
    • 输出
    • Gst 属性
    • 如何测试
  • Gst-nvmultiurisrcbin
    • 1. 简介
    • 2. 功能特性
    • 3. 如何在 pipeline 中使用 nvmultiurisrcbin
      • REST API payload 定义和示例 curl 命令供参考
    • 4. Gst 属性
      • 直接配置 nvmultiurisrcbin 的 Gst 属性
      • 配置在此 bin 内创建的每个 nvurisrcbin 实例的 Gst 属性
      • 配置在此 bin 内创建的 nvstreammux 实例的 Gst 属性
    • 5. 重要提示
      • nvmultiurisrcbin 配置建议和关于预期行为的说明
    • 6. 限制
  • Gst-nvurisrcbin
    • 1. 简介
    • 2. 如何在 pipeline 中使用 nvurisrcbin
    • 3. Gst 属性
      • 3.1 配置 nvurisrcbin 的 Gst 属性

故障排除和 FAQ 指南

DeepStream 故障排除和常见问题解答

• 故障排除
  • 您正在从 DeepStream 6.0 迁移到 DeepStream 7.1
  • 推理
  • 性能
  • Triton
  • 跟踪器设置和参数调优中的故障排除
  • Graph Composer 故障排除
  • 杂项
• 常见问题解答
  • DeepStream 常规主题
  • 智能录制
  • Triton

WSL2 上的 Deepstream 设置

WSL2 上的 DeepStream

• WSL 上的 DeepStream
  • 先决条件
  • 为 WSL 安装 Ubuntu 操作系统
  • 在 Ubuntu 内部安装 Docker Engine 和依赖项
  • 运行 Deepstream 容器
• 关于 WSL 上 Deepstream 的常见问题解答
  • 1. 我们是否需要在 WSL 的 Ubuntu 镜像内部安装 NVIDIA 驱动程序？
  • 2. 安装驱动程序时，您应该选择“清洁安装”吗？
  • 3. 启动 Docker 时，我遇到错误：“docker: Error response from daemon: could not select device driver “” with capabilities: [[gpu]]. 我该怎么办？
  • 4. 启动 Docker 时，我收到错误“GPU access blocked by operating system”。我该怎么办？
  • 5. 在为 WSL2 安装 Ubuntu 镜像时，我收到错误：“The service cannot be started, either because it is disabled or because it has no enabled devices associated with it”。我该怎么办？
  • 6. 首次运行 deepstream-app 时，我收到一个错误：“GLib (gthread-posix.c): Unexpected error from C library during ‘pthread_setspecific’: Invalid argument. Aborting.”。我该怎么办？
  • 7. 在运行 gstreamer 或 deepstream 视频 pipeline 时，屏幕上没有视频。但是 pipeline 似乎在终端中运行，没有任何错误。原因是什么？
  • 8. 首次在启动 Docker 后运行 deepstream-app 时，出现警告打印。例如：“deepstream-app –version”显示以下警告。这是问题吗？

DeepStream API 参考文档

DeepStream API 指南

• DeepStream API 指南

Nvidia Deepstream Service Maker

DeepStream Service Maker

• 什么是 Deepstream Service Maker
  • 概述
  • 主要特性
• 面向 C/C++ 开发人员的 Service Maker
  • Service Maker C++ API 入门
  • 应用程序开发者基础知识
  • 示例应用程序
  • 将传统 Deepstream 应用程序迁移到 Service Maker
• 面向 Python 开发人员的 Service Maker (alpha)
  • Python Service Maker 安装
• 什么是 Deepstream Service Maker 插件
• Factory 和 Plugin 入门
• 将属性合并到插件中
• 示例插件
  • 消息元数据生成器
  • KITTI Dump 插件
  • 帧率测量插件
  • 延迟测量插件
  • 示例视频 Probe 插件
  • 示例信号处理程序插件
  • 示例视频 Feeder 插件
  • 示例视频接收器插件
  • 智能录制动作插件
  • 智能录制信号插件
• 插件搜索路径

Deepstream 库

Deepstream 库

• DeepStream 库 (开发者预览)
• DeepStream 库安装
• DeepStream 库仓库设置
• DeepStream 库 API 入门
• 示例应用程序
• 其他参考资料和应用程序

使用 Graph Composer 进行应用程序开发

Graph Composer

• 概述
  • 概念
    • GXF (Graph eXecution Format)
    • 图 (Graph)
    • 节点 (Node)
    • 组件 (Component)
    • Codelets
    • 子图 (Subgraph)
    • 系统 (System)
    • 边/连接 (Edges / Connection)
    • 消息 (Messages)
    • 扩展 (Extension)
    • Graph eXecution Engine (GXE)
  • 工具
    • Graph Composer
    • 注册表
    • 容器构建器
    • GXF 服务器 (Server)
    • GXF CLI
  • 工作流程 (Workflow)

平台

• 支持的平台
  • Ubuntu 22.04 LTS (x86_64)
  • Ubuntu 22.04 LTS (ARM64 Jetson)
  • Windows 10 (x86_64)
  • WSL Ubuntu 22.04 LTS (x86_64)

入门

• 应用程序开发工作流程
  • Python 应用程序开发
    • Python API 设置
    • ComputeEntity
    • PyComputeEntity
    • 与其他框架的张量零拷贝
      • 从其他框架到 GXF
      • 从 GXF 到其他框架
      • 示例应用程序
    • UCX 传输/接收
      • 带有 UCX Tx 的图
      • 带有 UCX Rx 的图
      • UCXSource、UCXSink 和上下文实现以供参考
  • C++ 应用程序开发
    • Graph Entity
    • Segment
      • 连接图实体
    • 应用程序 (Application)
      • 运行时 Codelet 注册
    • 分布式应用程序
      • createSegment()
      • connect()
  • Graph Composer
    • 启动 Graph Composer
    • 同步扩展
    • 创建图
    • 从 Graph Composer 运行图
      • 本地系统
      • 远程系统
    • 从命令行运行图
    • 从 Graph Composer 创建容器镜像
      • 本地系统
      • 远程系统 (Windows)
    • DeepStream 应用程序

• 创建 AI 应用程序
  • 启动 Composer
  • 拖放组件
  • 配置组件
  • 连接组件
  • 添加 GStreamer 调度器
  • 统计人数
  • 保存图
  • 使用多个输入
  • 运行时添加/删除输入

• 参考图
  • 安装参考图
  • deepstream-test1
  • deepstream-test2
  • deepstream-test3
  • deepstream-test4
  • deepstream-test5
  • deepstream-runtime-src-add-del
  • deepstream-template-plugin
  • deepstream-app
  • deepstream-triton
  • deepstream-camera
  • deepstream-action-recognition
  • deepstream-subgraph
  • deepstream-3d-camera
  • deepstream-ucx-test1
  • deepstream-ucx-test2

• 扩展开发工作流程
  • 同步扩展
  • 开发新扩展
  • 创建和测试图

• 为 DeepStream 开发扩展
  • 扩展和组件工厂注册样板
  • 一个简单的 DeepStream 组件
  • INvDsInPlaceDataHandler 的实现
  • 控制属性
  • 触发动作
  • 处理信号回调
  • Configuration Provider 组件的实现

• DeepStream 组件
  • 接口
  • 数据组件
  • 基本组件
  • 连接
  • Probes

GXF 内部

• GXF 内部
  • Codelet 的生命周期
  • GXF 调度器
    • 贪婪调度器
      • 贪婪调度器配置
    • 多线程调度器
      • 多线程调度器配置
    • 基于事件的调度器
      • 消息传递和事件
      • 基于事件的调度器配置
    • Epoch 调度器
  • SchedulingTerms
    • PeriodicSchedulingTerm
    • CountSchedulingTerm
    • MessageAvailableSchedulingTerm
    • MultiMessageAvailableSchedulingTerm
    • BooleanSchedulingTerm
    • AsynchronousSchedulingTerm
    • DownstreamReceptiveSchedulingTerm
    • TargetTimeSchedulingTerm
    • ExpiringMessageAvailableSchedulingTerm
    • MessageAvailableFrequencyThrottler
    • MemoryAvailableSchedulingTerm
    • BTSchedulingTerm
  • 组合 SchedulingTerms
    • 基于 Cuda 的调度项
      • Cuda Stream SchedulingTerm
      • Cuda Event SchedulingTerm
  • 连接拓扑
  • 消息 (Messages)
    • Transmitter
    • Receiver
    • Transmitter 示例
    • Receiver 示例
  • 内存管理
  • Cuda Stream Order Allocator
  • RMM: RAPIDS 内存管理器
  • 分布式执行
    • GraphWorker
    • GraphDriver
  • 日志记录
    • GXF_LOG_VERBOSE()
    • GXF_LOG_DEBUG()
    • GXF_LOG_INFO()
    • GXF_LOG_WARNING()
    • GXF_LOG_ERROR()
  • 组件工厂
    • GXF_EXT_FACTORY_BEGIN()
    • GXF_EXT_FACTORY_SET_INFO()
    • GXF_EXT_FACTORY_SET_DISPLAY_INFO()
    • GXF_EXT_FACTORY_END()
    • GXF_EXT_FACTORY_ADD()
    • GXF_EXT_FACTORY_ADD_VERBOSE()
    • GXF_EXT_FACTORY_ADD_LITE()
    • GXF_EXT_FACTORY_ADD_0()
    • GXF_EXT_FACTORY_ADD_0_VERBOSE()
    • GXF_EXT_FACTORY_ADD_0_LITE()

Graph eXecution Engine

• Graph Execution Engine
  • 1. 如何使用命令行选项覆盖在图文件中指定的参数？

Graph Composer 容器

• Graph Composer 和 GXF 容器
  • 先决条件

GXF 组件接口

• GXF 组件接口
  • Codelet
    • Codelet
      • ~Codelet()
      • start()
      • tick()
      • stop()
      • getExecutionTimestamp()
      • getExecutionTime()
      • getDeltaTime()
      • getExecutionCount()
      • isFirstTick()
      • beforeStart()
      • beforeTick()
      • beforeStop()
  • Allocator
    • MemoryStorageType
      • kHost
      • kDevice
      • kSystem
    • AllocatorStage
      • kUninitialized
      • kInitializationInProgress
      • kInitialized
      • kDeinitializationInProgress
    • Allocator
      • ~Allocator()
      • is_available_abi()
      • allocate_abi()
      • free_abi()
      • block_size_abi()
      • allocate()
      • free()
      • allocator_stage_str()
  • CudaAllocator
    • CudaAllocator
      • ~CudaAllocator()
      • allocate()
      • free()
      • allocate_async_abi()
      • free_async_abi()
      • get_pool_size()
  • Receiver
    • Receiver
      • receive_abi()
      • back_size_abi()
      • peek_back_abi()
      • sync_abi()
      • sync_io_abi()
      • wait_abi()
      • receive()
      • back_size()
      • sync()
      • sync_io()
      • wait()
      • peekBack()
      • setTransmitter()
  • Transmitter
    • Transmitter
      • publish_abi()
      • back_size_abi()
      • sync_abi()
      • sync_io_abi()
      • pop_io_abi()
      • publish()
      • publish()
      • back_size()
      • sync()
      • sync_io()
      • pop_io()
      • pop()
  • 系统 (System)
    • 系统 (System)
      • schedule_abi()
      • unschedule_abi()
      • runAsync_abi()
      • stop_abi()
      • wait_abi()
      • event_notify_abi()
      • schedule()
      • unschedule()
      • runAsync()
      • stop()
      • wait()
      • event_notify()
  • Scheduler
    • Scheduler
      • prepare_abi()
  • SchedulingTerm
    • SchedulingTerm
      • ~SchedulingTerm()
      • check_abi()
      • onExecute_abi()
      • update_state_abi()
      • check()
      • onExecute()
  • Router
    • Router
      • addRoutes()
      • removeRoutes()
      • syncInbox()
      • wait()
      • syncOutbox()
      • setClock()
      • addNetworkContext()
  • Clock
    • Clock
      • time()
      • timestamp()
      • sleepFor()
      • sleepUntil()
  • Benchmark
    • BenchmarkController
      • BenchmarkController
    • BenchmarkPublisher
      • BenchmarkPublisher
        • getEntityBuffer()
        • getPublishedTimestamps()
        • getAsyncSchedulingterm()
        • setNumOfMessagesToPublish()
        • clearRecordedTimestamps()
    • BenchmarkSink
      • BenchmarkSink
        • begin()
        • end()
        • reset()
        • compute()
        • conclude()
        • getReceivedTimestamps()
        • getPerformanceCalculators()
        • clearRecordedTimestamps()

GXF 应用程序 API

• GXF App C++ API
  • Arg
    • ArgInfo
    • ArgOverride
    • Arg
  • Arg Parse
    • parseArgsOfType()
    • applyArg()
    • findArg()
  • 应用程序 (Application)
    • 应用程序 (Application)
  • Segment
    • PortPair
    • SegmentPort
    • SegmentPortPair
    • SchedulerType
    • Segment
  • Graph Entity
    • GraphEntity
• GXF App Python API
  • 节点 (Node)
    • 节点 (Node)
  • 图 (Graph)
    • 图 (Graph)
  • Entity
    • Entity
  • Component
    • Component
  • EntityGroup
    • EntityGroup
  • ComputeEntity
    • ComputeEntity
  • PyComputeEntity
    • PyComputeEntity
  • standard_methods
    • connect()
    • enable_job_statistics()
    • set_scheduler()
    • set_clock()
    • _generate_name()
    • Tensor

GXF 运行时 API

• GXF Core C++ API
  • Expected
    • Expected
  • Component
    • Component
  • Entity
    • Entity
  • Handle
    • UntypedHandle Class
    • Handle Class
  • Parameters
    • Parameter
    • Parameter Types
    • Parameter Registration
• GXF Core C API
  • Context
    • Create context
    • Create a context from a shared context
    • Get a shared context from a context
    • Destroy context
  • 扩展
    • GxfLoadExtensionsInfo
    • Load Extension libraries
    • Load Extension from a pointer
    • Load Metadata files
    • Register component
    • Register a component during runtime
  • Graph Execution
    • Loads a list of entities from YAML file
    • Set the root folder for searching YAML files during loading
    • Loads a list of entities from YAML text
    • Activate all system components
    • Deactivate all System components
    • Starts the execution of the graph asynchronously
    • Interrupt the execution of the graph
    • Waits for the graph to complete execution
    • Runs all System components and waits for their completion
  • Entities
    • Create an entity
    • Activate an entity
    • Deactivate an entity
    • Destroy an entity
    • Find an entity
    • Find all entities
    • Increase reference count of an entity
    • Decrease reference count of an entity
    • Get the reference count of an entity
    • Get status of an entity
    • 获取实体的名称
    • 获取实体的状态
    • 通知实体事件
    • 通知实体事件，包括事件类型
    • 检查实体是否有效
  • 组件 (Component)
    • 获取组件类型标识符
    • 获取组件类型名称
    • 从组件UID获取组件类型名称
    • 获取组件名称
    • 获取给定组件的实体的唯一标识符
    • 获取指向实体项的指针
    • 添加新组件
    • 向实体添加新组件并返回指向该组件的指针
    • 移除组件
    • 将组件添加到实体接口
    • 在实体中查找组件
    • 在实体中查找组件并返回指向组件的指针
    • 在实体中查找所有组件
    • 获取组件的类型标识符
    • 获取指向组件的指针
    • 检查组件是否派生自另一个组件
  • Parameter
    • 64位浮点数
    • 64位有符号整数
    • 64位无符号整数
    • 32位有符号整数
    • 32位无符号整数
    • 16位无符号整数
    • 16位有符号整数
    • 8位无符号整数
    • 8位有符号整数
    • 字符串参数
    • 布尔值
    • Handle
  • 向量参数
    • 设置一维向量参数
    • 设置二维向量参数
    • 获取一维向量参数
    • 获取二维向量参数
  • YAML参数
    • 从YAML设置参数
  • 文件参数
    • 设置文件路径参数
  • EntityGroup
    • 默认实体组名称
    • 创建实体组
    • 更新实体的实体组
    • 从实体组中查找所有资源
    • 查找实体所属的实体组gid
    • 获取实体组的名称
    • 从实体组获取资源组件ID
  • 信息查询
    • 获取关于GXF运行时的元数据
    • 获取已加载扩展中的组件的描述和列表
    • 获取组件的描述和参数列表
    • 获取参数类型描述
    • 获取标志类型描述
    • 获取参数描述
    • 将日志重定向到文件
  • 杂项
    • 获取错误的字符串描述
    • 检查结果是否成功
    • 设置日志严重性
    • 获取日志严重性
• GXF Core Python API
  • Context
    • 上下文创建
    • 上下文销毁
  • 扩展
    • 加载扩展
    • 获取扩展列表
    • 获取扩展信息
  • 图 (Graph)
    • 加载图文件
    • 设置根文件路径
    • 加载子图文件
    • 激活图
    • 运行图
    • 异步运行图
    • 中断图
    • 等待图
    • 保存图
    • 停用图
    • 设置GXF严重性
  • Entities
    • GXF实体创建信息
    • 创建实体
    • 激活实体
    • 停用实体
    • 销毁实体
    • 查找实体
    • 查找所有实体
    • 实体引用计数增加
    • 实体引用计数减少
    • 获取实体状态
    • 实体事件通知
    • 实体通知事件类型
    • 获取实体状态
  • EntityGroup
    • 创建实体组
    • 添加到实体组
  • 组件 (Component)
    • GXF线程ID类型
    • GXF唯一ID类型
    • 获取组件列表
    • 获取组件信息
    • 获取参数列表
    • 获取参数信息
    • 添加组件
    • 查找组件
    • 组件类型ID
    • 组件类型名称
    • 将组件添加到接口
  • 基本参数
    • 64位浮点数 (双精度)
    • 32位浮点数
    • 64位有符号整数
    • 64位无符号整数
    • 32位有符号整数
    • 设置字符串参数
    • 获取字符串参数
    • 设置句柄参数
    • 获取句柄参数
    • 设置布尔参数
    • 获取布尔参数
    • 设置路径参数
    • 从YAML节点设置参数
  • 向量参数
    • 设置一维向量参数
    • 设置二维向量参数
    • 获取一维向量参数
    • 获取二维向量参数

扩展手册

• 扩展
  • CudaExtension
    • 组件 (Component)
  • GXF 流同步
    • 信号器
    • 等待器
    • Gxf流扩展
    • 组件 (Component)
    • GXF流同步工作流程
    • 在等待器代码小组件中
    • 示例
  • StandardExtension
    • 接口
    • 组件 (Component)
    • Python绑定
  • Python Codelets
    • 总体概念
    • 实现Python代码小组件
  • NetworkExtension
    • 接口
    • 组件 (Component)
  • NvTritonExt
    • 组件 (Component)
  • SerializationExtension
    • 接口
    • 组件 (Component)
  • MultimediaExtension
    • 组件 (Component)
  • VideoEncoderExtension
    • 组件 (Component)
  • VideoDecoderExtension
    • 组件 (Component)
  • 行为树
    • 一般概念
    • 行为树代码小组件
  • UCX Extension
    • 描述
    • 要求
    • 组件 (Component)
    • 示例
  • HttpExtension
    • 接口
    • 组件 (Component)
  • GrpcExtension
    • 接口
    • 组件 (Component)
  • TensorRTExtension
    • 组件 (Component)
  • NvDs3dProcessingExt
    • 组件 (Component)
  • NvDsActionRecognitionExt
    • 组件 (Component)
  • NvDsAnalyticsExt
    • 组件 (Component)
  • NvDsBaseExt
    • 接口
    • 组件 (Component)
  • NvDsCloudMsgExt
    • 组件 (Component)
  • NvDsConverterExt
    • 组件 (Component)
  • NvDsDewarperExt
    • 组件 (Component)
  • NvDsInferenceExt
    • 组件 (Component)
  • NvDsInferenceUtilsExt
    • 组件 (Component)
  • NvDsInterfaceExt
    • 接口
    • 组件 (Component)
  • NvDsMuxDemuxExt
    • 组件 (Component)
  • NvDsOpticalFlowExt
    • 组件 (Component)
  • NvDsOutputSinkExt
    • 组件 (Component)
  • NvDsSampleExt
    • 组件 (Component)
  • NvDsSampleModelsExt
    • 组件 (Component)
  • NvDsSourceExt
    • 组件 (Component)
  • NvDsTemplateExt
    • 组件 (Component)
  • NvDsTrackerExt
    • 组件 (Component)
  • NvDsTranscodeExt
    • 组件 (Component)
  • NvDsTritonExt
    • 组件 (Component)
  • NvDsUcxExt
    • 组件 (Component)
  • NvDsUdpExt
    • 组件 (Component)
  • NvDsVisualizationExt
    • 组件 (Component)

工具

• 注册表
  • 仓库管理器
    • NVIDIA云仓库
    • 本地工作区
  • 缓存
  • 扩展注册
  • 安装图以进行部署
• 注册表命令行界面
  • 缓存
  • 仓库
    • 仓库清理
    • 仓库列表
    • 仓库信息
    • 仓库同步
  • 扩展
    • 添加扩展
    • 扩展同步
    • 导入扩展
    • 扩展列表
    • 扩展信息
    • 扩展版本
    • 扩展变体
    • 扩展依赖
  • 组件
    • 组件列表
    • 组件信息
  • 图
    • 安装图
• Composer
  • 用户界面
    • 菜单栏
    • 上下文菜单
    • 工具栏
    • 组件列表
  • 创建新应用程序
  • 打开和保存应用程序图
  • 编写应用程序图
    • 查找合适的组件
    • 创建组件实例
    • 理解组件句柄
    • 链接和取消链接组件
    • 实体节点
    • 设置从输入到输出的连接
    • 更改组件属性
    • 编辑器功能
    • 子图 (Subgraph)
    • 背景
  • 扩展图
  • 运行图
    • 选项
  • 构建容器镜像
    • 选项
  • 生成Gstreamer扩展
    • 选项
  • 远程访问
    • 可用选项的比较
  • Omniverse流客户端
    • 安装和使用
    • 配置
    • 服务器
    • 客户端
  • WebRTC 流
    • 当前限制
  • 限制
  • 故障排除
• 容器构建器
  • 先决条件
  • 容器构建器功能
  • 容器构建器工具用法
  • 多架构构建
  • 运行容器构建器
  • 容器构建器配置
  • 容器构建器配置的基本示例
  • 多阶段示例
  • 容器构建器主控制部分规范
  • 容器dockerfile阶段部分规范
• GXF 命令行界面
  • 状态
  • 配置
  • 导出
• Pipetuner 指南
  • 介绍
  • 先决条件
    • 系统要求
  • NGC设置
    • 示例数据设置
    • DeepStream调优案例
    • MTMC调优案例
  • 快速开始
    • 启动调优过程
    • DS感知调优
    • 使用冻结感知的MTMC调优
    • MTMC端到端调优
    • 输出
  • 停止PipeTuner
  • 检索和可视化调优结果
  • 自定义调优
    • 理解PipeTuner配置路径
  • 自定义数据集
    • 创建视频文件
    • 创建真值标签
    • 使用新配置文件启动PipeTuner
  • 数据增强
    • 视频生成
    • 在DS感知调优中使用
    • 自定义模型
    • 自定义算法
    • 自定义参数
  • 更新日志
    • 版本 1.0

FAQ 指南

• FAQ
  • 概述
  • 注册表
  • 容器构建器
  • Composer
  • 扩展开发
  • GXF 服务器

DeepStream 法律信息

• DeepStream 终端用户许可协议

DeepStream 反馈

• 反馈表单
  • 请求文档修复