Holoscan 传感器桥介绍
Holoscan 传感器桥提供基于 FPGA 的接口，用于使用 GPU 进行低延迟传感器数据处理。外围设备数据由 Holoscan 传感器桥设备 FPGA 采集，并通过以太网上的 UDP 发送到主机系统。在像 IGX Devkit 这样的系统中，ConnectX SmartNIC 接口可以通过将 UDP 数据直接写入 GPU 内存来大大降低延迟。Holoscan 传感器桥主机软件支持将接收到的传感器数据集成到 Holoscan 管道中；提供的示例展示了基于 Sony IMX274 相机的视频处理和推理。此配置可以连接到 IGX 或 Jetson AGX Orin 边缘计算系统。此外
Holoscan 传感器桥支持配备或不配备加速 RDMA 功能网卡的主机。对于未加速的配置，例如 Jetson AGX Orin Devkit，通过基于 Linux 套接字的以太网连接提供支持。
适当启用的主机系统可以支持高精度 PTP 时间戳；这些时间戳可用于记录数据接收的时间、测量数据和管道延迟，以及同步传感器行为。IGX 和 Orin AGX 系统都在板载网络接口中具有硬件 PTP 支持。
Holoscan 应用程序通过组合运算符列表编写。将一个运算符的输出连接到另一个运算符的输入（通过 add_flow API）配置 Holoscan 的管道，并指定各个运算符何时可以运行。
Holoscan 传感器桥主机软件通过提供接收 Holoscan 传感器桥设备生成的网络数据的运算符，来利用 Holoscan 框架。例如，RoceReceiverOp 提供了一种从 Holoscan 传感器桥源接收 UDP 消息并将数据存储在 GPU 内存中的工具。当与摄像机源一起使用时，接收到的数据将显示为包含 CSI-2 bayer 图像数据的内存块。Holoscan 包括以下现成的运算符，用于
从拜耳视频构建 RGBA 图像
图像信号处理
推理
可视化，以及
数据完整性测试
这些工具都旨在促进视频数据的实时处理。有关更多详细信息，请参阅 IMX274 演示。
不同的应用程序对接收到的数据有不同的用途。例如，高速模拟信号（例如 5G 蜂窝天线）与摄像机有不同的要求。通常，应用程序代码使用传感器对象上的 API 来为该设备提供适当的配置和控制；传感器对象知道如何根据需要配置网络接收器运算符。如果应用程序或设备的需求未得到当前实现的满足，则 Holoscan 运算符以源代码形式提供：用户可以修改这些代码以满足他们的需求，并且如果需要，可以将这些修改发送回 NVIDIA，以便包含在未来版本的传感器桥主机软件中。
Holoscan 应用程序的工作方式是创建 HoloscanApplication 子类，覆盖其 configure 方法，并使用该方法为应用程序构建适当的管道。Holoscan 传感器桥应用程序管道通常专注于从传感器设备获取数据、对数据执行处理、生成适当的输出以及将输出数据传输到适当的目标。
用于配置和监控特定传感器的 API 在传感器对象上呈现。例如，Imx274Cam 是一个传感器对象，具有用于初始化时配置、运行时参数更新（例如曝光）和监控设备健康状况的方法。Holoscan 应用程序使用这些 API 来影响设备行为：例如，“自动曝光运算符”可以接收视频帧作为输入，并使用它来确定发送到相机的 set_exposure 方法的值。传感器对象是特定设备的用户模式驱动程序：它们提供对设备功能的访问，但不包括特定于应用程序的行为。
Holoscan 传感器桥软件可以在 NVIDIA Holoscan 支持的任何系统上运行。为了获得最佳性能，建议使用 IGX 系统和 ConnectX SmartNIC。在没有 ConnectX 网卡的系统中，例如 Jetson AGX Orin，性能受到主机操作系统网络堆栈的限制。