时域噪声消除

概述

此算法用于减少视频序列中的空间和时域噪声。噪声水平可能因照明条件、相机传感器的灵敏度和质量等因素而显著变化。VPI 的时域噪声消除更适合处理热噪声和散粒噪声，它们分别服从高斯分布和泊松分布。

目前该算法有 3 个版本，它们在速度、可配置性和质量方面各有不同。并非所有版本都始终在给定的后端和平台组合中可用。

噪声降低因子可以通过两个参数进行自定义：场景照明条件和强度（介于 0 和 1 之间的值）。将场景设置为弱光场景会导致降噪强度增加，但可能会导致高纹理区域的细节丢失，甚至出现一些重影效应。使用明亮光线模式则相反：重影较少，更多细节得到保留，但噪声降低因子降低。

下面的示例展示了时域噪声消除的实际效果。将鼠标指针悬停在视频上，然后单击最大化按钮以查看更多详细信息。

含噪输入	参数	降噪输出
	场景： 户外中等光线 强度 1.0 版本 3

注意

视频输出需要支持 HTML5 且支持 mp4 视频解码的浏览器。

实现

根据所选算法版本，该算法采用不同的技术，例如用于处理空间噪声的双边滤波和/或与运动检测器关联的时域 IIR 滤波器。

算法版本

该算法有 3 个版本，每个版本在速度/可配置性/质量之间进行不同的权衡。

• VPI_TNR_V1 - 提供基本的噪声消除，在噪声水平不太高时效果良好。照明条件和噪声降低强度是固定的，无法配置，但总的来说，它提供了良好的速度。
• VPI_TNR_V2 - 提供改进的噪声消除，并且可以针对特定的照明条件进行配置。仍然提供良好的速度。
• VPI_TNR_V3 - 提供最佳的噪声消除质量和可配置性，但会牺牲一定的性能。

每个版本的可用性取决于后端和设备，请参阅 VPITNRVersion。要选择最佳可用版本，只需在指定算法版本时使用 VPI_TNR_DEFAULT。

场景照明条件

版本 2 和 3 允许用户指定场景的照明条件，这反过来控制特定场景的噪声降低强度。更高的强度将减少噪声，但有时会导致高纹理区域的细节丢失和一些重影，尤其是在快速移动的物体周围。如果输入噪声很高，由于光线不足和/或传感器灵敏度较高，这可能是一个合适的折衷方案。

对于每个 VPITNRPreset，用户可以定义一个强度因子，基本上是一个介于 0（最小噪声降低量）和 1（最大噪声降低量）之间的浮点数。在大多数情况下，0.5 是一个不错的默认选择。

C API 函数

有关实现该算法的限制、约束和后端的列表，请查阅以下函数的参考文档。

函数	描述
vpiInitTemporalNoiseReductionParams	使用默认值初始化 vpiSubmitTemporalNoiseReduction。
vpiCreateTemporalNoiseReduction	为 时域噪声消除 算法创建有效负载。
vpiSubmitTemporalNoiseReduction	将 时域噪声消除 操作提交到流。

用法

语言 C/C++ Python

1. 导入 VPI 模块

   import vpi

2. 初始化阶段
   1. 创建时域噪声消除对象，将其配置为处理 NV12_ER 输入。CUDA 后端将用于执行该算法。

      with vpi.Backend.CUDA
      tnr = vpi.TemporalNoiseReduction(size, vpi.Format.NV12_ER)

3. 处理阶段
   1. 从输入视频序列中获取新帧。此处假设它已经是 VPI 图像，格式为 NV12_ER。

      while inVideo.read(input)[0]

   2. 将其馈送到 TNR 对象。返回输入的降噪版本。

      denoised = tnr(input, preset=vpi.TNRPreset.INDOOR_MEDIUM_LIGHT, strength=1)

1. 初始化阶段
   1. 包含定义时域噪声消除算法的头文件

      #include <vpi/algo/TemporalNoiseReduction.h>

   2. 创建将存储从视频源获取的每个帧的图像。帧将直接以 NV12 格式获取。如果它们采用算法不支持的格式，则可以使用 Convert Image Format 来实现所需的转换。

          VPIImage input;
          vpiImageCreate(width, height, VPI_IMAGE_FORMAT_NV12_ER, 0, &input);

   3. 创建与输入具有相同尺寸和类型的输出和先前输出图像缓冲区。

          VPIImage prevOutput, output;
          vpiImageCreate(width, height, VPI_IMAGE_FORMAT_NV12_ER, 0, &prevOutput);
          vpiImageCreate(width, height, VPI_IMAGE_FORMAT_NV12_ER, 0, &output);

   4. 创建算法有效负载。它将处理具有中等照明条件的场景的视频序列，并具有最大强度（strength = 1）。

          VPIPayload tnr;
          vpiCreateTemporalNoiseReduction(VPI_BACKEND_CUDA, width, height, VPI_IMAGE_FORMAT_NV12_ER, VPI_TNR_DEFAULT, &tnr);

   5. 创建将在其中提交算法以供执行的流。

          VPIStream stream;
          vpiStreamCreate(0, &stream);

2. 处理阶段
   1. 从输入视频序列中获取新帧并将其写入 input。

          while (FetchFrame(vid, &input))
          {

   2. 将其提交到流中进行处理。如果是第一帧，则第二个参数 prevFrame 必须为 NULL，否则必须传递上一次迭代的输出。

              VPITNRParams params;
              vpiInitTemporalNoiseReductionParams(&params);
       
      params.preset = VPI_TNR_PRESET_OUTDOOR_MEDIUM_LIGHT;
      params.strength = 1.0f;
       
              if (isFirstFrame)
              {
                  vpiSubmitTemporalNoiseReduction(stream, VPI_BACKEND_CUDA, tnr, NULL, input, output, &params);
              }
              else
              {
                  vpiSubmitTemporalNoiseReduction(stream, VPI_BACKEND_CUDA, tnr, prevOutput, input, output, &params);
              }

   3. （可选）同步到流并使用/显示降噪帧。

              vpiStreamSync(stream);

   4. 交换 output 和 prevOutput。在下一次迭代中，output 将作为 prevOutput 输入，而当前的 prevOutput 缓冲区将接收下一个降噪帧。

              VPIImage tmp = output;
      output = prevOutput;
      prevOutput = tmp;
          }

3. 清理阶段
   1. 释放流、有效负载以及输入和输出图像所持有的资源。

          vpiStreamDestroy(stream);
          vpiPayloadDestroy(tnr);
          vpiImageDestroy(input);
          vpiImageDestroy(prevOutput);
          vpiImageDestroy(output);

有关完整示例，请参阅 Temporal Noise Reduction 示例应用程序。

有关更多信息，请参阅《VPI - 视觉编程接口》的“C API 参考”部分中的 Temporal Noise Reduction。

性能

有关如何使用下面的性能表的信息，请参阅 Algorithm Performance Tables。
在比较测量结果之前，请查阅 Comparing Algorithm Elapsed Times。
有关性能基准测试方式的更多信息，请参阅 Performance Benchmark。

清除过滤器 设备 Jetson AGX Orin  - 流 1 2 4 8