MultimediaExtension#
GXF Core 中与多媒体相关的数据类型、接口和组件的扩展。
UUID:
6f2d1afc-1057-481a-9da6-a5f61fed178e版本:
2.6.0作者:
NVIDIA许可证:
LICENSE
组件#
nvidia::gxf::AudioBuffer#
AudioBuffer 类似于标准扩展中的 Tensor 组件，并保存与音频缓冲区对应的内存和元数据。
组件 ID:
a914cac6-5f19-449d-9ade-8c5cdcebe7c3
AudioBufferInfo 结构捕获以下元数据
字段 |
描述 |
|---|---|
channels |
音频帧中的声道数 |
samples |
音频帧中的采样数 |
sampling_rate |
采样率 (Hz) |
bytes_per_sample |
每个采样所需的字节数 |
audio_format |
音频帧的音频格式 |
audio_layout |
音频帧的音频布局 |
支持的 AudioFormat 类型
音频格式 |
描述 |
|---|---|
GXF_AUDIO_FORMAT_S16LE |
16 位有符号 PCM 音频 |
GXF_AUDIO_FORMAT_F32LE |
32 位浮点音频 |
支持的 AudioLayout 类型
音频布局 |
描述 |
|---|---|
GXF_AUDIO_LAYOUT_INTERLEAVED |
来自所有声道的数据交错 - LRLRLR |
GXF_AUDIO_LAYOUT_NON_INTERLEAVED |
来自所有声道的数据不交错 - LLLRRR |
nvidia::gxf::VideoBuffer#
VideoBuffer 类似于标准扩展中的 Tensor 组件，并保存与视频缓冲区对应的内存和元数据。
组件 ID:
16ad58c8-b463-422c-b097-61a9acc5050e
VideoBufferInfo 结构捕获以下元数据
字段 |
描述 |
|---|---|
width |
视频帧的宽度 |
height |
视频帧的高度 |
color_format |
视频帧的视频格式 |
color_planes |
与视频格式关联的颜色平面 |
surface_layout |
视频帧的表面布局 |
支持的 VideoFormat 类型
视频格式 |
描述 |
|---|---|
GXF_VIDEO_FORMAT_YUV420 |
BT.601 多平面 4:2:0 YUV |
GXF_VIDEO_FORMAT_YUV420_ER |
BT.601 多平面 4:2:0 YUV ER |
GXF_VIDEO_FORMAT_YUV420_709 |
BT.709 多平面 4:2:0 YUV |
GXF_VIDEO_FORMAT_YUV420_709_ER |
BT.709 多平面 4:2:0 YUV ER |
GXF_VIDEO_FORMAT_NV12 |
BT.601 多平面 4:2:0 YUV，带交错 UV |
GXF_VIDEO_FORMAT_NV12_ER |
BT.601 多平面 4:2:0 YUV ER，带交错 UV |
GXF_VIDEO_FORMAT_NV12_709 |
BT.709 多平面 4:2:0 YUV，带交错 UV |
GXF_VIDEO_FORMAT_NV12_709_ER |
BT.709 多平面 4:2:0 YUV ER，带交错 UV |
GXF_VIDEO_FORMAT_RGBA |
RGBA-8-8-8-8 单平面 |
GXF_VIDEO_FORMAT_BGRA |
BGRA-8-8-8-8 单平面 |
GXF_VIDEO_FORMAT_ARGB |
ARGB-8-8-8-8 单平面 |
GXF_VIDEO_FORMAT_ABGR |
ABGR-8-8-8-8 单平面 |
GXF_VIDEO_FORMAT_RGBX |
RGBX-8-8-8-8 单平面 |
GXF_VIDEO_FORMAT_BGRX |
BGRX-8-8-8-8 单平面 |
GXF_VIDEO_FORMAT_XRGB |
XRGB-8-8-8-8 单平面 |
GXF_VIDEO_FORMAT_XBGR |
XBGR-8-8-8-8 单平面 |
GXF_VIDEO_FORMAT_RGB |
RGB-8-8-8 单平面 |
GXF_VIDEO_FORMAT_BGR |
BGR-8-8-8 单平面 |
GXF_VIDEO_FORMAT_R8_G8_B8 |
RGB - 无符号 8 位多平面 |
GXF_VIDEO_FORMAT_B8_G8_R8 |
BGR - 无符号 8 位多平面 |
GXF_VIDEO_FORMAT_GRAY |
8 位灰度单平面 |
GXF_VIDEO_FORMAT_GRAY16 |
16 位灰度单平面 |
GXF_VIDEO_FORMAT_GRAY32 |
32 位灰度单平面 |
GXF_VIDEO_FORMAT_GRAY32F |
float 32 位灰度单平面 |
GXF_VIDEO_FORMAT_RGB16 |
RGB-16-16-16 单平面 |
GXF_VIDEO_FORMAT_BGR16 |
BGR-16-16-16 单平面 |
GXF_VIDEO_FORMAT_RGB32 |
RGB-32-32-32 单平面 |
GXF_VIDEO_FORMAT_BGR32 |
BGR-32-32-32 单平面 |
GXF_VIDEO_FORMAT_R16_G16_B16 |
RGB - 有符号 16 位多平面 |
GXF_VIDEO_FORMAT_B16_G16_R16 |
BGR - 有符号 16 位多平面 |
GXF_VIDEO_FORMAT_R32_G32_B32 |
RGB - 有符号 32 位多平面 |
GXF_VIDEO_FORMAT_B32_G32_R32 | BGR - 有符号 32 位多平面 |
|
GXF_VIDEO_FORMAT_NV24 | 多平面 4:4:4 YUV，带交错 UV |
|
GXF_VIDEO_FORMAT_NV24_ER |
多平面 4:4:4 YUV ER，带交错 UV |
GXF_VIDEO_FORMAT_R8_G8_B8_D8 |
RGBD 无符号 8 位多平面 |
GXF_VIDEO_FORMAT_R16_G16_B16_D16 |
RGBD 无符号 16 位多平面 |
GXF_VIDEO_FORMAT_R32_G32_B32_D32 |
RGBD 无符号 32 位多平面 |
GXF_VIDEO_FORMAT_RGBD8 |
RGBD 8 位无符号单平面 |
GXF_VIDEO_FORMAT_RGBD16 |
RGBD 16 位无符号单平面 |
GXF_VIDEO_FORMAT_RGBD32 |
RGBD 32 位无符号单平面 |
GXF_VIDEO_FORMAT_D32F |
深度 32 位浮点单平面 |
GXF_VIDEO_FORMAT_D64F |
深度 64 位浮点单平面 |
GXF_VIDEO_FORMAT_RAW16_RGGB |
RGGB-16-16-16-16 单平面 |
GXF_VIDEO_FORMAT_RAW16_BGGR |
BGGR-16-16-16-16 单平面 |
GXF_VIDEO_FORMAT_RAW16_GRBG |
GRBG-16-16-16-16 单平面 |
GXF_VIDEO_FORMAT_RAW16_GBRG |
GBRG-16-16-16-16 单平面 |
支持的 SurfaceLayout 类型
表面布局 |
描述 |
|---|---|
GXF_SURFACE_LAYOUT_PITCH_LINEAR |
pitch linear 表面内存 |
GXF_SURFACE_LAYOUT_BLOCK_LINEAR |
block linear 表面内存 |