MultimediaExtension
GXF Core 中用于多媒体相关数据类型、接口和组件的扩展。
UUID:
6f2d1afc-1057-481a-9da6-a5f61fed178e版本:
2.0.0作者:
NVIDIA许可证:
LICENSE
nvidia::gxf::AudioBuffer
AudioBuffer 类似于标准扩展中的 Tensor 组件，包含对应于音频缓冲区的内存和元数据。
组件 ID:
a914cac6-5f19-449d-9ade-8c5cdcebe7c3
AudioBufferInfo 结构捕获以下元数据
字段 | 描述 |
|---|---|
| channels | 音频帧中的通道数 |
| samples | 音频帧中的采样数 |
| sampling_rate | 采样率 (Hz) |
| bytes_per_sample | 每个采样所需的字节数 |
| audio_format | 音频帧的 AudioFormat |
| audio_layout | 音频帧的 AudioLayout |
支持的 AudioFormat 类型
AudioFormat | 描述 |
|---|---|
| GXF_AUDIO_FORMAT_S16LE | 16 位有符号 PCM 音频 |
| GXF_AUDIO_FORMAT_F32LE | 32 位浮点音频 |
支持的 AudioLayout 类型
AudioLayout | 描述 |
|---|---|
| GXF_AUDIO_LAYOUT_INTERLEAVED | 来自所有通道的数据交错 - LRLRLR |
| GXF_AUDIO_LAYOUT_NON_INTERLEAVED | 来自所有通道的数据不交错 - LLLRRR |
nvidia::gxf::VideoBuffer
VideoBuffer 类似于标准扩展中的 Tensor 组件，包含对应于视频缓冲区的内存和元数据。
组件 ID:
16ad58c8-b463-422c-b097-61a9acc5050e
VideoBufferInfo 结构捕获以下元数据
字段 | 描述 |
|---|---|
| width | 视频帧的宽度 |
| height | 视频帧的高度 |
| color_format | 视频帧的 VideoFormat |
| color_planes | 与 VideoFormat 关联的 ColorPlane(s) |
| surface_layout | 视频帧的 SurfaceLayout |
支持的 VideoFormat 类型
VideoFormat | 描述 |
|---|---|
| GXF_VIDEO_FORMAT_YUV420 | BT.601 多平面 4:2:0 YUV |
| GXF_VIDEO_FORMAT_YUV420_ER | BT.601 多平面 4:2:0 YUV ER |
| GXF_VIDEO_FORMAT_YUV420_709 | BT.709 多平面 4:2:0 YUV |
| GXF_VIDEO_FORMAT_YUV420_709_ER | BT.709 多平面 4:2:0 YUV ER |
| GXF_VIDEO_FORMAT_NV12 | BT.601 多平面 4:2:0 YUV，带交错 UV |
| GXF_VIDEO_FORMAT_NV12_ER | BT.601 多平面 4:2:0 YUV ER，带交错 UV |
| GXF_VIDEO_FORMAT_NV12_709 | BT.709 多平面 4:2:0 YUV，带交错 UV |
| GXF_VIDEO_FORMAT_NV12_709_ER | BT.709 多平面 4:2:0 YUV ER，带交错 UV |
| GXF_VIDEO_FORMAT_RGBA | RGBA-8-8-8-8 单平面 |
| GXF_VIDEO_FORMAT_BGRA | BGRA-8-8-8-8 单平面 |
| GXF_VIDEO_FORMAT_ARGB | ARGB-8-8-8-8 单平面 |
| GXF_VIDEO_FORMAT_ABGR | ABGR-8-8-8-8 单平面 |
| GXF_VIDEO_FORMAT_RGBX | RGBX-8-8-8-8 单平面 |
| GXF_VIDEO_FORMAT_BGRX | BGRX-8-8-8-8 单平面 |
| GXF_VIDEO_FORMAT_XRGB | XRGB-8-8-8-8 单平面 |
| GXF_VIDEO_FORMAT_XBGR | XBGR-8-8-8-8 单平面 |
| GXF_VIDEO_FORMAT_RGB | RGB-8-8-8 单平面 |
| GXF_VIDEO_FORMAT_BGR | BGR-8-8-8 单平面 |
| GXF_VIDEO_FORMAT_R8_G8_B8 | RGB - 无符号 8 位多平面 |
| GXF_VIDEO_FORMAT_B8_G8_R8 | BGR - 无符号 8 位多平面 |
| GXF_VIDEO_FORMAT_GRAY | 8 位灰度单平面 |
支持的 SurfaceLayout 类型
SurfaceLayout | 描述 |
|---|---|
| GXF_SURFACE_LAYOUT_PITCH_LINEAR | pitch linear 表面内存 |
| GXF_SURFACE_LAYOUT_BLOCK_LINEAR | block linear 表面内存 |