Audio2Face-3D NIM 文档

概述

NVIDIA Audio2Face-3D NIM (A2F-3D NIM) 提供基于音频和情感输入的先进生成式 AI 头像动画解决方案。它是 NVIDIA ACE 的核心组件，能够创建智能的、情感丰富的数字人。

凭借对实时语音到面部动画和情感驱动表情的支持，A2F-3D NIM 为游戏、虚拟助手、教育等领域的交互式、栩栩如生的数字人提供动力。

功能特性

使用 Audio2Face-3D NIM，您可以：

• 语音到面部动画：使用 ARKit blendshapes 将音频输入转换为栩栩如生的面部动画。

• 情感检测和控制：自动检测音频中的情感基调或直接指定情感。

• 多用户工作流：支持同步输入流，实现协作或大规模部署。

• 灵活集成：输出与渲染引擎兼容的 blendshape 拓扑，实现无缝的 3D 角色表演。

有关详细信息，请访问 Audio2Face-3D NIM 开发者文档 。

入门指南

• 设置指南：按照 入门指南 中的步骤进行本地部署的安装和配置。

• 支持矩阵：请参阅 Audio2Face-3D NIM 支持矩阵 ，获取关于优化硬件、模型和软件堆栈的详细兼容性信息。

• 演示：在部署之前体验 Audio2Face-3D NIM 实时演示，请访问 build.nvidia.com。