动画管线#

The animation pipeline provides an end-to-end pipeline including facial animation, body animation, and rendering.

动画管线提供端到端管线，包括面部动画、身体动画和渲染。#

欢迎来到动画管线工作流程文档！这是理解和使用此基于云的头像动画流解决方案的端到端指南。动画管线由多个微服务组成，使用户能够实时控制互动头像动画，并通过网络流式传输头像视频。

它利用头像配置器创建自定义头像，Audio2Face-3D 制作面部表情和嘴唇动作动画，并提供一系列 API 来基于动画图技术控制身体运动和位置，从而提供沉浸式头像视觉效果。

主要特性

  • 头像自定义：通过自定义强调色和最适合您的用例的服装变体选择来创建自定义头像。

  • 实时流式传输：我们的实时动画管线适用于实时互动。与离线视频创作工具不同，我们的解决方案针对即时反应和响应能力进行了优化。

  • 语音驱动动画：通过分析语音音频输入，动画管线相应地为头像的面部表情和嘴唇制作动画。

  • 基于命令的自定义：用户可以向动画管线发送命令以触发各种动作，包括身体姿势、手势、面部表情和头像定位，从而实现广泛的自定义和互动性。

  • RTP 视频流输出：动画管线的输出以 RTP 视频流的形式交付，允许与各种平台和应用程序（例如 Web 浏览器或视频会议系统）无缝集成。

用例

  • 基于语音的系统增强：将动画管线与大型语言模型 (LLM) 或对话管理器集成，以将动画头像叠加到基于语音的系统上，从而通过视觉反馈丰富用户互动。

  • 互动视频流：使用户能够在视频流环境中通过语音命令和手势来操纵头像。

  • 虚拟会议增强：将动画管线与数字助理和视频会议系统结合使用，以引入动画头像作为会议中的额外参与者，从而增强沟通和协作。

本文档提供了在 Ubuntu 22.04 上的 Docker 或 Kubernetes 中设置和使用动画管线的综合指南。在本指南结束时，您将能够创建自定义头像，在场景中渲染头像并通过 RTP 流式传输生成的视频。您还将能够以编程方式发送语音音频和手势命令，以使头像说话和表演。

An animated screen capture of the animation pipeline. An avatar is rendered, and performs gestures controlled by API calls made in a terminal.

动画 GIF 图示了动画管线的渲染输出。头像执行由终端中发出的 API 调用控制的各种手势和面部表情。#

首先，请务必完成开发设置指南中的步骤，以确保您的系统满足运行 ACE 工作流程的要求。

接下来的步骤取决于您想要在什么环境中运行动画管线