动机#

多模态对话式 AI 正在被集成到越来越多的应用程序中。从简单的聊天机器人,到语音机器人,到完全交互式的头像和机器人。设计和开发与用户的灵活且强大的对话式交互是一项具有挑战性的任务。如果我们需要多模态交互,即通过多种模态(例如,文本、GUI、手势、情感等)获取输入,并不仅通过文本/语音,还通过 GUI、动画、音效、灯光等响应用户,则更具挑战性。

ACE 提供了选择和组合交互式头像应用程序所需组件的功能。UMIM 允许您使用任何与 UMIM 兼容的交互管理器,并将其与您的交互式系统无缝连接。UMIM 提供了 IM 和交互式系统之间的粘合剂。这将允许您添加、交换和删除 ACE 组件,而无需完全重写您的交互逻辑。

接下来,我们来看一下 UMIM 的总体架构模式