UMIM API 1.3.0

UMIM 的 AsyncAPI 版本旨在与通过异步事件总线通信的 Interaction Manager (IM) 组件一起使用。

操作

  • PUB umim_events_system

    特定于唯一设备流的 UMIM 事件流。

    stream_uid
    必需
    字符串
    uidstream_uid

    流的唯一标识符。

    接受以下消息之一

    • #0PipelineAcquiredPipelineAcquired

      已获取新的管道。管道将 IM 连接到最终用户设备 (stream_uid)。此事件在基于事件的实现中告知 IM 关于新管道的可用性。

      对象

      示例

    • #1PipelineReleasedPipelineReleased

      管道已释放且不再可用。管道将 IM 连接到最终用户设备 (stream_uid)。此事件在基于事件的实现中告知 IM 关于已释放的管道。

      对象

      示例

    • #2PipelineUpdatedPipelineUpdated

      有关现有管道的信息已更新。这意味着新的会话已开始,或者新的用户已被识别为同一管道的一部分。

      对象

      示例

  • PUB umim_events{stream_uid}

    特定于唯一设备流的 UMIM 事件流。

    stream_uid
    必需
    字符串
    uidstream_uid

    流的唯一标识符。

    接受以下消息之一

    • #0AttentionUserActionFinishedAttentionUserActionFinished

      系统检测到用户与交互系统脱离。

      对象

      示例

    • #1AttentionUserActionStartedAttentionUserActionStarted

      交互系统检测到用户一定程度的参与。

      对象

      示例

    • #2AttentionUserActionUpdatedAttentionUserActionUpdated

      交互系统提供参与度水平的更新。

      对象

      示例

    • #3CustomBotActionFinishedCustomBotActionFinished

      自定义操作已完成执行。

      对象

      示例

    • #4CustomBotActionStartedCustomBotActionStarted

      自定义用户操作的执行已开始。

      对象

      示例

    • #5CustomBotActionUpdatedCustomBotActionUpdated

      在自定义操作执行期间发生了一些事情(如果自定义操作支持)。

      对象

      示例

    • #6CustomUserActionFinishedCustomUserActionFinished

      操作已完成执行。操作完成可能是因为操作已完成或失败(自然完成),也可能是因为它被 IM 停止。执行的成功(或失败)使用 status_code 属性标记。

      对象

      示例

    • #7CustomUserActionStartedCustomUserActionStarted

      自定义用户操作的执行已开始。

      对象

      示例

    • #8CustomUserActionUpdatedCustomUserActionUpdated

      正在运行的操作提供(部分)结果。正在进行的操作可以提供有关操作当前状态的部分更新。ActionUpdated 应始终更新操作对象的有效负载并提供更新类型。

      对象

      示例

    • #9ExpectationBotActionFinishedExpectationBotActionFinished

      交互系统确认机器人期望已完成。

      对象

      示例

    • #10ExpectationBotActionStartedExpectationBotActionStarted

      交互系统向 IM 传达它可以处理对指定事件的期望。如果系统能够处理期望,则必须发送 ExpectationBotActionStarted 事件。接收 ActionStarted 事件并不能保证如何处理期望,但它为 IM 提供了一种了解系统是否甚至能够处理期望的方法。对于交互系统中任何 Action Server 都不支持的事件的期望,将不会发送 ExpectationBotActionStarted 事件。如果系统无法处理某些机器人期望,IM 可能会停止传达它们。

      对象

      示例

    • #11ExpectationSignalingBotActionFinishedExpectationSignalingBotActionFinished

      机器人已停止主动等待。请注意,此操作仅在显式请求时停止,通过调用发送 StopExpectationSignalingBotAction 。否则,该操作将无限期地继续。

      对象

      示例

    • #12ExpectationSignalingBotActionStartedExpectationSignalingBotActionStarted

      机器人已开始主动等待指定模式上的事件。

      对象

      示例

    • #13FacialGestureBotActionFinishedFacialGestureBotActionFinished

      面部手势已执行。

      对象

      示例

    • #14FacialGestureBotActionStartedFacialGestureBotActionStarted

      机器人已开始执行面部手势

      对象

      示例

    • #15FacialGestureUserActionFinishedFacialGestureUserActionFinished

      操作已完成执行。操作完成可能是因为操作已完成或失败(自然完成),也可能是因为它被 IM 停止。执行的成功(或失败)使用 status_code 属性标记。

      对象

      示例

    • #16FacialGestureUserActionStartedFacialGestureUserActionStarted

      操作的执行已开始。

      对象

      示例

    • #17GestureBotActionFinishedGestureBotActionFinished

      手势已执行。

      对象

      示例

    • #18GestureBotActionStartedGestureBotActionStarted

      机器人已开始执行手势。

      对象

      示例

    • #19GestureUserActionFinishedGestureUserActionFinished

      用户执行了手势。

      对象

      示例

    • #20GestureUserActionStartedGestureUserActionStarted

      交互系统检测到用户手势的开始。注意:系统检测到手势的时间可能与用户开始执行手势的时间不同。

      对象

      示例

    • #21MotionEffectCameraActionFinishedMotionEffectCameraActionFinished

      相机效果已完成。

      对象

      示例

    • #22MotionEffectCameraActionStartedMotionEffectCameraActionStarted

      相机效果已开始。

      对象

      示例

    • #23PipelineUpdatedPipelineUpdated

      有关现有管道的信息已更新。这意味着新的会话已开始,或者新的用户已被识别为同一管道的一部分。

      对象

      示例

    • #24PositionBotActionFinishedPositionBotActionFinished

      机器人已移回此操作之前的原始位置。这可能是中立位置,也可能是被此操作覆盖的任何 PositionBotAction 的位置,现在获得了“焦点”。

      对象

      示例

    • #25PositionBotActionStartedPositionBotActionStarted

      机器人已开始过渡到新位置

      对象

      示例

    • #26PositionBotActionUpdatedPositionBotActionUpdated

      机器人已到达该位置,并在整个操作持续时间内保持该位置。

      对象

      示例

    • #27PostureBotActionFinishedPostureBotActionFinished

      姿势已停止。

      对象

      示例

    • #28PostureBotActionStartedPostureBotActionStarted

      机器人已达到姿势。

      对象

      示例

    • #29PresenceUserActionFinishedPresenceUserActionFinished

      交互系统检测到用户的缺席

      对象

      示例

    • #30PresenceUserActionStartedPresenceUserActionStarted

      交互系统检测到系统中用户的存在。

      对象

      示例

    • #31RestApiCallBotActionFinishedRestApiCallBotActionFinished

      API 调用已完成

      对象

      示例

    • #32RestApiCallBotActionStartedRestApiCallBotActionStarted

      API 调用已开始

      对象

      示例

    • #33ShotCameraActionFinishedShotCameraActionFinished

      相机拍摄已停止。相机已返回到之前的拍摄(中立拍摄)或任何被覆盖的 ShotCameraAction 操作指定的拍摄。

      对象

      示例

    • #34ShotCameraActionStartedShotCameraActionStarted

      相机拍摄已开始

      对象

      示例

    • #35TimerBotActionFinishedTimerBotActionFinished

      定时器已完成。

      对象

      示例

    • #36TimerBotActionStartedTimerBotActionStarted

      定时器已启动。

      对象

      示例

    • #37UtteranceBotActionFinishedUtteranceBotActionFinished

      机器人话语已完成,可能是因为话语已传递给用户,或者操作已停止。

      对象

      示例

    • #38UtteranceBotActionScriptUpdatedUtteranceBotActionScriptUpdated

      在 UtteranceBotAction 期间提供更新的文本。这些事件对应于话语的某一部分传递给用户的时间。在支持语音输出的交互系统中,这些事件应与用户听到部分文本的时间对齐

      对象

      示例

    • #39UtteranceBotActionStartedUtteranceBotActionStarted

      机器人已开始产生话语。此事件应尽可能与用户接收话语的时刻对齐。例如,在交互式头像系统中,一旦文本到语音 (TTS) 流发送给用户,Action Server 就会发送该事件。

      对象

      示例

    • #40UtteranceUserActionFinishedUtteranceUserActionFinished

      用户话语已完成。

      对象

      示例

    • #41UtteranceUserActionIntensityUpdatedUtteranceUserActionIntensityUpdated

      如果交互系统支持,则提供更新的说话强度级别。

      对象

      示例

    • #42UtteranceUserActionStartedUtteranceUserActionStarted

      用户已开始产生话语。例如,用户可能已开始说话或打字。

      对象

      示例

    • #43UtteranceUserActionTranscriptUpdatedUtteranceUserActionTranscriptUpdated

      在 UtteranceUserAction 期间提供更新的文本

      对象

      示例

    • #44VisualChoiceSceneActionChoiceUpdatedVisualChoiceSceneActionChoiceUpdated

      每当用户直接与场景中呈现的选择进行交互,但未确认取消选择时,交互系统都会发出 ChoiceUpdated 事件。

      对象

      示例

    • #45VisualChoiceSceneActionConfirmationUpdatedVisualChoiceSceneActionConfirmationUpdated

      每当用户在与选择的视觉表示交互时确认或尝试中止选择时。示例包括:单击“确认”按钮,“单击关闭”

      对象

      示例

    • #46VisualChoiceSceneActionFinishedVisualChoiceSceneActionFinished

      选择操作已由 IM 停止。(没有用户操作会导致 Action Server 完成操作)。

      对象

      示例

    • #47VisualChoiceSceneActionStartedVisualChoiceSceneActionStarted

      系统已开始向用户呈现选择

      对象

      示例

    • #48VisualFormSceneActionConfirmationUpdatedVisualFormSceneActionConfirmationUpdated

      每当用户在与表单的视觉表示交互时确认或尝试中止表单输入时。示例包括:单击“确认”按钮,“单击关闭”

      对象

      示例

    • #49VisualFormSceneActionFinishedVisualFormSceneActionFinished

      表单操作已由 IM 停止(没有用户操作会导致 Action Server 完成操作)。

      对象

      示例

    • #50VisualFormSceneActionInputUpdatedVisualFormSceneActionInputUpdated

      每当用户直接与场景中呈现的表单输入进行交互,但尚未确认输入时,交互系统都会发出 Updated 操作。这允许 IM 对部分输入做出反应,例如,如果用户正在键入电子邮件地址,则机器人可以对部分输入做出反应(机器人可能会在用户在表单字段中键入“@”后说“现在只缺少域名”)。

      对象

      示例

    • #51VisualFormSceneActionStartedVisualFormSceneActionStarted

      系统已开始向用户呈现表单。

      对象

      示例

    • #52VisualInformationSceneActionConfirmationUpdatedVisualInformationSceneActionConfirmationUpdated

      每当用户确认或尝试中止屏幕中显示的视觉信息时。示例包括:单击“确认”按钮,“单击关闭”

      对象

      示例

    • #53VisualInformationSceneActionFinishedVisualInformationSceneActionFinished

      信息操作已由 IM 停止(没有用户操作会导致 Action Server 完成操作)。

      对象

      示例

    • #54VisualInformationSceneActionStartedVisualInformationSceneActionStarted

      系统已开始向用户呈现信息。

      对象

      示例

  • SUB umim_events{stream_uid}

    特定于唯一设备流的 UMIM 事件流。

    stream_uid
    必需
    字符串
    uidstream_uid

    流的唯一标识符。

    接受以下消息之一

    • #0BotIntentBotIntent

      机器人意图的结构化表示。如果 IM 传达机器人的当前意图,则应由 IM 生成此事件。机器人意图可能会导致意图的不同多模式表达。

      对象

      示例

    • #1ChangeCustomBotActionChangeCustomBotAction

      更改自定义操作的参数(如果自定义操作支持)

      对象

      示例

    • #2ChangeCustomUserActionChangeCustomUserAction

      需要更改正在运行的操作的参数。更新正在运行的操作对于长时间运行的操作(例如,头像动画)很有用,这些操作可以动态地调整其行为。例如,点头动画可以根据语音活动级别更改其速度。

      对象

      示例

    • #3ChangeTimerBotActionChangeTimerBotAction

      更改计时器的持续时间。如果持续时间减少,这可能会导致计时器立即停止(将发送 TimerBotActionFinished 事件)。

      对象

      示例

    • #4ChangeUtteranceBotActionChangeUtteranceBotAction

      在操作已开始后调整预期音量。

      对象

      示例

    • #5ContextUpdateContextUpdate

      上下文的更新。所有指定的键将覆盖当前上下文中的键。

      对象

      示例

    • #6CustomEventCustomEvent

      除标准化事件外,还可以使用的自定义事件。

      对象

      示例

    • #7PipelineAcquiredPipelineAcquired

      已获取新的管道。管道将 IM 连接到最终用户设备 (stream_uid)。此事件在基于事件的实现中告知 IM 关于新管道的可用性。

      对象

      示例

    • #8PipelineReleasedPipelineReleased

      管道已释放且不再可用。管道将 IM 连接到最终用户设备 (stream_uid)。此事件在基于事件的实现中告知 IM 关于已释放的管道。

      对象

      示例

    • #9StartCustomBotActionStartCustomBotAction

      启动操作的事件。所有其他可以启动的操作都从此基本规范继承。 action_uid 用于区分同一操作的多次运行。

      对象

      示例

    • #10StartExpectationBotActionStartExpectationBotAction

      机器人期望在不久的将来在 UMIM 事件总线上发生某个事件。此可选事件可以允许 Action Server 优化其功能。例如,负责处理相机帧的 AS 可以根据 IM 的期望启用/禁用某些视觉算法(例如,BotExpectation(event=PositionChangeUserActionStarted) 可以允许 AS 启动计算量更大的运动跟踪器以获得更好的分辨率/精度)。

      对象

      示例

    • #11StartExpectationSignalingBotActionStartExpectationSignalingBotAction

      机器人正在等待特定模式的事件。

      对象

      示例

    • #12StartFacialGestureBotActionStartFacialGestureBotAction

      机器人应开始做出面部表情。

      对象

      示例

    • #13StartGestureBotActionStartGestureBotAction

      机器人应开始做出特定的手势。

      对象

      示例

    • #14StartMotionEffectCameraActionStartMotionEffectCameraAction

      执行描述的相机运动效果。

      对象

      示例

    • #15StartPositionBotActionStartPositionBotAction

      机器人需要保持新的位置。

      对象

      示例

    • #16StartPostureBotActionStartPostureBotAction

      机器人应开始采用指定的姿势。

      对象

      示例

    • #17StartRestApiCallBotActionStartRestApiCallBotAction

      启动 API 调用。

      对象

      示例

    • #18StartShotCameraActionStartShotCameraAction

      开始新的镜头。

      对象

      示例

    • #19StartTimerBotActionStartTimerBotAction

      启动计时器。

      对象

      示例

    • #20StartUtteranceBotActionStartUtteranceBotAction

      机器人应开始产生话语。根据交互系统的不同,这可能是机器人发送文本消息或虚拟化身与用户交谈。

      对象

      示例

    • #21StartVisualChoiceSceneActionStartVisualChoiceSceneAction

      在场景中向用户呈现一个选择。

      对象

      示例

    • #22StartVisualFormSceneActionStartVisualFormSceneAction

      在场景中向用户呈现一个视觉表单,该表单请求用户输入某些内容。

      对象

      示例

    • #23StartVisualInformationSceneActionStartVisualInformationSceneAction

      在场景中向用户呈现信息。

      对象

      示例

    • #24StopCustomBotActionStopCustomBotAction

      需要停止一个操作。

      对象

      示例

    • #25StopExpectationBotActionStopExpectationBotAction

      IM 传达它已停止其期望。这通常发生在期望已满足(例如,已收到事件)或发生其他情况改变了交互过程时。

      对象

      示例

    • #26StopExpectationSignalingBotActionStopExpectationSignalingBotAction

      停止等待模态上的事件。

      对象

      示例

    • #27StopFacialGestureBotActionStopFacialGestureBotAction

      停止面部表情或表达。所有手势都有有限的生命周期,并“自行”结束(例如,在交互式虚拟化身系统中,“微笑”手势可以通过 1 秒的动画剪辑来实现,在该剪辑中,某些面部骨骼会进行动画处理)。IM 可以使用此操作在表情自然结束之前停止它。

      对象

      示例

    • #28StopGestureBotActionStopGestureBotAction

      停止手势。所有手势都有有限的生命周期,并“自行”结束。手势旨在强调某种情况或陈述。例如,在交互式虚拟化身系统中,`affirm` 手势可以通过 1 秒的动画剪辑来实现,在该剪辑中,虚拟化身点头两次。IM 可以使用此操作在手势自然结束之前停止它。

      对象

      示例

    • #29StopMotionEffectCameraActionStopMotionEffectCameraAction

      停止相机效果。所有效果都有有限的生命周期,并“自行”结束(例如,在交互式虚拟化身系统中,“抖动”效果可以通过 1 秒的相机运动来实现)。IM 可以使用此操作在相机效果自然结束之前停止它。

      对象

      示例

    • #30StopPositionBotActionStopPositionBotAction

      停止保持位置。机器人将返回到调用前的位置。位置保持操作具有无限的生命周期,因此除非 IM 调用 Stop 操作,否则机器人将无限期地保持该位置。或者,StartPositionBotAction 操作可以被覆盖,因为模态策略是 Override。

      对象

      示例

    • #31StopPostureBotActionStopPostureBotAction

      停止姿势。姿势没有生命周期,因此除非 IM 调用 Stop 操作,否则机器人将无限期地保持该姿势。

      对象

      示例

    • #32StopShotCameraActionStopShotCameraAction

      停止相机镜头。相机将返回到此操作开始之前的镜头。ShotCameraAction 操作具有无限的生命周期,因此除非 IM 调用 Stop 操作,否则相机将无限期地保持该镜头。

      对象

      示例

    • #33StopTimerBotActionStopTimerBotAction

      停止计时器。

      对象

      示例

    • #34StopUtteranceBotActionStopUtteranceBotAction

      停止机器人的话语。只有在收到 UtteranceBotActionFinished 后,操作才会停止。对于不支持此事件的交互系统,操作将继续正常运行直到完成。交互管理器应处理停止话语的时间与话语实际完成的时间之间的任意延迟。

      对象

      示例

    • #35StopUtteranceUserActionStopUtteranceUserAction

      指示 IM 已收到所需的信息,并且 Action Server 应尽快将 Utterance 视为已完成。例如,这可以指示 Action Server 减少保持时间(用户语音中的静音持续时间,直到我们认为语音结束已到达)。

      对象

      示例

    • #36StopVisualChoiceSceneActionStopVisualChoiceSceneAction

      停止向用户呈现选择。

      对象

      示例

    • #37StopVisualFormSceneActionStopVisualFormSceneAction

      停止向用户呈现表单。

      对象

      示例

    • #38StopVisualInformationSceneActionStopVisualInformationSceneAction

      停止向用户呈现信息

      对象

      示例

    • #39UserIntentUserIntent

      用户意图的结构化表示。当 IM 推断出用户的意图时,应生成此事件。用户意图可以基于用户的口头或非口头交流来推断。

      对象

      示例

    • #40UserMovementUserMovement

      检测到特定的用户移动。

      对象

      示例

消息

  • #1AttentionUserActionFinishedAttentionUserActionFinished

    系统检测到用户与交互系统脱离。

    对象
  • #2AttentionUserActionStartedAttentionUserActionStarted

    交互系统检测到用户一定程度的参与。

    对象
  • #3AttentionUserActionUpdatedAttentionUserActionUpdated

    交互系统提供参与度水平的更新。

    对象
  • #4BotIntentBotIntent

    机器人意图的结构化表示。如果 IM 传达机器人的当前意图,则应由 IM 生成此事件。机器人意图可能会导致意图的不同多模式表达。

    对象
  • #5ChangeCustomBotActionChangeCustomBotAction

    更改自定义操作的参数(如果自定义操作支持)

    对象
  • #6ChangeCustomUserActionChangeCustomUserAction

    需要更改正在运行的操作的参数。更新正在运行的操作对于长时间运行的操作(例如,头像动画)很有用,这些操作可以动态地调整其行为。例如,点头动画可以根据语音活动级别更改其速度。

    对象
  • #7ChangeTimerBotActionChangeTimerBotAction

    更改计时器的持续时间。如果持续时间减少,这可能会导致计时器立即停止(将发送 TimerBotActionFinished 事件)。

    对象
  • #8ChangeUtteranceBotActionChangeUtteranceBotAction

    在操作已开始后调整预期音量。

    对象
  • #9ContextUpdateContextUpdate

    上下文的更新。所有指定的键将覆盖当前上下文中的键。

    对象
  • #10CustomBotActionFinishedCustomBotActionFinished

    自定义操作已完成执行。

    对象
  • #11CustomBotActionStartedCustomBotActionStarted

    自定义用户操作的执行已开始。

    对象
  • #12CustomBotActionUpdatedCustomBotActionUpdated

    在自定义操作执行期间发生了一些事情(如果自定义操作支持)。

    对象
  • #13CustomEventCustomEvent

    除标准化事件外,还可以使用的自定义事件。

    对象
  • #14CustomUserActionFinishedCustomUserActionFinished

    操作已完成执行。操作完成可能是因为操作已完成或失败(自然完成),也可能是因为它被 IM 停止。执行的成功(或失败)使用 status_code 属性标记。

    对象
  • #15CustomUserActionStartedCustomUserActionStarted

    自定义用户操作的执行已开始。

    对象
  • #16CustomUserActionUpdatedCustomUserActionUpdated

    正在运行的操作提供(部分)结果。正在进行的操作可以提供有关操作当前状态的部分更新。ActionUpdated 应始终更新操作对象的有效负载并提供更新类型。

    对象
  • #17ExpectationBotActionFinishedExpectationBotActionFinished

    交互系统确认机器人期望已完成。

    对象
  • #18ExpectationBotActionStartedExpectationBotActionStarted

    交互系统向 IM 传达它可以处理对指定事件的期望。如果系统能够处理期望,则必须发送 ExpectationBotActionStarted 事件。接收 ActionStarted 事件并不能保证如何处理期望,但它为 IM 提供了一种了解系统是否甚至能够处理期望的方法。对于交互系统中任何 Action Server 都不支持的事件的期望,将不会发送 ExpectationBotActionStarted 事件。如果系统无法处理某些机器人期望,IM 可能会停止传达它们。

    对象
  • #19ExpectationSignalingBotActionFinishedExpectationSignalingBotActionFinished

    机器人已停止主动等待。请注意,此操作仅在显式请求时停止,通过调用发送 StopExpectationSignalingBotAction 。否则,该操作将无限期地继续。

    对象
  • #20ExpectationSignalingBotActionStartedExpectationSignalingBotActionStarted

    机器人已开始主动等待指定模式上的事件。

    对象
  • #21FacialGestureBotActionFinishedFacialGestureBotActionFinished

    面部手势已执行。

    对象
  • #22FacialGestureBotActionStartedFacialGestureBotActionStarted

    机器人已开始执行面部手势

    对象
  • #23FacialGestureUserActionFinishedFacialGestureUserActionFinished

    操作已完成执行。操作完成可能是因为操作已完成或失败(自然完成),也可能是因为它被 IM 停止。执行的成功(或失败)使用 status_code 属性标记。

    对象
  • #24FacialGestureUserActionStartedFacialGestureUserActionStarted

    操作的执行已开始。

    对象
  • #25GestureBotActionFinishedGestureBotActionFinished

    手势已执行。

    对象
  • #26GestureBotActionStartedGestureBotActionStarted

    机器人已开始执行手势。

    对象
  • #27GestureUserActionFinishedGestureUserActionFinished

    用户执行了手势。

    对象
  • #28GestureUserActionStartedGestureUserActionStarted

    交互系统检测到用户手势的开始。注意:系统检测到手势的时间可能与用户开始执行手势的时间不同。

    对象
  • #29MotionEffectCameraActionFinishedMotionEffectCameraActionFinished

    相机效果已完成。

    对象
  • #30MotionEffectCameraActionStartedMotionEffectCameraActionStarted

    相机效果已开始。

    对象
  • #31PipelineAcquiredPipelineAcquired

    已获取新的管道。管道将 IM 连接到最终用户设备 (stream_uid)。此事件在基于事件的实现中告知 IM 关于新管道的可用性。

    对象
  • #32PipelineReleasedPipelineReleased

    管道已释放且不再可用。管道将 IM 连接到最终用户设备 (stream_uid)。此事件在基于事件的实现中告知 IM 关于已释放的管道。

    对象
  • #33PipelineUpdatedPipelineUpdated

    有关现有管道的信息已更新。这意味着新的会话已开始,或者新的用户已被识别为同一管道的一部分。

    对象
  • #34PositionBotActionFinishedPositionBotActionFinished

    机器人已移回此操作之前的原始位置。这可能是中立位置,也可能是被此操作覆盖的任何 PositionBotAction 的位置,现在获得了“焦点”。

    对象
  • #35PositionBotActionStartedPositionBotActionStarted

    机器人已开始过渡到新位置

    对象
  • #36PositionBotActionUpdatedPositionBotActionUpdated

    机器人已到达该位置,并在整个操作持续时间内保持该位置。

    对象
  • #37PostureBotActionFinishedPostureBotActionFinished

    姿势已停止。

    对象
  • #38PostureBotActionStartedPostureBotActionStarted

    机器人已达到姿势。

    对象
  • #39PresenceUserActionFinishedPresenceUserActionFinished

    交互系统检测到用户的缺席

    对象
  • #40PresenceUserActionStartedPresenceUserActionStarted

    交互系统检测到系统中用户的存在。

    对象
  • #41RestApiCallBotActionFinishedRestApiCallBotActionFinished

    API 调用已完成

    对象
  • #42RestApiCallBotActionStartedRestApiCallBotActionStarted

    API 调用已开始

    对象
  • #43ShotCameraActionFinishedShotCameraActionFinished

    相机拍摄已停止。相机已返回到之前的拍摄(中立拍摄)或任何被覆盖的 ShotCameraAction 操作指定的拍摄。

    对象
  • #44ShotCameraActionStartedShotCameraActionStarted

    相机拍摄已开始

    对象
  • #45StartCustomBotActionStartCustomBotAction

    启动操作的事件。所有其他可以启动的操作都从此基本规范继承。 action_uid 用于区分同一操作的多次运行。

    对象
  • #46StartExpectationBotActionStartExpectationBotAction

    机器人期望在不久的将来在 UMIM 事件总线上发生某个事件。此可选事件可以允许 Action Server 优化其功能。例如,负责处理相机帧的 AS 可以根据 IM 的期望启用/禁用某些视觉算法(例如,BotExpectation(event=PositionChangeUserActionStarted) 可以允许 AS 启动计算量更大的运动跟踪器以获得更好的分辨率/精度)。

    对象
  • #47StartExpectationSignalingBotActionStartExpectationSignalingBotAction

    机器人正在等待特定模式的事件。

    对象
  • #48StartFacialGestureBotActionStartFacialGestureBotAction

    机器人应开始做出面部表情。

    对象
  • #49StartGestureBotActionStartGestureBotAction

    机器人应开始做出特定的手势。

    对象
  • #50StartMotionEffectCameraActionStartMotionEffectCameraAction

    执行描述的相机运动效果。

    对象
  • #51StartPositionBotActionStartPositionBotAction

    机器人需要保持新的位置。

    对象
  • #52StartPostureBotActionStartPostureBotAction

    机器人应开始采用指定的姿势。

    对象
  • #53StartRestApiCallBotActionStartRestApiCallBotAction

    启动 API 调用。

    对象
  • #54StartShotCameraActionStartShotCameraAction

    开始新的镜头。

    对象
  • #55StartTimerBotActionStartTimerBotAction

    启动计时器。

    对象
  • #56StartUtteranceBotActionStartUtteranceBotAction

    机器人应开始产生话语。根据交互系统的不同,这可能是机器人发送文本消息或虚拟化身与用户交谈。

    对象
  • #57StartVisualChoiceSceneActionStartVisualChoiceSceneAction

    在场景中向用户呈现一个选择。

    对象
  • #58StartVisualFormSceneActionStartVisualFormSceneAction

    在场景中向用户呈现一个视觉表单,该表单请求用户输入某些内容。

    对象
  • #59StartVisualInformationSceneActionStartVisualInformationSceneAction

    在场景中向用户呈现信息。

    对象
  • #60StopCustomBotActionStopCustomBotAction

    需要停止一个操作。

    对象
  • #61StopExpectationBotActionStopExpectationBotAction

    IM 传达它已停止其期望。这通常发生在期望已满足(例如,已收到事件)或发生其他情况改变了交互过程时。

    对象
  • #62StopExpectationSignalingBotActionStopExpectationSignalingBotAction

    停止等待模态上的事件。

    对象
  • #63StopFacialGestureBotActionStopFacialGestureBotAction

    停止面部表情或表达。所有手势都有有限的生命周期,并“自行”结束(例如,在交互式虚拟化身系统中,“微笑”手势可以通过 1 秒的动画剪辑来实现,在该剪辑中,某些面部骨骼会进行动画处理)。IM 可以使用此操作在表情自然结束之前停止它。

    对象
  • #64StopGestureBotActionStopGestureBotAction

    停止手势。所有手势都有有限的生命周期,并“自行”结束。手势旨在强调某种情况或陈述。例如,在交互式虚拟化身系统中,`affirm` 手势可以通过 1 秒的动画剪辑来实现,在该剪辑中,虚拟化身点头两次。IM 可以使用此操作在手势自然结束之前停止它。

    对象
  • #65StopMotionEffectCameraActionStopMotionEffectCameraAction

    停止相机效果。所有效果都有有限的生命周期,并“自行”结束(例如,在交互式虚拟化身系统中,“抖动”效果可以通过 1 秒的相机运动来实现)。IM 可以使用此操作在相机效果自然结束之前停止它。

    对象
  • #66StopPositionBotActionStopPositionBotAction

    停止保持位置。机器人将返回到调用前的位置。位置保持操作具有无限的生命周期,因此除非 IM 调用 Stop 操作,否则机器人将无限期地保持该位置。或者,StartPositionBotAction 操作可以被覆盖,因为模态策略是 Override。

    对象
  • #67StopPostureBotActionStopPostureBotAction

    停止姿势。姿势没有生命周期,因此除非 IM 调用 Stop 操作,否则机器人将无限期地保持该姿势。

    对象
  • #68StopShotCameraActionStopShotCameraAction

    停止相机镜头。相机将返回到此操作开始之前的镜头。ShotCameraAction 操作具有无限的生命周期,因此除非 IM 调用 Stop 操作,否则相机将无限期地保持该镜头。

    对象
  • #69StopTimerBotActionStopTimerBotAction

    停止计时器。

    对象
  • #70StopUtteranceBotActionStopUtteranceBotAction

    停止机器人的话语。只有在收到 UtteranceBotActionFinished 后,操作才会停止。对于不支持此事件的交互系统,操作将继续正常运行直到完成。交互管理器应处理停止话语的时间与话语实际完成的时间之间的任意延迟。

    对象
  • #71StopUtteranceUserActionStopUtteranceUserAction

    指示 IM 已收到所需的信息,并且 Action Server 应尽快将 Utterance 视为已完成。例如,这可以指示 Action Server 减少保持时间(用户语音中的静音持续时间,直到我们认为语音结束已到达)。

    对象
  • #72StopVisualChoiceSceneActionStopVisualChoiceSceneAction

    停止向用户呈现选择。

    对象
  • #73StopVisualFormSceneActionStopVisualFormSceneAction

    停止向用户呈现表单。

    对象
  • #74StopVisualInformationSceneActionStopVisualInformationSceneAction

    停止向用户呈现信息

    对象
  • #75TimerBotActionFinishedTimerBotActionFinished

    定时器已完成。

    对象
  • #76TimerBotActionStartedTimerBotActionStarted

    定时器已启动。

    对象
  • #77UserIntentUserIntent

    用户意图的结构化表示。当 IM 推断出用户的意图时,应生成此事件。用户意图可以基于用户的口头或非口头交流来推断。

    对象
  • #78UserMovementUserMovement

    检测到特定的用户移动。

    对象
  • #79UtteranceBotActionFinishedUtteranceBotActionFinished

    机器人话语已完成,可能是因为话语已传递给用户,或者操作已停止。

    对象
  • #80UtteranceBotActionScriptUpdatedUtteranceBotActionScriptUpdated

    在 UtteranceBotAction 期间提供更新的文本。这些事件对应于话语的某一部分传递给用户的时间。在支持语音输出的交互系统中,这些事件应与用户听到部分文本的时间对齐

    对象
  • #81UtteranceBotActionStartedUtteranceBotActionStarted

    机器人已开始产生话语。此事件应尽可能与用户接收话语的时刻对齐。例如,在交互式头像系统中,一旦文本到语音 (TTS) 流发送给用户,Action Server 就会发送该事件。

    对象
  • #82UtteranceUserActionFinishedUtteranceUserActionFinished

    用户话语已完成。

    对象
  • #83UtteranceUserActionIntensityUpdatedUtteranceUserActionIntensityUpdated

    如果交互系统支持,则提供更新的说话强度级别。

    对象
  • #84UtteranceUserActionStartedUtteranceUserActionStarted

    用户已开始产生话语。例如,用户可能已开始说话或打字。

    对象
  • #85UtteranceUserActionTranscriptUpdatedUtteranceUserActionTranscriptUpdated

    在 UtteranceUserAction 期间提供更新的文本

    对象
  • #86VisualChoiceSceneActionChoiceUpdatedVisualChoiceSceneActionChoiceUpdated

    每当用户直接与场景中呈现的选择进行交互,但未确认取消选择时,交互系统都会发出 ChoiceUpdated 事件。

    对象
  • #87VisualChoiceSceneActionConfirmationUpdatedVisualChoiceSceneActionConfirmationUpdated

    每当用户在与选择的视觉表示交互时确认或尝试中止选择时。示例包括:单击“确认”按钮,“单击关闭”

    对象
  • #88VisualChoiceSceneActionFinishedVisualChoiceSceneActionFinished

    选择操作已由 IM 停止。(没有用户操作会导致 Action Server 完成操作)。

    对象
  • #89VisualChoiceSceneActionStartedVisualChoiceSceneActionStarted

    系统已开始向用户呈现选择

    对象
  • #90VisualFormSceneActionConfirmationUpdatedVisualFormSceneActionConfirmationUpdated

    每当用户在与表单的视觉表示交互时确认或尝试中止表单输入时。示例包括:单击“确认”按钮,“单击关闭”

    对象
  • #91VisualFormSceneActionFinishedVisualFormSceneActionFinished

    表单操作已由 IM 停止(没有用户操作会导致 Action Server 完成操作)。

    对象
  • #92VisualFormSceneActionInputUpdatedVisualFormSceneActionInputUpdated

    每当用户直接与场景中呈现的表单输入进行交互,但尚未确认输入时,交互系统都会发出 Updated 操作。这允许 IM 对部分输入做出反应,例如,如果用户正在键入电子邮件地址,则机器人可以对部分输入做出反应(机器人可能会在用户在表单字段中键入“@”后说“现在只缺少域名”)。

    对象
  • #93VisualFormSceneActionStartedVisualFormSceneActionStarted

    系统已开始向用户呈现表单。

    对象
  • #94VisualInformationSceneActionConfirmationUpdatedVisualInformationSceneActionConfirmationUpdated

    每当用户确认或尝试中止屏幕中显示的视觉信息时。示例包括:单击“确认”按钮,“单击关闭”

    对象
  • #95VisualInformationSceneActionFinishedVisualInformationSceneActionFinished

    信息操作已由 IM 停止(没有用户操作会导致 Action Server 完成操作)。

    对象
  • #96VisualInformationSceneActionStartedVisualInformationSceneActionStarted

    系统已开始向用户呈现信息。

    对象

模式

  • 对象
    uidVisualChoiceOption
  • ChoiceType
    字符串
    uidChoiceType

    枚举。

      允许的值
    • "selection"
    • "search"
  • RequestType
    字符串
    uidRequestType

    请求类型

      允许的值
    • "get"
    • "post"
    • "put"
  • 对象
    uidVisualFormInputs
  • 对象
    uidVisualInformationContent
  • ConfirmationStatus
    字符串
    uidConfirmationStatus

    枚举。

      允许的值
    • "confirm"
    • "cancel"
    • "unknown"
  • ActionModality
    字符串
    uidActionModality

    枚举。

      允许的值
    • "bot_speech"
    • "bot_posture"
    • "bot_gesture"
    • "user_speech"
    • "bot_face"
    • "bot_upper_body"
    • "bot_position"
    • "user_face"
    • "user_upper_body"
    • "user_lower_body"
    • "user_engagement"
    • "sound"
    • "environment"
    • "camera_shot"
    • "camera_motion_effect"
    • "information"
    • "visual_effect"
    • "user_presence"
    • "bot_active_waiting"
    • "bot_expectation"
    • "custom"
    • "time"
    • "web_request"