UI#

Tokkio UI 是一个参考 Web 应用程序,演示了前端和 Tokkio 部署之间端到端的交互,包括语音和触摸输入。它通过 Ingress 发送 HTTP REST API 请求到 UI 服务器,并维护与 UI 服务器的 WebSocket 连接以接收事件。通过此 WebSocket 连接,可以实现 ASR 和 TTS 文本记录、用户注意力状态、用户存在状态、当前 UI 视图等功能。

Tokkio UI 支持通过 VST 提供的 WebRTC 进行音频和视频连接。此连接通过 VST 流媒体库,通过 WebSocket 实现。在运行 UI 之前,需要从浏览器授予访问摄像头和/或麦克风的权限。

Tokkio UI 与 Tokkio 应用程序的其余部分分开部署。这允许完全控制 UI 的部署、扩展和安全性,并允许开发人员利用许多可用于部署 Web 应用程序的选项,例如 AWS、GCP 等。