Tokkio LLM-RAG - Omniverse Renderer#
Tokkio LLM-RAG - Omniverse Renderer 应用程序集成了 Omniverse Renderer 微服务 到 Tokkio 管线，以支持 Omniverse RTX 实时渲染器。它使用户能够使用各种 OV 头像（预构建或自定义）部署其 Tokkio 应用程序。
此参考应用程序是 Tokkio LLM-RAG 的变体，使用 Omniverse Renderer 作为其渲染选项。其他工作流程（例如 Tokkio Retail）也可以与此特定渲染选项一起使用。
最低 GPU 要求#
单流配置 |
2xT4 或 2xL4 |
|---|---|
3 流部署 |
4xT4 |
6 流部署 |
4xA10 或 4xL4 |
架构#
带有 OV 渲染器的 LLM RAG 是 Tokkio 部署的默认选项。它遵循 微服务 中描述的基本 Tokkio 架构。架构图也如下所示，供参考。
请注意，此处使用的 Tokkio LLM RAG 资源是 Plugin 服务器的资源，它是履行管线的一部分。渲染器选项是 OV 渲染器，如图所示。
来源#
示例 LLM RAG 工作流程的 Helm Chart 可以在 https://catalog.ngc.nvidia.com/orgs/nvidia/teams/ace/helm-charts/ucs-tokkio-app-base-1-stream-llm-rag-3d-ov 中找到。
有关部署说明，请参阅 部署。
自定义#
可以按照 Avatar 和场景自定义 中描述的方式为此渲染选项执行头像和场景自定义。
可以为 Bot 执行的其他自定义与渲染管线无关。请查看 自定义 页面以获取更多信息。