概述#

NVIDIA ACE Agent 是一个 GPU 加速的 SDK，用于构建会话式 AI 代理或 Bot，这些代理或 Bot 由 LLM 提供支持，针对您的用例进行定制，并提供实时性能。它提供了一个完整的工作流程来构建和部署虚拟代理，这些代理可以支持多轮和多用户的上下文对话流程。它通过高效的系统集成和可组合的对话管理，在 NVIDIA Riva Speech AI、NVIDIA ACE Avatar AI 和 Vision AI 等 AI 技能、特定用例的自定义插件以及用户界面之间提供连接。

ACE Agent 推理由 NVIDIA TensorRT 优化提供支持，并使用 NVIDIA Riva Skills Service 和 NVIDIA Triton Inference Server 提供服务，这两者都是 NVIDIA AI 平台的一部分。ACE Agent 支持 gRPC API，用于为虚拟助手应用程序流式传输低延迟语音，并且还支持简单的 REST API，用于纯文本聊天机器人。

ACE Agent Workflow

ACE Agent 完全容器化，可以轻松扩展到大量并发并行用户。

ACE Agent 提供的一些主要优势包括

  • 内置 LLM 集成 - ACE Agent 开箱即用地与大型语言模型 (LLM) 配合使用，并提供挂钩以连接您选择的 LLM 模型。

  • 本地模型部署 - ACE Agent 支持 ACE Agent 模型以及其他社区和自定义模型的本地部署。NVIDIA NIM for LLM 带来了最先进的 GPU 加速大型语言模型服务。使用 NIM，您可以在本地部署您选择的 LLM，并将其与 ACE Agent 一起使用。

  • 高度可自定义 - ACE Agent 允许您使用 Colang 完全自定义 Bot 的行为，以适应您的用例。它甚至允许您在 ACE Agent 管线中集成使用 LangChain 或类似框架构建的代理和 Bot，以构建多模型用例。

  • RAG - ACE Agent 允许轻松集成检索增强生成 (RAG) 工作流程，以支持使用现有知识文档构建代理，从而最大限度地减少工作量。

  • 低延迟 - ACE Agent 使用 NVIDIA TensorRT 优化的模型、NVIDIA Triton Inference Server 进行模型部署，以及优化的聊天控制器，以确保低延迟和高吞吐量的 Bot 交互。

本文档的结构#

  • 快速入门指南 - 这是尝试 ACE Agent 的起点。具体来说，本快速入门指南使您能够部署示例 Bot 并与之交互。

  • 发行说明 - 这些发行说明描述了 ACE Agent 版本的关键功能、软件增强和改进以及已知问题。

  • 架构- ACE Agent 是微服务的集合，本节描述了微服务的架构以及基于微服务的不同可能管线。

  • 部署 - 本节提供了关于在不同环境（如 Docker、Kubernetes 或 Python Native）中部署使用 ACE Agent 构建的 Bot 的说明。

  • 教程 - NVIDIA ACE Agent 是一个 SDK，可帮助您使用大型语言模型 (LLM) 和其他 NLP 模型构建您的领域会话式 AI 代理。在本节中，您将学习如何使用 ACE Agent 构建一个简单的 Bot，然后向其添加各种功能。

  • 用户指南 - 了解如何执行常规配置，例如控制 Bot 配置和更改 LLM 模型。具体来说

    • Colang 指南 - 了解 Colang；用于构建对话的对话建模语言。

    • 与 LangChain 和 LlmaIndex 集成 - 将 NVIDIA ACE Agent 集成到您现有的 LangChain 驱动的应用程序中，或将您首选的检索解决方案引入 ACE Agent。

    • NLP 服务器 - 了解如何使用此组件无缝插入任何自定义 NLP 模型，并在您的 Bot 中使用它。

    • 语音 AI - 了解 NVIDIA ACE Agent 如何为您的 Bot 启用语音模态以及围绕语音 AI 的功能生态系统。

    • 训练模型 - ACE Agent 快速入门附带了一个模型助手脚本。在本节中，您将学习如何使用自定义领域特定的数据集轻松训练 NVIDIA Riva Joint Intent & Slot Classification、文本分类和命名实体识别 NLP 模型，评估模型并部署它们。

    • 插件服务器 - 了解如何在与您的 Bot 交互时沙盒化您的领域特定自定义业务逻辑，例如调用外部端点。

  • 配置指南 - 本节描述了可供您使用的不同配置，并概述了构建 Bot 所需的通用配置文件。

  • API 指南 - 本节提供了 ACE Agent 服务器公开的模式的全面解释。

  • 最佳实践 - 本节更详细地介绍了在使用 NVIDIA ACE Agent 构建应用程序时可能遇到的不同常见用例，并提供了指导。

  • 示例 Bot - 了解所有随 NVIDIA ACE Agent 提供的不同示例 Bot。了解如何在原生和基于 Docker 的环境中部署。

  • 参考 - 了解兼容性要求是什么，并学习如何迁移到最新的 Bot 版本。

本页内容