快速入门指南#

这是试用 ACE Agent 的起点。具体来说，本快速入门指南使您能够部署示例 Bot 并与之交互。

注意

文档中所示的示例 Bot 旨在用于测试和演示 NVIDIA ACE Agent 的不同功能。它们未针对最佳准确性或性能进行优化。

先决条件

在开始使用 NVIDIA ACE Agent 之前，假定您满足以下先决条件。当前版本的 ACE Agent 仅在 NVIDIA 数据中心 GPU 上受支持。

  1. 您有权访问并已登录 NVIDIA GPU Cloud (NGC)。您已在本地系统上安装了 NGC CLI 工具，并且您已登录到 NGC 容器注册表。有关 NGC 的更多详细信息，请参阅 NGC 文档。

  2. 您已安装 Docker 和 NVIDIA 容器工具包。确保您已完成Docker 后安装步骤，以便以非 root 用户身份管理 Docker。

  3. 您可以访问基于 NVIDIA Volta、NVIDIA Turing、NVIDIA Ampere、NVIDIA Ada Lovelace 或 NVIDIA Hopper 架构的 GPU。

  4. 您的工作站上已安装 python >= 3.8.10 和 pip >= 23.1.2。

设置

  1. 通过克隆 GitHub ACE 存储库，下载 NVIDIA ACE Agent 快速入门脚本。

    git clone git@github.com:NVIDIA/ACE.git
cd ACE

  2. 转到 ACE Agent 的 microservices 目录。

    cd microservices/ace_agent

  3. 在 NGC_CLI_API_KEY 环境变量中设置您的 NGC 个人 API 密钥。

    export NGC_CLI_API_KEY=...

部署

ACE Agent 快速入门包附带了许多示例 Bot，这些 Bot 可以在 ./samples/ 目录中找到。在快速入门部分，我们将使用 Docker 环境 部署位于 ./samples/stock_bot 的股票示例 Bot。

这是一个示例 Bot，用于使用 Yahoo Finance API 检索指定公司或组织的实时股票价格。此 Bot 还提供与股票市场和股票相关的常规查询的答案。此 Bot 仅回答与股票价格和股票市场相关的问题，并且不具备回答任何题外问题的能力。

此 Bot 使用 OpenAI 的 gpt-4-turbo 模型作为主模型。

  1. 设置 OPENAI_API_KEY 环境变量。

    export OPENAI_API_KEY="sk-XXX"

  2. 使用 Docker 环境 部署用于语音到语音对话的示例 Bot。

    1. 股票示例 Bot 的 Bot 配置位于 quickstart 目录中的 ./samples/stock_bot。设置相对于当前目录的 BOT_PATH 环境变量。

      export BOT_PATH=./samples/stock_bot

    2. 通过 sourcing deploy/docker/docker_init.sh，设置 docker-compose.yaml 所需的环境变量。

      source deploy/docker/docker_init.sh

    3. 部署 Bot 所需的语音和 NLP 模型，首次可能需要 20-40 分钟。对于股票示例 Bot，将部署 Riva ASR（自动语音识别）和 TTS（文本到语音）模型。

      docker compose -f deploy/docker/docker-compose.yml up model-utils-speech

    4. 部署 ACE Agent 微服务。以下命令部署 Chat Controller、Chat Engine、Plugin server 和 NLP server 微服务，以及 Redis 和示例 WebUI 容器。

      docker compose -f deploy/docker/docker-compose.yml up speech-event-bot -d

    5. 等待几分钟，直到所有服务准备就绪。您可以查看各个微服务的 Docker 日志进行确认。您将在 Chat Controller 容器的 Docker 日志中看到日志打印 Server listening on 0.0.0.0:50055。确保以下容器已启动。如果您有任何问题，请参阅故障排除部分。

    您可以使用 URL https://<workstation IP>:7006/ 通过示例 WebUI 应用程序与 Bot 交互。如果您收到 connecting to server… 消息，则首次运行 WebUI 时可能需要等待最多 5 分钟。

    Stock Market bot sample conversation

    为了访问浏览器上的麦克风，我们需要通过添加 SSL 验证将 http 转换为 https 端点，或者更新您的 chrome://flags/ 或 edge://flags/ 以允许 http://<workstation IP>:7006 作为安全端点。

    或者，您可以尝试使用其他示例客户端，这些客户端打包为 ACE Agent 快速入门资源 的一部分，并利用示例客户端部分中的说明。

  3. 停止部署。

    docker compose -f deploy/docker/docker-compose.yml down

下一步