使用 NemoGuard NIM 的蓝图#

注意

本文档旨在为希望将 NeMo Guardrails 集成到 NVIDIA Blueprints 中的开发人员提供帮助

NVIDIA Blueprints 是全面的参考工作流程，可加速 AI 应用程序的开发和部署。它们使构建和设置虚拟助手变得容易，并提供现成的工作流程和工具。无论您需要简单的 AI 驱动的聊天机器人还是完全动画的数字人界面，NVIDIA 都提供资源来帮助您创建可扩展且与您的品牌一致的 AI 助手。例如，开发人员可以使用 NVIDIA AI 虚拟助手蓝图 构建用于客户服务的 AI 助手，以提供响应迅速、高效的客户支持体验。

先决条件和设置#

NVIDIA 蓝图#

用于 AI 虚拟助手的 NVIDIA 蓝图可以部署在使用 NVIDIA 托管的端点，也可以部署在使用本地托管的 NIM 微服务。要开始部署

集成 NemoGuard#

首先在 ai-virtual-assistant/deploy/compose 目录下创建一个 nemoguardrails.yaml 文件，以下载和初始化 NeMo Guardrails 工具包。确保它包含以下内容。您可以根据需要更改端口。

services:
  nemoguardrails:
    build:
      context: ../../../nemoguardrails  # Path to the cloned repository
      dockerfile: Dockerfile
    container_name: nemoguardrails
    runtime: nvidia
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    environment:
      NGC_API_KEY: ${NGC_API_KEY}  # NVIDIA GPU Cloud API Key
    ports:
      - "8650:8650"  # Map container port 8000 to host port 8000
      - "8000:8000"
    user: "${USER_ID:-1000}:${GROUP_ID:-1000}"  # Use the current user's UID/GID
    command: >
      bash -c "
      export OPENAI_API_KEY=${OPENAI_API_KEY} &&
      cd nemoguardrails
      pip install --no-cache-dir -e .[all]
      "

按照笔记本 - nemoguardrails/examples/notebooks/safeguard_ai_virtual_assistant_notebook.ipynb 中的步骤，使用可下载的容器部署 NemoGuard NIM，并学习逐步将其集成到 NIM 蓝图中

NIM 蓝图 API 用法#

使用 ai-virtual-assistant/notebooks/api_usage.ipynb 运行蓝图 API 以查看代理响应

在本页上