NeMo Guardrails Docker 集成

简介

本指南提供了使用 Docker 运行 NeMo Guardrails 的分步说明。Docker 为 NeMo Guardrails 的入门提供了无缝且快速的部署方法。

准备工作

请确保您的机器上已安装 Docker。 如果没有，请按照官方 Docker 安装指南为您的平台安装。

构建 Docker 镜像

1. 克隆代码仓库

首先克隆 NeMo Guardrails 代码仓库

git clone https://github.com/NVIDIA/NeMo-Guardrails.git nemoguardrails

然后将目录更改为代码仓库

cd nemoguardrails

2. 构建 Docker 镜像

构建 nemoguardrails Docker 镜像

docker build -t nemoguardrails .

3. [可选] 构建 AlignScore 服务器镜像

如果您想使用基于 AlignScore 的事实核查，您还可以使用提供的 Dockerfile 构建 Docker 镜像。

cd nemoguardrails/library/factchecking/align_score
docker build -t alignscore-server .

注意：提供的 Dockerfile 仅下载 base AlignScore 镜像。如果您需要大型模型的支持，请取消 Dockerfile 中相应行的注释。

4. [可选] 构建越狱检测启发式方法服务器镜像

如果您想使用越狱检测启发式方法服务器，您还可以使用提供的 Dockerfile 构建 Docker 镜像。

cd nemoguardrails/jailbreak_detection
docker build -t jailbreak_detection_heuristics .

使用 Docker 运行

要使用 Docker 镜像运行 NeMo Guardrails 服务器，请运行以下命令

docker run -p 8000:8000 -e OPENAI_API_KEY=$OPENAI_API_KEY nemoguardrails

这将使用示例配置启动 NeMo Guardrails 服务器。Chat UI 将可通过 http://127.0.0.1:8000 访问。

注意：由于示例配置使用 OpenAI test-davinci-003 模型，因此您需要提供 OPENAI_API_KEY。

要为服务器指定您自己的配置文件夹，您需要将本地配置挂载到容器中的 /config 路径中

docker run \
  -p 8000:8000 \
  -e OPENAI_API_KEY=$OPENAI_API_KEY \
  -v </path/to/local/config/>:/config \
  nemoguardrails

要使用 Chat CLI 界面，请在交互模式下运行 Docker 容器

docker run -it \
  -e OPENAI_API_KEY=$OPENAI_API_KEY \
  -v </path/to/local/config/>:/config \
  nemoguardrails chat --config=/config --verbose

AlignScore 事实核查

如果您的某个配置使用 AlignScore 事实核查模型，您可以在单独的容器中运行 AlignScore 服务器

docker run -p 5000:5000 alignscore-server

这将在端口 5000 上启动 AlignScore 服务器。然后您可以在配置文件中指定 AlignScore 服务器 URL

rails:
  config:
    fact_checking:
      # Select AlignScore as the provider
      provider: align_score
      parameters:
        # Point to a running instance of the AlignScore server
        endpoint: "http://127.0.0.1:5000/alignscore_base"