越狱检测启发式部署

注意：将越狱检测启发式与 NeMo Guardrails 一起使用的推荐方法是使用提供的 Dockerfile。有关更多详细信息，请查看如何构建和使用镜像。

为了部署越狱检测启发式服务器，请按照以下步骤操作

安装依赖项

pip install transformers torch uvicorn nemoguardrails

启动越狱检测服务器

python -m nemoguardrails.library.jailbreak_detection.server --port 1337

默认情况下，越狱检测服务器监听端口 1337。你可以使用 --port 选项更改端口。

在 GPU 上运行

要在 GPU 上运行，请确保您已安装 NVIDIA Container Toolkit。如果您正在从提供的 dockerfiles 构建容器，请确保您指定正确的 Dockerfile 并在 docker build 中包含 -f 参数。运行 docker 时，请确保将 -e NVIDIA_DRIVER_CAPABILITIES=compute,utility、-e NVIDIA_VISIBLE_DEVICES=all 和 --runtime=nvidia 参数传递给 docker run。

docker run -ti --runtime=nvidia -e NVIDIA_DRIVER_CAPABILITIES=compute,utility -e NVIDIA_VISIBLE_DEVICES=all <image_name>