AlignScore 部署

注意：将 AlignScore 与 NeMo Guardrails 结合使用的推荐方法是使用提供的 Dockerfile。有关更多详细信息，请查看如何构建和使用镜像。

要部署 AlignScore 服务器，请按照以下步骤操作

重要提示：Python 3.11 不支持安装 AlignScore。

  1. 从 GitHub 存储库安装 alignscore 包

git clone https://github.com/yuh-zha/AlignScore.git
cd AlignScore
pip install .

  1. 安装 Pytorch 版本 2.0.1。

pip install torch==2.0.1

  1. 下载 Spacy en_core_web_sm 模型

python -m spacy download en_core_web_sm

  1. 下载一个或两个 AlignScore 检查点

curl -OL https://huggingface.co/yzha/AlignScore/resolve/main/AlignScore-base.ckpt
curl -OL https://huggingface.co/yzha/AlignScore/resolve/main/AlignScore-large.ckpt

  1. 设置 ALIGN_SCORE_PATH 环境变量以指向检查点已下载的路径。

  2. 将 ALIGN_SCORE_DEVICE 环境变量设置为 "cpu" 以在 CPU 上运行 AlignScore 模型，或设置为相应的 GPU 设备，例如 "cuda:0"。

export ALIGN_SCORE_PATH=<path/to/folder_containing_ckpt>
export ALIGN_SCORE_DEVICE="cuda:0"

  1. 启动 AlignScore 服务器。

python -m nemoguardrails.library.factchecking.align_score.server --port 5000 --models=base

默认情况下，AlignScore 服务器监听端口 5000。您可以使用 --port 选项更改端口。此外，默认情况下，AlignScore 服务器仅加载基础模型。您可以使用 --models=large 仅加载大型模型，或使用 --models=base --models=large 加载两者。