插件服务器#

插件服务器是一个基于 FastAPI 的服务器，它使 ACE 代理能够通过 REST 接口与第三方应用程序或 API 交互。它公开了一个 Swagger 端点，允许开发人员在沙箱环境中轻松编写和验证插件服务器。

有关更多信息，请参阅插件服务器微服务。

LLM-RAG 和 Retail RAG 的 Tokkio 参考应用程序使用自定义插件服务器，这些服务器旨在满足用户查询的目的。请参阅此处的两个插件服务器的详细信息

Tokkio 零售 Tokkio LLM-RAG

Tokkio 配置的密钥要求#

LLM RAG 机器人的 Tokkio 插件服务器配置为使用 NIM 模型或 OpenAI 模型进行 LLM 调用。用户将需要配置传递此微服务的正确密钥。当前配置需要定义和传递以下密钥。

注意

如果用户不打算使用 NIM 模型，他们可以为 NVIDIA_API_KEY 定义一个占位符（非空）字符串，但他们仍然需要定义所需的密钥。

secrets:
k8sSecret/ngc-api-key-secret/NGC_CLI_API_KEY:
    k8sSecret:
    secretName: ngc-api-key-secret
    key: NGC_CLI_API_KEY
k8sSecret/nvidia-api-key-secret/NVIDIA_API_KEY:
    k8sSecret:
    secretName: nvidia-api-key-secret
    key: NVIDIA_API_KEY
k8sSecret/openai-key-secret/OPENAI_API_KEY:
    k8sSecret:
    secretName: openai-key-secret
    key: OPENAI_API_KEY
    .
    .
 - name: plugin-server
    type: ucf.svc.ace-agent.plugin-server
    parameters:
    imagePullSecrets:
        - name: ngc-docker-reg-secret
    secrets:
    ngc-api-key-secret: k8sSecret/ngc-api-key-secret/NGC_CLI_API_KEY
    openai-key-secret: k8sSecret/openai-key-secret/OPENAI_API_KEY
    nvidia-api-key-secret: k8sSecret/nvidia-api-key-secret/NVIDIA_API_KEY
在本页上