API 参考#

OpenAPI 架构#

OpenAPI 规范详细说明了 NVIDIA NIM for LLM 的端点。

  • /v1/health/ready - 健康端点

  • /v1/models - 显示可用模型

  • /v1/chat/completions - 聊天补全端点

  • /v1/completions - 补全端点

/v1/completions/v1/chat/completions 端点可以在 NIM OpenAPI 架构中找到。

实验性 API#

Llama Stack (LS) API 的实验性支持#

  • /experimental/ls/inference/chat_completion

  • /experimental/ls/inference/completion

/experimental/ls/inference/chat_completion/experimental/ls/inference/completion 端点可以在 NIM OpenAPI 架构中找到。

参考#

NVIDIA NIM 用于 LLM