平台支持#

NIM 微服务#

NVIDIA NIM Operator 支持以下 NIM 微服务。

微服务

版本

文档

NVIDIA NIM for LLMs

v1.x.x

支持矩阵

NeMo Retriever Text Embedding NIM

v1.x.x

支持矩阵

NeMo Retriever Text Reranking NIM

v1.x.x

支持矩阵

操作系统和 Kubernetes 平台#

NVIDIA NIM Operator 支持 NVIDIA GPU Operator v24.3.0 或更高版本。请参阅 GPU Operator 文档中支持的操作系统和 Kubernetes 平台，了解支持的操作系统和 Kubernetes 平台

命令行工具#

工具

安装文档

kubectl (匹配集群版本)

请参阅 Kubernetes 文档中的安装工具，了解更多信息。

Helm v3 及更高版本

请参阅 Helm 文档中的安装 Helm，了解更多信息。