部署指南

本节介绍部署 NIM 的各种方法，包括以下内容

• 通过使用 Docker，如入门指南中所述

• 通过使用 Helm chart，如使用 Helm 部署中所述

• 通过使用 Kubernetes，如Kubernetes 安装中所述

• 在多个节点中，如多节点部署中所述

• 本地部署，如气隙部署中所述

在其他平台上部署

除了 NVIDIA 部署选项外，您还可以在其他平台上部署

• NIM on Azure Kubernetes Service (AKS) 部署指南提供了部署 AKS 的分步说明。

• NIM on Azure Machine Learning (AzureML) 部署指南提供了使用 Azure CLI 和 Jupyter Notebook 部署 AzureML 的分步说明。

• 使用 Azure AI Studio、Prompt Flow 和 NIM 进行端到端 LLM 应用开发 部署指南提供了使用 Azure AI Studio、Prompt Flow 和 NIM 进行端到端 LLM 应用开发。

• NIM on AWS Elastic Kubernetes Service (EKS) 部署指南提供了在 AWS EKS 上部署的分步说明。

• NIM on AWS SageMaker 部署指南提供了使用 Jupyter Notebooks、Python CLI 和 shell 在 AWS SageMaker 上部署的分步说明。

• NIM on KServe 部署指南提供了关于如何在 KServe 上部署的分步说明。