教程

剧本

面向大型语言模型 (LLM) 的 NVIDIA NIM 剧本演示了如何使用面向 LLM 的 NVIDIA NIM 来自托管 RAG、在 Hugging Face 上部署以及使用 LoRA 进行微调。

• “使用本地托管 NIM 构建 RAG”剧本演示了如何使用面向 LLM 的 NVIDIA NIM 和本地托管的 Llama3-8b-instruct NIM 构建 RAG，并使用 NVIDIA AI Endpoints for LangChain 进行部署。

• “使用 NeMo 框架和 NVIDIA NIM 进行 Llama 3 LoRA 微调和部署”剧本演示了如何使用生物医学领域问答数据集对 Llama 3 8B Instruct 执行 LoRA PEFT，并使用面向 LLM 的 NVIDIA NIM 部署多个 LoRA 适配器。

• “使用 NeMo 框架和 NVIDIA NIM 进行 Llama 3.1 法律领域 LoRA 微调和部署”剧本演示了如何使用 NeMo 框架对 Llama 3.1 8B Instruct 和 Law StackExchange 的合成增强版本执行 LoRA PEFT，然后使用面向 LLM 的 NVIDIA NIM 进行部署。作为先决条件，请遵循有关使用 NeMo Curator 进行数据整理的教程。

平台部署指南

• “Azure Kubernetes 服务 (AKS) 上的 NIM”部署指南提供了部署 AKS 的分步说明。

• “Azure 机器学习 (AzureML) 上的 NIM”部署指南提供了使用 Azure CLI 和 Jupyter Notebook 部署 AzureML 的分步说明。

• “使用 Azure AI Studio、Prompt Flow 和 NIM 进行端到端 LLM 应用开发”部署指南提供了使用 Azure AI Studio、Prompt Flow 和 NIM 进行端到端 LLM 应用开发的说明。

• “AWS Elastic Kubernetes 服务 (EKS) 上的 NIM”部署指南提供了在 AWS EKS 上部署的分步说明。

• “AWS SageMaker 上的 NIM”部署指南提供了使用 Jupyter Notebook、Python CLI 和 shell 在 AWS SageMaker 上部署的分步说明。

• “KServe 上的 NIM”部署指南提供了有关如何在 KServe 上部署的分步说明。