NVIDIA 云函数# NVIDIA 云函数 概述 函数类型 入门指南 快速入门 克隆、构建 Docker 镜像并推送到 NGC 私有 Registry 使用云函数 UI 创建和部署函数 使用云函数 API 创建和部署函数 使用 NGC CLI 创建和部署函数 调用函数 弹性 NIM 关于 NIM 前提条件 设置 NGC 身份验证 下载 NIM 导出 NGC API 密钥 NGC CLI 工具 Docker 登录到 NGC 列出可用的 NIM 上传 NIM 到私有 Registry 创建函数 验证函数部署 故障排除 API OpenAPI 规范 授权 生成 NGC 个人 API 密钥 API 密钥作用域和域 使用 NVCF 调用 API HTTP (轮询) 初始调用后的轮询 大型响应 (302 状态代码) HTTP 流式传输 HTTP 流式传输的优势 gRPC 状态和错误 推理容器状态代码和响应 NVCF API 状态代码 常见的函数调用错误 函数生命周期 关键概念 函数状态 工作流程 函数生命周期端点 函数创建、管理和部署 函数元数据 函数调用 资产管理 可见性、集群组和 GPU 函数创建 使用 NGC 私有 Registry 生成 NGC 个人 API 密钥 下载和配置 NGC CLI 使用 NGC Docker Registry 进行身份验证 (可选) 将容器推送到 NGC 私有 Registry 使用 NGC Docker Registry 和云函数的最佳实践 容器版本控制 NGC 团队的使用 基于容器的函数创建 资源 容器端点 编写 FastAPI 容器 创建 “requirements.txt” 文件 实现服务器 创建 Dockerfile 构建容器并创建函数 编写 PyTriton 容器 创建 “requirements.txt” 文件 创建 “run.py” 文件 创建 “Dockerfile” 构建 Docker 镜像 推送 Docker 镜像 创建函数 更多示例 基于 Triton 的容器配置 配置 使用 NGC 模型和资源创建函数 创建基于 gRPC 的函数 前提条件 通过 UI 创建 gRPC 函数 通过 CLI 创建 gRPC 函数 通过 API 创建 gRPC 函数 gRPC 函数调用 创建低延迟流式传输 (LLS AKA GameStreamSDK/WebRTC) 函数 构建流式传输服务器应用程序 创建 LLS 流式传输函数 使用客户端连接到流式传输函数 中介代理 Web 浏览器客户端 可用的容器变量 添加部分响应（进度） 存储部分和完整输出 创建进度文件 最佳实践 基于 Helm 的函数创建 前提条件 密钥管理 创建基于 Helm 的函数 限制 Helm Chart 覆盖 密钥管理 在函数创建期间添加密钥 使用 UI 使用 API 管理现有函数的密钥 函数状态和密钥管理规则 使用 UI 使用 API 在 API 中列出密钥 在推理容器中使用密钥 基于容器的函数中的密钥 Helm Chart 函数中的密钥 考虑事项和限制 函数部署 部署验证 部署函数 关键概念 函数排队 自动缩放和实例计数 通过 UI 部署 通过 API 部署 通过 CLI 部署 删除部署 部署失败 函数管理 函数版本控制 函数版本控制最佳实践 前提条件 函数更新流程 (A/B 测试) 函数监控 故障排除 日志和指标 发射和查看推理容器日志 如何向推理容器添加日志 查看函数指标 使用 OpenTelemetry 进行检测 函数权限 通过 API 列出函数 资产管理 创建资产 ID 和预签名上传 URL 将资产上传到云存储 列出资产 删除资产 在调用函数时指定资产 将资产与自定义容器一起使用 在 Triton Python 后端中检索资产目录和资产 ID 任务 介绍 任务管理和执行 任务的生命周期 REST API 端点 创建任务 列出任务 检索任务详情 删除任务 取消任务 列出任务事件 列出任务结果 更新任务密钥 任务容器中可用的环境变量 模型和资源 任务密钥 任务结果 处理任务结果 结果处理策略：UPLOAD 结果处理策略：NONE progress 文件格式 中间结果和最终结果 任务运行时长 集群设置与管理 前提条件 支持的 Kubernetes 版本 考虑事项 注册集群 配置 高级设置 缓存支持 安装集群代理 查看和验证集群设置 通过 UI 验证集群代理安装 通过终端验证集群代理安装 注销集群 通过 UI 删除集群 删除集群代理和 NVCA 运算符 集群代理监控和可靠性 监控数据 指标 日志 追踪 集群密钥轮换 高级：NVCA 运算符配置选项 节点亲和性 NVCA 运算符参数 NGC 配置 节点选择器配置 OpenTelemetry 配置 高级：手动实例配置 NGC 账户访问 以组织所有者身份登录 常见问题解答
