统一云服务工具 (UCS Tools)

简介

• 概述
  • 概念
    • 微服务规范
    • 微服务
    • 应用程序
    • 微服务注册表
  • UCS Tools
    • UCS Studio
    • 微服务构建器 CLI
    • 应用程序构建器 CLI
• 发布内容
• 缩略语和术语
• 发行说明
  • 2024 年 11 月 15 日的 2.8.1
    • 新功能
    • Bug 修复
  • 2.6.0-rc1
    • Bug 修复
    • 新功能
  • 2024.08.0
    • Bug 修复
    • 新功能
  • 24.06.5
    • 新功能
  • 2024.03 2.5 (24.03.5)
    • Bug 修复
    • 新功能
  • 2023.10 2.0
    • UCS 微服务构建器 CLI
    • UCS 应用程序构建器 CLI
  • 2023.09 2.0
    • UCS 微服务构建器 CLI
    • UCS 应用程序构建器 CLI
    • 基于 OV 的 NVIDIA UCS Studio

注册表

• UCS Tools 注册表
  • 微服务内容
  • 本地存储库
  • NGC 存储库

先决条件

• 开发系统
  • 安装 Ubuntu 操作系统
  • 安装 CUDA 驱动程序
  • 安装 Docker CE
  • 安装 NVIDIA Container Toolkit
  • 安装 Helm
• 先决条件
• 创建您的 NGC 个人密钥
  • 部署系统
    • 用于开发人员系统的 MicroK8s
      • 安装 MicroK8s
      • 启用插件
    • 用于开发人员系统的 NVIDIA Cloud Native Stack
      • 安装 Ubuntu 操作系统
    • 安装 CUDA 驱动程序
      • 安装 Docker CE
      • 安装 NVIDIA Container Toolkit
      • 安装 Containerd
      • 安装 Kubernetes
      • 禁用交换
      • 初始化 Kubernetes
      • 安装最新版本的 Helm
      • 添加额外的节点
      • 安装 GPU Operator
      • 验证 GPU Operator
    • 用于 AWS 的 NVIDIA Cloud Native Stack
      • EC2 实例配置
      • 安装 Containerd
      • 安装 Kubernetes
      • 安装 Helm
      • 安装 GPU Operator
    • AWS Elastic Kubernetes Service (AWS EKS)
      • 启动 Holoscan Ready EKS 集群
      • 在 AWS EKS 上安装 NVIDIA Cloud Native Add-On Pack（可选）
        • 与 AWS 托管服务连接
      • 故障排除
      • 删除 Holoscan Ready EKS 集群
    • Azure Kubernetes Service (Microsoft AKS)
      • 启动 Holoscan Ready AKS 集群
      • 在 Azure AKS 上安装 NVIDIA Cloud Native Add-On Pack（可选）
        • 与 Azure 托管服务连接
      • 故障排除
      • 删除 Holoscan Ready AKS 集群
    • Google Kubernetes Engine (GCP GKE)
      • 启动 Holoscan Ready GKE 集群
      • 在 GKE 上安装 NVIDIA Cloud Native Add-On Pack（可选）
        • 与 GCP 托管服务连接
      • 故障排除
      • 删除 Holoscan Ready GKE 集群

入门指南

• 安装 UCS Tools
  • Debian 安装
  • UCS Tools 容器镜像
  • 验证安装
    • MS 构建器
    • App 构建器
• 启动 UCS Studio
  • Repo 设置
  • 同步微服务
• 创建参考应用程序
  • 先决条件
  • 创建新图
    • 搜索微服务及其详细信息
  • 添加微服务
  • 连接微服务
  • 配置微服务
  • 保存图
• 构建参考应用程序
• 更新参考应用程序
  • 打开现有图
  • 添加/替换微服务
  • 连接微服务
  • 加载参数
  • 更新应用程序信息
  • 保存并构建应用程序
• 部署参考应用程序
  • 在本地 MicroK8S 集群上部署
  • 在 AWS 上部署应用程序
  • 与参考应用程序交互
    • UCS 文本机器人应用程序
    • UCS 语音机器人
• 从 UCS Tools 1.1 迁移
  • 对于微服务
  • 对于应用程序

微服务规范

• UCS 微服务
  • 创建微服务
  • 微服务位置
  • 查看微服务信息
    • 基本信息
    • 入口端点
    • 出口端点
    • 参数
    • 密钥
    • 外部文件
    • 指标
    • 合规性
    • 文档
• UCS Tools 应用程序
  • 创建应用程序
  • 示例应用程序 - 可视格式
    • 基本信息
    • 依赖项
    • 组件
    • 连接
    • 密钥
    • 应用程序功能
• 微服务构建器输入规范
  • 输入目录结构
  • 清单文件 - manifest.yaml
    • 基本信息
    • 入口端点
    • 出口端点
    • 参数
    • 密钥
    • 外部文件
    • 指标
    • 测试
    • 规范
      • 组件
      • 向规范添加组件
  • Configs 目录 - configs
  • Scripts 目录 - scripts
  • Container Configs 目录 - containers
  • Endpoint Definition Files 目录 - endpoints
  • Customized Helm Template 目录 - templates
  • 手动合规性测试结果 - manual_compliance_test_results.yaml
  • 文档 - README.md
  • 许可证 - LICENSE.txt
  • 更新日志 - changelog.txt
  • Tests 目录 - tests
  • Values 文件 values.yaml
• 端点
  • 入口端点
  • 出口端点
  • UCS 端点方案
    • HTTP
    • gRPC
    • AsyncIO
    • RTSP
    • RESP
    • UCX
    • MongoDB Wire
    • Raw UDP / TCP
  • 端点连接和验证
  • 具有多个连接的出口端点
  • 外部端点
• UCS 微服务合规性
  • 查看微服务合规性 - CLI 工具
  • 查看微服务合规性 - UCS Studio
  • UCS 微服务合规性规则
    • 摘要
    • 详细信息
• 密钥管理
  • 在微服务中指定密钥要求
  • 查看微服务的密钥要求
    • 使用 CLI 工具
    • 使用 UCS Studio
  • 在 UCS 应用程序中满足密钥
    • 使用 UCS Studio
    • 使用文本表示和 CLI 工具
  • 支持的密钥管理类型
    • 使用 Kubernetes Secret
    • 使用 Vault 密钥
    • 使用 Secrets Store CSI Driver
    • 使用 cert-manager Certificate
  • 应用程序信息 - 密钥
• UCS 微服务附加功能
  • Horizontal Pod Autoscaler (HPA) 支持

应用程序开发

• 创建应用程序
  • 使用文本表示和 CLI 工具
    • 设置 NGC API 密钥
    • 列出可用的微服务
    • 查看微服务的信息
    • 创建应用程序样板
    • 更新应用程序信息
    • 更新依赖项
    • 添加和配置微服务
    • 隐式添加的参数
    • 配置密钥
    • 连接微服务端点
    • 添加详细文档
    • 部署的值规范文件
  • 使用 UCS Studio
• 构建应用程序
  • 使用 CLI 工具
    • 参数文件
    • 值规范文件
  • 使用 UCS Studio
  • 构建输出
• 使用 Helm 部署应用程序
• 将应用程序部署到 NVCF
  • 创建 App 清单
  • 为 UCS Tools 创建 NVCF 配置文件
  • 将 UCS App 部署到 NVCF
• 为 UCS Tools 应用程序添加监控
  • 先决条件
  • PodMonitor 资源
  • PodMonitor 资源的自定义标签
  • 验证 Pod 是否正在被抓取
  • 应用程序信息 - 指标
• UCS Tools 应用程序的日志管理
  • 先决条件
  • 在 MicroK8s 集群中启用日志记录
    • 启用 EFK 堆栈
    • 创建一个新的索引模式
    • 查看日志
• 将应用程序导出为 UCS 微服务
  • 使用 CLI 工具
    • 将 App 导出为微服务
    • 在应用程序中使用新的微服务
    • 导出信息文件格式
  • 使用 Studio
    • 将 App 导出为微服务
    • 在应用程序中使用新的微服务
• 其他应用程序功能
  • 在 App 中多次使用相同的微服务组件
  • 与 NVIDIA K8s RAG Operator 交互

微服务开发

• 创建微服务
  • 生成脚手架
    • 预构建的容器镜像
    • 容器构建配置
    • 预构建的 Helm Chart
  • 更新微服务构建器输入
    • 更新 configs
    • 更新 scripts
    • 向 containers 添加 Container Build 配置文件
    • 更新 endpoints
    • 更新 manual_compliance_test_results.yaml
    • 添加测试
    • 更新 values.yaml
    • 更新文档
  • 更新清单文件 manifest.yaml
    • 规范
      • 组件
      • 常用组件
      • 向规范添加组件
      • 使用容器构建器配置
• 构建微服务
  • 构建输出
• 微服务构建器组件
  • 部署
  • 容器
  • 初始化容器
  • 卷
  • 卷声明模板
  • 默认卷挂载
  • 持久卷声明
  • 服务
  • 镜像拉取密钥
  • ConfigMap
  • Pod 注解
  • Pod 标签
  • Pod 安全上下文
  • 容器重启策略
  • Pod DNS 策略
  • PVC 保留策略
  • Pod 管理策略
  • Job 选项
  • Job 截止时间
  • CronJob 计划
  • 在配置更改时重启 Pod
  • Ingress
  • 应用程序工作负载
  • UCX 配置
  • 自定义元数据
  • Pod 调度规范
  • 服务帐户规范
  • Pod Monitor 自定义资源定义

教程

• Hello World
  • 内务处理
  • 简介
  • 创建微服务
  • 使用 ucf_ms_builder_cli 构建微服务
  • 使用微服务创建应用程序 - CLI 工具和文本格式
  • 使用 ucf_app_builder_cli 构建应用程序
  • 使用 Studio 创建和构建应用程序
  • 部署和运行微服务和应用程序
  • 检查和调试微服务和应用程序
  • 停止和清理微服务和应用程序
• 连接微服务
  • 内务处理
  • 简介
  • 使用入口/出口端点定义微服务
  • 创建应用程序
  • 构建微服务和应用程序
  • 使用 Studio 创建和构建应用程序
  • 部署和运行微服务和应用程序
  • 检查和调试微服务和应用程序
  • 停止和清理微服务和应用程序
• 添加存储
  • 内务处理
  • 简介
  • 本地路径 Provisioner
  • 定义和向微服务添加 PV 和 PVC
  • 构建微服务和应用程序并部署它们
  • 检查和调试微服务和应用程序
  • 停止和清理微服务和应用程序
• 在 Pod 副本之间共享存储
  • 内务处理
  • 简介
  • 更新微服务和应用程序
  • 构建微服务和应用程序并部署它们
  • 检查和调试微服务和应用程序
  • 停止和清理微服务和应用程序
  • 一些注意事项
• App 的部分重新部署
  • 内务处理
  • 简介
  • 更新微服务和应用程序
  • 构建微服务和应用程序并部署它们
  • 检查和调试微服务和应用程序
  • 重新部署应用程序
  • 停止和清理微服务和应用程序
  • 一些注意事项
• 在配置更改时重启 Pod
  • 内务处理
  • 简介
  • 检查当前的微服务和资源
  • 更新应用程序中的参数
  • 构建应用程序和部分重新部署
  • 检查微服务和应用程序
  • 添加对 configmap 的依赖
  • 重建和重新部署微服务和应用程序
  • 检查重新部署的应用程序
  • 更新配置参数并重建和重新部署应用程序
  • 重建和重新部署应用程序
  • 检查重新部署的应用程序
  • 停止和清理微服务和应用程序
  • 一些注意事项
• 将文件传递到微服务
  • 内务处理
  • 简介
  • 更新微服务和应用程序
  • 更新应用程序中的参数
  • 构建微服务和应用程序并部署它们
  • 检查微服务和应用程序
  • 停止和清理微服务和应用程序
  • 一些注意事项
• UCS Tools 中的 UCX 支持
  • 示例 UCX 服务器微服务
  • 示例 UCX 客户端微服务
  • 在 UCS 应用程序中添加和连接具有 UCX 端点的微服务
  • 使用 UCX 部署 UCS 应用程序
    • 硬件要求
    • 先决条件
      • 网络 Operator
      • Multus 服务控制器
      • 禁用 coredns 缓存
    • 部署应用程序

参考

• UCS Studio
  • 远程访问
    • 可用选项的比较
      • Omniverse Streaming Client
    • 安装和使用
    • 配置
    • 服务器
    • 客户端
      • WebRTC 流媒体
    • 当前限制
  • Repo 同步
  • 创建新图
  • 添加和删除微服务
  • 多选
  • 连接和断开微服务
  • 复制/剪切/粘贴服务
  • 撤消和重做
  • 画布平移和缩放
  • 节点折叠和展开
  • 图布局和焦点
  • 检查和更改服务属性
  • 保存和加载图
  • 导入和导出参数
  • 构建 App 并生成 Helm Chart
• UCS 微服务构建器 CLI
  • 基本操作
    • 查看帮助
    • 检查工具版本
  • Service 命令 service
    • 创建微服务脚手架
    • 构建微服务
    • 列出可用的微服务
    • 列出可用的微服务版本
    • 查看微服务信息
    • 同步微服务
  • Registry 命令 registry
    • 设置 NGC API 密钥
    • 列出可用的存储库
    • 查看存储库的信息
    • 同步存储库中的所有微服务
    • 清除本地存储库
    • 设置注册表缓存路径
    • 查看注册表缓存路径
    • 清除注册表缓存
  • Component 命令 component
    • 列出组件
    • 查看组件的信息
    • 添加自定义组件
• UCS 应用程序构建器 CLI
  • 基本操作
    • 查看帮助
    • 检查工具版本
  • Application 命令 app
    • 创建应用程序样板
    • 构建应用程序
    • 将应用程序导出为微服务
  • Service 命令 service
    • 列出可用的微服务
    • 列出可用的微服务版本
    • 查看微服务信息
    • 同步微服务
  • Registry 命令 registry
    • 设置 NGC API 密钥
    • 列出可用的存储库
    • 查看存储库的信息
    • 同步存储库中的所有微服务
    • 清除本地存储库
    • 设置注册表缓存路径
    • 查看注册表缓存路径
    • 清除注册表缓存

常见问题解答

• FAQ
  • App 构建命令似乎卡住了？
  • 无法加载/导出图的参数
  • 无法删除背景
  • 从注册表同步后，图表损坏
  • 应用程序构建器 CLI 挂起
  • 无法使用 UCS Studio 运行 WebSocket 流媒体
  • 我可以更改注册表和配置的默认路径吗？
  • CLI service list 操作似乎没有任何作用
  • CLI service sync 命令失败，并显示错误“发生未处理的错误！”
  • repo sync 操作对于 local 存储库失败
  • 从 UCS Studio 导出的参数文件不起作用
  • 卸载 UCS Tools

许可证

• 许可证