高级配置#

Config-template 文件参数定义#

虽然 config-template-examples 文件夹提供了可用的最简示例,但您可以更大程度地自定义 config-template.yml。下表详细解释了 config-template.yml 的每个属性。

环境变量定义#

参数名称

类型

可选

描述

schema_version

字符串

Config-Template 模式版本

名称

字符串

用于标识正在创建的基础设施资源的唯一名称。

spec

映射

基础设施和应用程序配置。

spec > infra

字符串

基础设施配置。

spec > infra > csp

字符串

云服务提供商名称,在本例中为 aws

spec > infra > backend

映射

用于存储基础设施状态的 Terraform 后端配置。

spec > infra > backend > access_key

字符串

用于访问后端存储桶和表的 AWS 访问密钥 ID。

spec > infra > backend > secret_key

字符串

用于访问后端存储桶和表的 AWS 秘密访问密钥。

spec > infra > backend > dynamodb_table

字符串

用于管理对状态的并发访问的 AWS Dynamo DB 表的名称。

spec > infra > backend > bucket

字符串

用于存储已配置资源状态的 AWS S3 存储桶的名称。

spec > infra > backend > region

字符串

创建状态 S3 存储桶和 Dynamo DB 表的 AWS 区域。

spec > infra > backend > encrypt

布尔值

是否在存储在 S3 存储桶中时加密状态。

spec > infra > provider

映射

AWS 提供商配置。

spec > infra > provider > access_key

字符串

用于资源配置的 AWS 访问密钥 ID。

spec > infra > provider > secret_key

字符串

用于资源配置的 AWS 秘密访问密钥。

spec > infra > configs

映射

额外的基础设施配置。

spec > infra > configs > cns

映射

Nvidia Cloud Native Stack 配置。有关 Nvidia Cloud Native Stack 的更多详细信息,请参见 [NVIDIA/cloud-native-stack](NVIDIA/cloud-native-stack)。

spec > infra > configs > cns > version

字符串

要在集群上安装的 Nvidia Cloud Native Stack 版本。默认为 12.2。

spec > infra > configs > cns > git_ref

字符串

Nvidia Cloud Native Stack 的 git 提交哈希值。默认情况下,它采用 master 分支的最新提交哈希值。

spec > infra > configs > cns > override_values

映射

设置集群时要覆盖的 Nvidia Cloud Native Stack 值。

spec > infra > configs > cns > override_values > cns_nvidia_driver

布尔值

如果您想使用运行文件方法安装 nvidia 驱动程序,请设置为 yes,否则设置为 no。默认为 no。将此标志设置为 yes 以支持最新的 OS 内核。

spec > infra > configs > cns > override_values > gpu_driver_version

字符串

用于将 gpu_driver_version 更改为与所选 Nvidia Cloud Native Stack 版本默认安装的版本不同的配置。

spec > infra > configs > user_access_cidrs

列表

指定一个 CIDR 块,其中包含将访问 Tokkio UI 的所有客户端计算机的 IP 地址。

spec > infra > configs > dev_access_cidrs

列表

指定一个 CIDR 块,其中包含所有需要 SSH 访问 Tokkio AWS 实例的开发人员计算机的 IP 地址。

spec > infra > configs > region

字符串

将部署应用程序资源的 AWS 区域。

spec > infra > configs > ssh_private_key_path

字符串

Controller 实例私钥的绝对路径。

spec > infra > configs > ssh_public_key

字符串

Controller 实例公钥的绝对路径。

spec > infra > configs > additional_ssh_public_keys

列表

将添加到应用程序实例上 ~/.ssh/authorized_keys 的其他 ssh 公钥列表。

spec > infra > configs > base_domain

字符串

要用作 API 和 UI 基础域名的 Route53 托管区域名称。

spec > infra > configs > api_sub_domain

字符串

应用程序 API 端点的子域名。

spec > infra > configs > ui_sub_domain

字符串

应用程序 UI 端点的子域名。

spec > infra > configs > elastic_sub_domain

字符串

Elasticsearch 端点的子域名。

spec > infra > configs > kibana_sub_domain

字符串

Kibana 端点的子域名。

spec > infra > configs > grafana_sub_domain

字符串

Grafana 端点的子域名。

spec > infra > configs > cdn_cache_enabled

布尔值

如果需要通过 CDN 缓存提供 UI,则为 truefalse 如果不需要从 CDN 缓存提供 UI。

spec > infra > configs > turn_server_provider

字符串

可以是 rpcoturntwilio。默认为 coturn

spec > infra > configs > clusters

映射

要创建的集群的定义。

spec > infra > configs > clusters > app

映射

要创建的应用程序集群的定义。

spec > infra > configs > clusters > app > private_instance

布尔值

始终为 true,因为要创建的应用程序实例是私有的。

spec > infra > configs > clusters > app > master

映射

应用程序集群主节点的定义。

spec > infra > configs > clusters > app > master > type

字符串

应用程序主节点的 AWS GPU 实例类型。

spec > infra > configs > clusters > app > features

映射

应用程序集群功能标志的定义。

spec > infra > configs > clusters > app > features > cns

布尔值

cns 功能标志始终为 true,因为应用程序实例需要它。

spec > infra > configs > clusters > app > features > app

布尔值

app 功能标志始终为 true,以便脚本安装 tokkio 应用程序和其他组件。

spec > infra > configs > clusters > turn

映射

turn 集群主节点的定义。

spec > infra > configs > clusters > turn > private_instance

布尔值

始终为 false,因为要创建的 turn 实例是公共的。

spec > infra > configs > clusters > turn > master

映射

turn 集群主节点的定义。

spec > infra > configs > clusters > turn > master > type

字符串

turn 主节点的 AWS 实例类型。

spec > infra > configs > clusters > turn > features

映射

turn 集群功能标志的定义。

spec > infra > configs > clusters > turn > features > cns

布尔值

turn_server_provider = rp 时为 true,否则为 false。

spec > infra > configs > clusters > turn > features > rp

布尔值

turn_server_provider = rp 时为 true,否则为 false。

spec > infra > configs > clusters > turn > features > coturn

布尔值

turn_server_provider = coturn 时为 true,否则为 false

spec > platform

映射

用于更改要使用的默认基础配置的配置。

spec > platform > configs

映射

基础配置。

spec > platform > configs > k8s_namespace

字符串

用于部署基础图表的 Kubernetes 命名空间。默认为 platform

spec > platform > configs > k8s_secret

列表

基础 helm 图表所需的 Kubernetes 密钥列表。

spec > platform > secrets > ngc_cli_api_key

字符串

用于下载 helm 图表的 NGC cli_api_key。

spec > app > configs > app_settings

映射

用于覆盖默认应用程序设置的配置。

spec > app > configs > app_settings > k8s_namespace

字符串

用于部署应用程序 helm 图表的 Kubernetes 命名空间。默认为 app。避免使用 default 命名空间。

spec > app > configs > app_settings > helm_chart

映射

要部署的应用程序的 Helm 图表配置。

spec > app > configs > app_settings > helm_chart > repo

映射

用于部署应用程序 helm 图表的远程仓库的配置。

spec > app > configs > app_settings > helm_chart > repo > enable

布尔值

用于从远程仓库使用应用程序 helm 图表的标志。默认为 true。此标志与 spec > app > configs > app_settings > helm_chart > local > enable 互斥。在给定时间,只能将其中一个设置为 true。

spec > app > configs > app_settings > helm_chart > repo > repo_url

字符串

用于部署应用程序 helm 图表的 repo_url。默认为 https://helm.ngc.nvidia.com/nvidia/ace

spec > app > configs > app_settings > helm_chart > repo > chart_name

字符串

要从远程仓库获取的应用程序 helm 图表名称,默认为 ucs-tokkio-app-base-3-stream-llm-rag-3d-ov

spec > app > configs > app_settings > helm_chart > repo > chart_version

字符串

要从远程仓库获取的应用程序 helm 图表版本。默认为 4.1.4

spec > app > configs > app_settings > helm_chart > repo > release_name

字符串

使用 helm 图表部署的应用程序的发布名称,默认为 tokkio-app。

spec > app > configs > app_settings > helm_chart > repo > user_value_override_files

列表

用户 helm 覆盖值 yml 文件的绝对路径,用于应用程序图表部署。这可以是文件列表。

spec > app > configs > app_settings > helm_chart > local

映射

用于使用本地可用的应用程序 helm 图表的配置。

spec > app > configs > app_settings > helm_chart > local > enable

布尔值

用于从本地文件夹使用应用程序 helm 图表的标志。默认为 false。此标志与 spec > app > configs > app_settings > helm_chart > repo > enable 互斥。在给定时间,只能将其中一个设置为 true。

spec > app > configs > app_settings > helm_chart > local > path

字符串

本地存在的 helm 图表的绝对路径

spec > app > configs > app_settings > helm_chart > local > release_name

字符串

使用 helm 图表部署的应用程序的发布名称,默认为 tokkio-app。

spec > app > configs > app_settings > helm_chart > local > user_value_override_files

列表

用户 helm 覆盖值 yml 文件的绝对路径,用于应用程序图表部署。这可以是文件列表。

spec > app > configs > app_settings > k8s_secrets

列表

要部署的 Kubernetes 密钥列表。

spec > app > configs > turn_server_settings

映射

用于更改 TURN 服务器设置的配置。

spec > app > configs > turn_server_settings > rp

映射

如果 rp 是在 spec > infra > configs > turn_server_provider 中设置的选择,则 rp 作为 TURN 服务器的配置

spec > app > configs > turn_server_settings > rp > k8s_namespace

字符串

用于 rproxy(rp) 图表部署的 Kubernetes 命名空间。默认为 rp

spec > app > configs > turn_server_settings > rp > helm_chart

映射

要部署的 rp 图表的 Helm 图表配置。

spec > app > configs > turn_server_settings > rp > helm_chart > repo

映射

用于部署 rp helm 图表的远程仓库的配置。

spec > app > configs > turn_server_settings > rp > helm_chart > repo_url

字符串

用于部署 rp helm 图表的 repo_url。默认为 https://helm.ngc.nvidia.com/nvidia/ace

spec > app > configs > turn_server_settings > rp > helm_chart > chart_name

字符串

要从远程仓库获取的 RP helm 图表名称。默认为 rproxy

spec > app > configs > turn_server_settings > rp > helm_chart > chart_version

字符串

要从远程仓库获取的 RP helm 图表版本。默认为 0.0.8

spec > app > configs > turn_server_settings > rp > helm_chart > release_name

字符串

正在部署的 rp 图表的 Helm 发布名称。默认为 rp

spec > app > configs > turn_server_settings > rp > k8s_secrets

列表

要部署的 kubernetes 密钥列表。

spec > app > configs > turn_server_settings > coturn

映射

spec > infra > configs > turn_server_provider 设置为 coturn 时,coturn 作为 TURN 服务器的配置详细信息。

spec > app > configs > turn_server_settings > coturn > username

字符串

设置 coturn 时使用的 Coturn 服务器用户名。默认为 foo

spec > app > configs > turn_server_settings > coturn > password

字符串

设置 coturn 时使用的 Coturn 服务器密码。默认为 bar

spec > app > configs > turn_server_settings > coturn > realm

字符串

coturn 服务器的 Realm 名称。默认为 mydummyt.org

spec > app > configs > turn_server_settings > twilio

映射

spec > infra > configs > turn_server_provider 设置为 twilio 时,Twilio 作为 TURN 服务器的配置详细信息。

spec > app > configs > turn_server_settings > twilio > account_sid

字符串

来自 twilio 帐户的 account_sid。默认为空字符串。Twilio 订阅详细信息可以在 [www.twilio.com](http://www.twilio.com/) 找到。

spec > app > configs > turn_server_settings > twilio > auth_token

字符串

来自 twilio 帐户的 auth_token。默认为空字符串。

spec > app > configs > ui_settings

映射

用于更改以覆盖默认 UI 的配置。

spec > app > configs > ui_settings > resource

映射

UI 资源的配置。

spec > app > configs > ui_settings > resource > ngc

映射

用于下载 UI 资源的 NGC 配置。

spec > app > configs > ui_settings > resource > ngc > org

字符串

UI 资源的 NGC 组织。默认为 nvidia

spec > app > configs > ui_settings > resource > ngc > team

字符串

UI 资源的 NGC 团队。默认为 ace

spec > app > configs > ui_settings > resource > ngc > name

字符串

UI 资源的 NGC 资源名称。默认为 tokkio_ui

spec > app > configs > ui_settings > resource > ngc > version

字符串

UI 资源的 NGC 资源版本。默认为 5.0.0

spec > app > configs > ui_settings > resource > ngc > file

字符串

UI 的 NGC 资源文件名。默认为 ui.tar.gz

spec > app > configs > ui_settings > user_env_vars

映射

用于覆盖默认 UI 设置的配置。

spec > app > secrets > ngc_cli_api_key

字符串

用于下载 UI 资源和 helm 图表的 NGC api 密钥。