高级配置#

Config-template 文件参数定义#

虽然 config-template-examples 文件夹提供了可工作的最简示例,但你可以更大程度地自定义 config-template.yml。下表详细解释了 config-template.yml 的每个属性。

Azure 高级配置#

参数名称

类型

可选

描述

schema_version

string

Config-Template 模式版本

name

string

用于标识正在创建的基础设施资源的唯一名称。

spec

map

基础设施和应用程序配置。

spec > infra

string

基础设施配置。

spec > infra > csp

string

云服务提供商名称,在本例中为 azure

spec > infra > backend

map

Terraform 后端配置,用于存储基础设施状态。

spec > infra > backend > tenant_id

string

状态存储帐户的 Azure 租户 ID。

spec > infra > backend > subscription_id

string

状态存储帐户的 Azure 订阅 ID。

spec > infra > backend > client_id

string

有权访问订阅的应用程序注册的 Azure 客户端 ID。

spec > infra > backend > client_secret

string

上述客户端 ID 的 Azure 客户端密钥。

spec > infra > backend > resource_group_name

string

状态存储帐户的 Azure 资源组名称。

spec > infra > backend > storage_account_name

string

状态存储帐户的 Azure 存储帐户名称。

spec > infra > backend > container_name

string

状态存储帐户中用于状态存储的容器的 Azure 存储帐户容器名称。

spec > infra > provider > tenant_id

string

将部署应用程序的 Azure 租户 ID。

spec > infra > provider > subscription_id

string

将部署应用程序的 Azure 订阅 ID。

spec > infra > provider > client_id

string

有权访问订阅的应用程序注册的 Azure 客户端 ID。

spec > infra > provider > client_secret

string

上述客户端 ID 的 Azure 客户端密钥。

spec > infra > configs

map

附加基础设施配置。

spec > infra > configs > cns

map

Nvidia 云原生堆栈配置。有关云原生堆栈的更多详细信息,请参阅此处 [NVIDIA/cloud-native-stack](NVIDIA/cloud-native-stack)。

spec > infra > configs > cns > version

string

要在集群上安装的 Nvidia 云原生堆栈版本。默认为 12.2。

spec > infra > configs > cns > git_ref

string

Nvidia 云原生堆栈的 git 提交哈希值。默认情况下,它采用 master 分支的最新提交哈希值。

spec > infra > configs > cns > override_values

map

设置集群时要覆盖的 Nvidia 云原生堆栈值。

spec > infra > configs > cns > override_values > cns_nvidia_driver

bool

如果你想使用运行文件方法安装 nvidia 驱动程序,请设置为 yes,否则为 no。默认为 no。将此标志设置为 yes 以支持最新的 OS 内核。

spec > infra > configs > cns > override_values > gpu_driver_version

string

用于将 gpu_driver_version 更改为与所选 Nvidia 云原生堆栈版本默认安装的版本不同的版本的配置。

spec > infra > configs > user_access_cidrs

list

指定一个 CIDR 块,其中包含将访问 Tokkio UI 的所有客户端机器的 IP 地址。

spec > infra > configs > dev_access_cidrs

list

指定一个 CIDR 块,其中包含所有需要 SSH 访问 Tokkio Azure 实例的开发人员机器的 IP 地址。

spec > infra > configs > region

string

AZURE 区域,将在其中部署应用程序的资源。

spec > infra > configs > ssh_private_key_path

string

Controller 实例的私钥的绝对路径。

spec > infra > configs > ssh_public_key

string

Controller 实例的公钥的绝对路径。

spec > infra > configs > additional_ssh_public_keys

list

将添加到应用程序实例上 ~/.ssh/authorized_keys 的附加 ssh 公钥列表。

spec > infra > configs > dns_and_certs_configs

map

DNS 和证书配置。

spec > infra > configs > dns_and_certs_configs > resource_group

string

DNS 区域和包含证书的密钥保管库的资源组。

spec > infra > configs > dns_and_certs_configs > dns_zone

string

要用作 API 和可选 UI 的基本域的 DNS 区域名称。

spec > infra > configs > dns_and_certs_configs > wildcard_cert

string

可以针对各种部署使用的通配符证书的名称。

spec > infra > configs > api_sub_domain

string

应用程序 API 端点的子域名。

spec > infra > configs > ui_sub_domain

string

应用程序 UI 端点的子域名。

spec > infra > configs > elastic_sub_domain

string

Elastic 端点的子域名。

spec > infra > configs > kibana_sub_domain

string

Kibana 端点的子域名。

spec > infra > configs > grafana_sub_domain

string

Grafana 端点的子域名。

spec > infra > configs > include_ui_custom_domain

bool

如果 UI 需要自定义基本域,则为 truefalse 如果 azure 管理的基本域可以接受。

spec > infra > configs > turn_server_provider

string

可以是 rpcoturntwilio。默认为 coturn

spec > infra > configs > clusters

map

要创建的集群的定义。

spec > infra > configs > clusters > app

map

要创建的 App 集群的定义。

spec > infra > configs > clusters > app > private_instance

bool

始终为 true,因为要创建的应用程序实例是私有的。

spec > infra > configs > clusters > app > master

map

应用程序集群主节点的定义。

spec > infra > configs > clusters > app > master > size

string

应用程序主节点的 AZURE GPU vm 大小。

spec > infra > configs > clusters > app > features

map

应用程序集群的功能标志的定义。

spec > infra > configs > clusters > app > features > cns

bool

cns 功能标志始终为 true,因为用于安装 Nvidia 云原生堆栈。

spec > infra > configs > clusters > app > features > app

bool

app 功能标志始终为 true,因为用于安装 tokkio 应用程序和其他组件。

spec > infra > configs > clusters > turn

map

turn 集群主节点的定义。

spec > infra > configs > clusters > turn > private_instance

bool

始终为 false,因为要创建的 TURN 服务器实例是公共的。

spec > infra > configs > clusters > turn > master

map

turn 集群主节点的定义。

spec > infra > configs > clusters > turn > master > type

string

turn 主节点的 AZURE vm 大小。

spec > infra > configs > clusters > turn > features

map

turn 集群的功能标志的定义。

spec > infra > configs > clusters > turn > features > cns

bool

turn_server_provider = rp 时为 true,否则为 false

spec > infra > configs > clusters > turn > features > rp

bool

turn_server_provider = rp 时为 true,否则为 false

spec > infra > configs > clusters > turn > features > coturn

bool

turn_server_provider = coturn 时为 true,否则为 false

spec > platform

map

用于更改要使用的默认基础配置的配置。

spec > platform > configs

map

基础配置。

spec > platform > configs > k8s_namespace

string

要部署的基础图表的 Kubernetes 命名空间。默认为 platform

spec > platform > configs > k8s_secrets

list

基础图表所需的 Kubernetes 密钥列表。

spec > platform > secrets > ngc_cli_api_key

string

用于下载要使用的 helm 图表的 NGC API 密钥。

spec > app > configs > app_settings

map

用于更改默认应用程序设置的配置。

spec > app > configs > app_settings > k8s_namespace

string

应用程序图表的 Kubernetes 命名空间。默认为 app

spec > app > configs > app_settings > helm_chart

map

Tokkio 应用程序的 Helm 图表配置。

spec > app > configs > app_settings > helm_chart > repo

map

用于 Tokkio 应用程序 helm 图表的远程仓库的配置。

spec > app > configs > app_settings > helm_chart > repo > enable

bool

从远程仓库使用应用程序 helm 图表的标志。默认为 true。此标志与 spec > app > configs > app_settings > helm_chart > local > enable 互斥。在给定时间,只能将其中一个设置为 true。

spec > app > configs > app_settings > helm_chart > repo > repo_url

string

应用程序 helm 图表的 repo_url。默认为 https://helm.ngc.nvidia.com/nvidia/ace

spec > app > configs > app_settings > helm_chart > repo > chart_name

string

要从远程仓库获取的应用程序 helm 图表名称,默认为 ucs-tokkio-app-base-3-stream-llm-rag-3d-ov

spec > app > configs > app_settings > helm_chart > repo > chart_version

string

要从远程仓库获取的应用程序 helm 图表版本,默认为 4.1.4

spec > app > configs > app_settings > helm_chart > repo > release_name

string

应用程序 helm 图表的发布名称。默认为 tokkio-app

spec > app > configs > app_settings > helm_chart > repo > user_value_override_files

list

用于应用程序图表部署的用户 helm 覆盖 values.yml 文件的绝对路径。这是一个列表,因此可以提供多个。

spec > app > configs > app_settings > helm_chart > local

map

使用本地存在的图表更改应用程序 helm 图表部署的配置。

spec > app > configs > app_settings > helm_chart > local > enable

bool

从本地文件夹使用应用程序 helm 图表的标志。默认为 false。此标志与 spec > app > configs > app_settings > helm_chart > repo > enable 互斥。在给定时间,只能将其中一个设置为 true。

spec > app > configs > app_settings > helm_chart > local > path

string

本地存在的 helm 图表的绝对路径

spec > app > configs > app_settings > helm_chart > local > release_name

string

使用 helm 图表部署的应用程序的发布名称,默认为 tokkio-app。

spec > app > configs > app_settings > helm_chart > local > user_value_override_files

list

用于应用程序图表部署的用户覆盖 values.yml 文件的绝对路径。这是一个列表,因此可以提供多个。

spec > app > configs > app_settings > k8s_secrets

list

要部署的 Kubernetes 密钥列表。

spec > app > configs > turn_server_settings

map

用于更改 TURN 服务器设置的配置。

spec > app > configs > turn_server_settings > rp

map

如果 rp 是在 spec > infra > configs > turn_server_provider 中设置的选择,则配置 rp 作为 TURN 服务器。

spec > app > configs > turn_server_settings > rp > k8s_namespace

string

用于 rproxy(rp) 图表部署的 Kubernetes 命名空间。默认为 rp。

spec > app > configs > turn_server_settings > rp > helm_chart

map

要部署的 rp 图表的 Helm 图表配置。

spec > app > configs > turn_server_settings > rp > helm_chart > repo

map

用于要部署的 rp helm 图表的远程仓库的配置。

spec > app > configs > turn_server_settings > rp > helm_chart > repo_url

string

rp helm 图表的 repo_url。默认为 [https://helm.ngc.nvidia.com/nvidia/ace](https://helm.ngc.nvidia.com/nvidia/ace)。

spec > app > configs > turn_server_settings > rp > helm_chart > chart_name

string

要从远程仓库获取的 RP helm 图表名称,默认为 rproxy。

spec > app > configs > turn_server_settings > rp > helm_chart > chart_version

string

要从远程仓库获取的 RP helm 图表版本,默认为 0.0.8。

spec > app > configs > turn_server_settings > rp > helm_chart > release_name

string

使用 helm 图表部署的 rp 的发布名称,默认为 rp。

spec > app > configs > turn_server_settings > rp > k8s_secrets

list

要部署的 kubernetes 密钥列表。

spec > app > configs > turn_server_settings > coturn

map

spec > infra > configs > turn_server_provider 设置为 coturn 时,coturn 作为 TURN 服务器的配置详情。

spec > app > configs > turn_server_settings > coturn > username

string

设置 coturn 时使用的 Coturn 服务器用户名。默认为 foo。

spec > app > configs > turn_server_settings > coturn > password

string

设置 coturn 时使用的 Coturn 服务器密码。默认为 bar。

spec > app > configs > turn_server_settings > coturn > realm

string

coturn 服务器的 Realm 名称,默认为 mydummyt.org

spec > app > configs > turn_server_settings > twilio

map

spec > infra > configs > turn_server_provider 设置为 twilio 时,Twilio 作为 TURN 服务器的配置详情。

spec > app > configs > turn_server_settings > twilio > account_sid

string

来自 twilio 帐户的 account_sid。默认为空字符串。Twilio 订阅详情请访问 [www.twilio.com](http://www.twilio.com/) 获取。

spec > app > configs > turn_server_settings > twilio > auth_token

string

来自 twilio 帐户的 auth_token。默认为空字符串。

spec > app > configs > ui_settings

map

用于更改以覆盖默认 UI 的配置

spec > app > configs > ui_settings > resource

map

用于要使用的 UI 资源的配置

spec > app > configs > ui_settings > resource > ngc

map

从 NGC 下载 UI 资源的配置

spec > app > configs > ui_settings > resource > ngc > org

string

UI 资源的 NGC 组织。默认为 nvidia

spec > app > configs > ui_settings > resource > ngc > team

string

UI 资源的 NGC 团队。默认为 ace

spec > app > configs > ui_settings > resource > ngc > name

string

UI 资源的 NGC 资源名称。默认为 tokkio_ui

spec > app > configs > ui_settings > resource > ngc > version

string

UI 资源的 NGC 资源版本。默认为 5.0.0

spec > app > configs > ui_settings > resource > ngc > file

string

UI 的 NGC 资源文件名。默认为 ui.tar.gz

spec > app > configs > ui_settings > user_env_vars

map

用于覆盖默认 UI 设置的配置。

spec > app > secrets > ngc_cli_api_key

string

用于下载 UI 资源和要使用的 helm 图表的 NGC api 密钥。