Kubernetes 部署#

要开始使用 Audio2Face 集群的简单 kubernetes 部署，您可以使用我们的快速部署脚本。

它假定以下依赖项

microk8s
microk8s GPU 插件运行 NVIDIA GPU 操作器。
有效的 NGC 令牌，用于连接到 NVIDIA 的镜像仓库，以及配置的 NGC CLI。

注意

如果这是您第一次部署 A2F 并且您的主机已经设置了 kubernetes，请删除 ~/.kube/ 文件夹。如果需要，您可以备份此文件夹

$ mv ~/.kube ~/.kube.bk

1. 安装 microk8s，GPU 插件，设置本地路径 provisioner 并设置密钥#

运行以下命令以使用 snap 安装带有 GPU 插件的 microk8s。

$ if [ -d $HOME/.kube ]; then
          echo "kubernetes already setup; skipping microk8s installation; please rm -rf $HOME/.kube to force installation"
  else
          sudo snap install microk8s --revision=5891 --classic
          sudo microk8s enable gpu --version v23.6.1
          sudo snap install --classic kubectl
          sudo snap install helm --classic
          sudo usermod -a -G microk8s ${USER}
          mkdir -p $HOME/.kube
          sudo microk8s config > $HOME/.kube/config
          sudo chown $(id -u):$(id -g) $HOME/.kube/config
          sudo microk8s stop
          sudo microk8s refresh-certs --cert ca.crt
          sudo microk8s start
          sudo microk8s status --wait-ready
  fi

然后为了避免使用 sudo 运行

$ newgrp microk8s

通过运行以下命令设置本地路径 provisioner

$ curl https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.23/deploy/local-path-storage.yaml | sed 's/^  name: local-path$/  name: mdx-local-path/g' | microk8s kubectl apply -f -

在环境变量中导出 NGC API KEY

$ export NGC_API_KEY=<value>

删除任何预先存在的密钥，并使用您有效的 NGC_API_KEY 设置所需的密钥

$ microk8s kubectl delete secret --ignore-not-found ngc-docker-reg-secret
$ microk8s kubectl delete secret --ignore-not-found ngc-api-key-secret
$ microk8s kubectl create secret docker-registry ngc-docker-reg-secret --docker-username='$oauthtoken' --docker-password=$NGC_API_KEY --docker-server=nvcr.io
$ microk8s kubectl create secret generic ngc-api-key-secret --from-literal=NGC_API_KEY=$NGC_API_KEY

1. 下载并安装 Helm Chart#

使用以下命令创建一个新目录并将 Helm Chart 下载到其中

$ export HELM_VERSION=1.2.0
$ mkdir a2f-3d-nim/ && cd a2f-3d-nim/
$ microk8s helm fetch https://helm.ngc.nvidia.com/nim/nvidia/charts/audio2face-3d-"$HELM_VERSION".tgz --username='$oauthtoken' --password=$NGC_API_KEY
$ tar xvf audio2face-3d-$HELM_VERSION.tgz

Helm Chart 包括 A2F-3D 服务的可观测性功能。有关可观测性的更多详细信息，请参阅此页面：可观测性。

然后，您可以通过执行以下命令安装 Helm Chart

$ microk8s helm install a2f-3d-nim audio2face-3d/

2. 可选 - 公开 Pod IP#

您需要公开 Pod ID，以便从另一台机器访问 A2F-3D NIM。如果这不是您的用例，您可以跳过此步骤。

以下 yaml 文件定义了 Kubernetes 集群中外部系统和 a2f-a2f-deployment-a2f-service Pod 之间通信的端口集。阅读注释以了解文件结构。

您可以根据需要调整外部端口，确保它们在 30000–32767 范围内。要应用 YAML 文件并公开指定的端口，请运行以下命令

$ sudo microk8s kubectl apply -f service_expose.yaml

然后您需要删除 Audio2Face-3D Pod 以重启它。

$ microk8s kubectl delete pods <audio2face_pod_name>

可以通过运行以下命令找到 <audio2face_pod_name>

$ microk8s kubectl get pods
NAME                                  READY   STATUS             RESTARTS       AGE
a2f-a2f-deployment-xxx-xxx            1/1     Running            0              1h

在这里：a2f-a2f-deployment-xxx-xxx

3. 检查它是否启动并运行#

执行以下命令以检查应用程序是否已成功部署。请注意，命令输出可能会有所不同。

$ microk8s kubectl get pods
  NAME                                 READY   STATUS    RESTARTS   AGE
  a2f-a2f-deployment-94d89f979-v6n24   0/1     Init:0/1  0          53s

注意

如果您看到状态为 ImagePullBackOff，则重新配置密钥。确保您的 NGC_API_KEY 有效。

注意

如果您看到状态为 Pending，则需要再次设置本地路径 provisioner

$ curl https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.23/deploy/local-path-storage.yaml | sed 's/^  name: local-path$/  name: mdx-local-path/g' | microk8s kubectl apply -f -

等待一段时间，直到 STATUS 更改为 Running。

要运行客户端应用程序，您将需要外部 IP 和端口进行连接。您可以通过执行以下命令获取此信息

$ microk8s kubectl get svc
  NAME                             TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                       AGE
  a2f-a2f-deployment-a2f-service   ClusterIP   <ip>            <none>        50010/TCP,9464/TCP,8000/TCP   56m

然后，您可以尝试使用 Audio2Face-3D 进行交互，例如使用提供的示例应用程序。

卸载应用程序#

要卸载应用程序，请运行

$ microk8s helm uninstall a2f-3d-nim