为本地 HA 规模集群设置虚拟机

请按照以下步骤在本地部署中的服务器集群上设置和配置 VM。首先在主节点上配置 VM，然后在每个附加节点上配置 VM。 NVIDIA 建议将虚拟机安装在不同的服务器上，以提高硬件故障时的冗余。

系统要求

验证集群中*每个节点*是否满足 VM 要求。

端口要求

确认所需的端口已打开以进行通信。

此外，对于内部集群通信，您必须打开以下端口

安装和配置

1. 下载 NetQ 镜像。

   a. 登录您的 NVIDIA Application Hub 帐户。
   b. 选择NVIDIA Licensing Portal。
   c. 从菜单中选择Software Downloads。
   d. 单击Product Family并选择 NetQ。
   e. 对于使用 KVM 的部署，下载 NetQ SW 4.12.0 KVM Scale 镜像。对于使用 VMware 的部署，下载 NetQ SW 4.12.0 VMware Scale 镜像
   f. 如果出现提示，请阅读许可协议并继续下载。
   

2. 打开您的虚拟机监控程序并配置您的 VM。您可以参考以下示例或使用您自己的虚拟机监控程序说明。

3. 登录到 VM 并更改密码。

首次登录时使用默认凭据

• 用户名：cumulus
• 密码：cumulus

$ ssh cumulus@<ipaddr>
Warning: Permanently added '<ipaddr>' (ECDSA) to the list of known hosts.
Ubuntu 20.04 LTS
cumulus@<ipaddr>'s password:
You are required to change your password immediately (root enforced)
System information as of Thu Dec  3 21:35:42 UTC 2020
System load:  0.09              Processes:           120
Usage of /:   8.1% of 61.86GB   Users logged in:     0
Memory usage: 5%                IP address for eth0: <ipaddr>
Swap usage:   0%
WARNING: Your password has expired.
You must change your password now and login again!
Changing password for cumulus.
(current) UNIX password: cumulus
Enter new UNIX password:
Retype new UNIX password:
passwd: password updated successfully
Connection to <ipaddr> closed.

使用新密码再次登录。

$ ssh cumulus@<ipaddr>
Warning: Permanently added '<ipaddr>' (ECDSA) to the list of known hosts.
Ubuntu 20.04 LTS
cumulus@<ipaddr>'s password:
  System information as of Thu Dec  3 21:35:59 UTC 2020
  System load:  0.07              Processes:           121
  Usage of /:   8.1% of 61.86GB   Users logged in:     0
  Memory usage: 5%                IP address for eth0: <ipaddr>
  Swap usage:   0%
Last login: Thu Dec  3 21:35:43 2020 from <local-ipaddr>
cumulus@ubuntu:~$

4. 验证主节点是否已准备好进行安装。在安装 NetQ 软件之前，修复任何错误。

cumulus@hostname:~$ sudo opta-check scale

5. 将 VM 的主机名从默认值更改。

NetQ 虚拟机的默认主机名为 *ubuntu*。更改主机名以符合您的命名约定，同时满足 Internet 和 Kubernetes 命名标准。

使用以下命令

cumulus@hostname:~$ sudo hostnamectl set-hostname NEW_HOSTNAME

将相同的 NEW_HOSTNAME 值添加到 VM 上的 /etc/hosts 中，用于 localhost 条目。例如

127.0.0.1 localhost NEW_HOSTNAME

6. 打开您的虚拟机监控程序，并以与主节点相同的方式为附加节点设置 VM。

7. 在每个节点上运行以下命令，以验证该节点是否已准备好进行 NetQ 软件安装。在安装软件之前，修复指示的任何错误。

cumulus@hostname:~$ sudo opta-check scale

8. 使用 CLI 安装和激活 NetQ 软件。

在您的*主*节点上运行以下命令以初始化集群。复制命令的输出以在您的附加 HA 和工作节点上使用

cumulus@<hostname>:~$ netq install cluster master-init
    Please run the following command on all worker nodes:
    netq install cluster worker-init c3NoLXJzYSBBQUFBQjNOemFDMXljMkVBQUFBREFRQUJBQUFCQVFDM2NjTTZPdVM3dQN9MWTU1a

9. 在您的每个工作节点上运行 netq install cluster worker-init <ssh-key> 命令。

10. 在您的主节点上运行 netq install cluster config generate 命令，以生成集群配置 JSON 文件的模板

cumulus@netq-server:~$ netq install cluster config generate
2024-10-28 17:29:53.260462: master-node-installer: Writing cluster installation configuration template file @ /tmp/cluster-install-config.json

11. 使用每个属性的所需值编辑集群配置 JSON 文件

cumulus@netq-server:~$ vim /tmp/cluster-install-config.json 
{
        "version": "v2.0",
        "interface": "<INPUT>",
        "cluster-vip": "<INPUT>",
        "master-ip": "<INPUT>",
        "is-ipv6": false,
        "ha-nodes": [
                {
                        "ip": "<INPUT>"
                },
                {
                        "ip": "<INPUT>"
                }
        ]
}

cumulus@netq-server:~$ vim /tmp/cluster-install-config.json 
{
        "version": "v2.0",
        "interface": "eth0",
        "cluster-vip": "10.176.235.101",
        "master-ip": "10.176.235.50",
        "is-ipv6": false,
        "pod-ip-range": "192.168.0.1/32",
	"service-ip-range": "172.168.0.1/32",
        "ha-nodes": [
                {
                        "ip": "10.176.235.51"
                },
                {
                        "ip": "10.176.235.52"
                }
        ]
}

cumulus@netq-server:~$ vim /tmp/cluster-install-config.json 
{
        "version": "v2.0",
        "interface": "eth0",
        "cluster-vip": "10.176.235.101",
        "master-ip": "10.176.235.50",
        "is-ipv6": false,
        "ha-nodes": [
                {
                        "ip": "10.176.235.51"
                },
                {
                        "ip": "10.176.235.52"
                }
        ]
}

12. 在您的主 HA 节点上运行以下命令，使用在步骤 11 中创建的 JSON 配置文件

cumulus@<hostname>:~$ netq install cluster bundle /mnt/installables/NetQ-4.12.0.tgz /tmp/cluster-install-config.json

验证安装状态

要查看安装状态，请使用 netq show status [verbose] 命令。以下示例显示了成功的本地安装

State: Active
    NetQ Live State: Active
    Installation Status: FINISHED
    Version: 4.12.0
    Installer Version: 4.12.0
    Installation Type: Cluster
    Activation Key: EhVuZXRxLWVuZHBvaW50LWdhdGV3YXkYsagDIixPSUJCOHBPWUFnWXI2dGlGY2hTRzExR2E5aSt6ZnpjOUvpVVTaDdpZEhFPQ==
    Master SSH Public Key: c3NoLXJzYSBBQUFBQjNOemFDMXljMkVBQUFBREFRQUJBQUFCZ1FDNW9iVXB6RkczNkRC
    Is Cloud: False
    
    Kubernetes Cluster Nodes Status:
    IP Address    Hostname     Role    NodeStatus    Virtual IP
    ------------  -----------  ------  ------------  ------------
    10.213.7.52   10.213.7.52  Worker  Ready         10.213.7.53
    10.213.7.51   10.213.7.51  Worker  Ready         10.213.7.53
    10.213.7.49   10.213.7.49  Master  Ready         10.213.7.53
    
    In Summary, Live state of the NetQ is... Active

运行 netq show opta-health 命令以验证所有应用程序是否正常运行。至少等待 15 分钟，让所有应用程序启动并报告其状态。

cumulus@hostname:~$ netq show opta-health
    Application                                            Status    Namespace      Restarts    Timestamp
    -----------------------------------------------------  --------  -------------  ----------  ------------------------
    cassandra-rc-0-w7h4z                                   READY     default        0           Fri Apr 10 16:08:38 2020
    cp-schema-registry-deploy-6bf5cbc8cc-vwcsx             READY     default        0           Fri Apr 10 16:08:38 2020
    kafka-broker-rc-0-p9r2l                                READY     default        0           Fri Apr 10 16:08:38 2020
    kafka-connect-deploy-7799bcb7b4-xdm5l                  READY     default        0           Fri Apr 10 16:08:38 2020
    netq-api-gateway-deploy-55996ff7c8-w4hrs               READY     default        0           Fri Apr 10 16:08:38 2020
    netq-app-address-deploy-66776ccc67-phpqk               READY     default        0           Fri Apr 10 16:08:38 2020
    netq-app-admin-oob-mgmt-server                         READY     default        0           Fri Apr 10 16:08:38 2020
    netq-app-bgp-deploy-7dd4c9d45b-j9bfr                   READY     default        0           Fri Apr 10 16:08:38 2020
    netq-app-clagsession-deploy-69564895b4-qhcpr           READY     default        0           Fri Apr 10 16:08:38 2020
    netq-app-configdiff-deploy-ff54c4cc4-7rz66             READY     default        0           Fri Apr 10 16:08:38 2020
    ...