多节点部署

使用 Kubernetes 的多节点部署

注意

需要 NIM 版本 1.1.0+

有些模型过大，即使使用多个 GPU 也无法在单个节点上部署。对于这些模型，您可以通过在多个不同的节点上部署 NIM（每个节点都可以访问模型权重），从而跨不同节点（以及每个节点上的不同 GPU）拆分模型权重。

要确定您的模型是否需要多节点部署，请在Supported Models中查找所需模型所需的 GPU 数量。如果您没有单个节点具有至少指定数量的 GPU，则必须使用多节点部署。

多节点部署需要协调跨多个不同节点的 NIM 容器的创建，并建立这些容器之间通信的方法。推荐的编排方法是使用 Kubernetes 和 nim-deploy helm chart。