高级 GPU 配置(可选)#

在 2.0 版本中添加。

计算工作负载可以受益于使用独立的 GPU 分区。GPU 分区的灵活性允许单个 GPU 被中小型和大型工作负载共享和使用。GPU 分区可以是执行深度学习工作负载的有效选择。一个例子是深度学习训练和推理工作流程,它们使用较小的数据集,但高度依赖于数据/模型的大小,用户可能需要减少批量大小。

下图说明了一个 GPU 分区用例,其中多租户、多用户共享单个 A100 (40GB)。在此用例中,单个 A100 可用于多个工作负载,例如深度学习训练、微调、推理、Jupiter Notebook、调试等。

_images/dg-gpu-part-01.png

当 VM 使用 MIG 支持的虚拟 GPU 时,vGPU 引入的新功能之一是能够拥有不同大小(异构)的分区 GPU 实例。NVIDIA vGPU 软件仅在 Linux 客户操作系统上支持具有 NVIDIA C 系列 vGPU 类型的 MIG GPU 实例。为了支持具有 NVIDIA vGPU 的 GPU 实例,GPU 必须配置为启用 MIG 模式,并且必须在物理 GPU 上创建和配置 GPU 实例。

有关 MIG 的更多详细信息,请参见NVIDIA 多实例 GPU 用户指南