高级 GPU 配置(可选)#
在 2.0 版本中添加。
计算工作负载可以从使用独立的 GPU 分区中获益。GPU 分区的灵活性允许单个 GPU 被小型、中型和大型工作负载共享和使用。GPU 分区可以是执行深度学习工作负载的有效选项。例如,深度学习训练和推理工作流程,它们使用较小的数据集,但高度依赖于数据/模型的大小,用户可能需要减小批量大小。
以下图示说明了 GPU 分区的一个用例,其中多租户、多个用户共享单个 A100 (40GB)。 在此用例中,单个 A100 可用于多个工作负载,例如深度学习训练、微调、推理、Jupiter Notebook、调试等。

GPU 使用多实例 GPU (MIG) 空间分区进行分区。 有关 MIG 的更多详细信息,请参阅 NVIDIA 多实例 GPU 用户指南。