模型分析器#

Triton 模型分析器是一个工具，它使用性能分析器在向您的模型发送请求时测量 GPU 内存和计算利用率。模型分析器特别适用于表征您的模型在不同批处理和模型实例配置下的 GPU 内存需求。一旦您获得了此 GPU 内存使用信息，您就可以更明智地决定如何在同一 GPU 上组合多个模型，同时保持在 GPU 的内存容量范围内。

有关使用模型分析器的更详细示例和说明，请参阅