性能

NV-CLIP NIM 的性能是通过测量 API 调用的端到端延迟来计算的。它是 100 次迭代的平均值。

延迟值以秒为单位；吞吐量值以每秒输入为单位。

GPU	精度	输入类型	分辨率	批大小	延迟	吞吐量
H100 SXM	FP16	图像	350x197	64	0.2568	249.22
H100 PCIe	FP16	图像	350x197	64	0.2568	249.22
A100 SXM	FP16	图像	350x197	64	0.3968	160.57
A100 PCIe	FP16	图像	350x197	64	0.3968	160.57
L40S	FP16	图像	350x197	64	0.3562	179.67
A10G	FP16	图像	350x197	64	0.615	104.07
A6000 Ada	FP16	图像	350x197	64	0.3701	172.93
RTX 4090	FP16	图像	350x197	64	0.339	188.78