支持矩阵#
硬件#
NVIDIA NIM for NV-CLIP 可在任何受支持的 NVIDIA GPU 上运行。 更多信息，请参考支持的模型部分。
软件#
Linux 操作系统（推荐 Ubuntu 22.04 或更高版本）
NVIDIA 驱动程序 >= 535
NVIDIA Docker >= 23.0.1
支持的模型#
这些模型使用 TRT 进行了优化，并在 NGC 上作为预构建的优化引擎提供，应使用嵌入端点。
NV-CLIP NIM#
优化配置#
GPU 内存和磁盘空间的值单位为 GB；磁盘空间包括容器和模型；配置文件指模型优化的目标。
GPU |
GPU 内存 |
精度 |
GPU 数量 |
磁盘空间 |
|---|---|---|---|---|
H100 SXM |
80 |
FP16 |
1 |
30 |
H100 PCIe |
80 |
FP16 |
1 |
30 |
A100 SXM |
80 |
FP16 |
1 |
30 |
A100 PCIe |
80 |
FP16 |
1 |
30 |
L40S |
48 |
FP16 |
1 |
30 |
A10G |
24 |
FP16 |
1 |
30 |
A6000 Ada |
48 |
FP16 |
1 |
30 |
RTX 4090 |
48 |
FP16 |
1 |
30 |
非优化配置#
NV-CLIP NIM 支持在这些列出的 GPU 以外的 GPU 上进行非优化配置。