支持矩阵#
模型#
GenMol NIM 支持通用模型配置文件，可与任何具有足够内存容量的 NVIDIA GPU 配合使用。
精度 |
磁盘空间 |
配置文件 ID |
|---|---|---|
FP32 |
340MB |
a525212dd4373ace3be568a38b5d189a6fb866e007adf56e750ccd11e896b036 |
支持的硬件#
GPU#
GPU |
GPU 内存 (GB) |
精度 |
配置文件 |
GPU 数量 |
|---|---|---|---|---|
H100 |
80 |
FP32 |
通用 |
1 |
A100 |
40 或 80 |
FP32 |
通用 |
1 |
L40S |
48 |
FP32 |
通用 |
1 |
A10G |
24 |
FP32 |
通用 |
1 |
A6000 |
48 |
FP32 |
通用 |
1 |
最低 GPU 内存#
16GB
磁盘空间#
NVIDIA 建议容器和模型至少需要 20GB 的磁盘空间。
CUDA 计算能力#
此 NIM 需要 CUDA 计算能力 ≥ 7.0。
支持的软件#
NVIDIA 驱动程序和先决条件#
先决条件 |
版本 |
链接 |
|---|---|---|
适用于 Linux 的 NVIDIA 显卡驱动程序 |
535.104.05 或更高版本 |
|
NVIDIA Container Toolkit |
最新 |
http://docs.nvda.net.cn/datacenter/cloud-native/container-toolkit/latest/install-guide.html |
Docker |
最新 |
Ubuntu, CentOS, Debian: http://docs.docker.net.cn/engine/install/ |