先决条件#
首先使用 Docker 支持的操作系统
安装 Docker - 最低版本:23.0.1
安装 NVIDIA 驱动程序 - 最低版本:535
安装 NVIDIA Container Toolkit - 最低版本:1.13.5
通过运行以下命令验证您的容器运行时是否支持 NVIDIA GPU
docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi
示例输出
+-----------------------------------------------------------------------------+ | NVIDIA-SMI 525.78.01 Driver Version: 525.78.01 CUDA Version: 12.0 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |===============================+======================+======================| | 0 NVIDIA GeForce ... Off | 00000000:01:00.0 Off | N/A | | 41% 30C P8 1W / 260W | 2244MiB / 11264MiB | 0% Default | | | | N/A | +-------------------------------+----------------------+----------------------+ +-----------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=============================================================================| +-----------------------------------------------------------------------------+
注意
有关枚举多 GPU 系统的更多信息,请参阅 NVIDIA Container Toolkit 的 GPU 枚举文档
支持的硬件#
MolMIM NIM 配置为在单个 GPU 上运行。MolMIM NIM 的最低 GPU 内存要求为 3GB。MolMIM NIM 应在满足此最低硬件要求且计算能力 >7.0 的任何 NVIDIA GPU 上运行。MolMIM NIM 还至少需要 50GB 的可用硬盘空间。
NGC (NVIDIA GPU Cloud) 帐户#
使用您的 NGC API 密钥通过 Docker 登录,使用命令
docker login nvcr.io --username='$oauthtoken' --password=${NGC_CLI_API_KEY}
NGC CLI 工具#
为您的操作系统下载
NGC CLI tool <https://org.ngc.nvidia.com/setup/installers/cli>
__。
重要提示
使用 NGC CLI 版本
3.41.1
或更高版本。以下是在 AMD64 Linux 上的主目录中安装此版本的命令
wget --content-disposition https://api.ngc.nvidia.com/v2/resources/nvidia/ngc-apps/ngc_cli/versions/3.41.3/files/ngccli_linux.zip -O ~/ngccli_linux.zip && \ unzip ~/ngccli_linux.zip -d ~/ngc && \ chmod u+x ~/ngc/ngc-cli/ngc && \ echo "export PATH=\"\$PATH:~/ngc/ngc-cli\"" >> ~/.bash_profile && source ~/.bash_profile
在本地设置您的 NGC CLI 工具(您将需要您的 API 密钥!)
ngc config set
注意
输入 API 密钥后,您可能会看到组织和团队的多个选项。根据需要选择或按 Enter 键接受默认值。