支持矩阵#
模型#
模型名称 |
模型 ID |
发布者 |
|---|---|---|
Maxine 眼神交流 |
maxine-eye-contact |
NVIDIA |
优化配置#
GPU |
精度 |
|---|---|
V100 |
FP16 |
T4 |
FP16 |
A2, A10, A16, A40 |
FP16 |
L4, L40 |
FP16 |
不建议使用不支持 NVENC/NVDEC 硬件加速的 GPU，包括 A100/H100 产品。
软件#
NVIDIA 驱动程序和先决条件#
Maxine 眼神交流 NIM 的 NVIDIA 驱动程序要求和其他先决条件
先决条件 |
版本 |
下载和安装步骤 |
|---|---|---|
适用于 Linux 的 NVIDIA 图形驱动程序 |
520.61+ |
|
Docker |
最新 |
Ubuntu, CentOS, Debian: http://docs.docker.net.cn/engine/install/ Rocky Linux: http://docs.rocky-linux.cn/gemstones/containers/docker/ |
NVIDIA Container Toolkit |
最新 |
安装和配置说明： http://docs.nvda.net.cn/datacenter/cloud-native/container-toolkit/latest/install-guide.html |
Maxine 眼神交流 NIM 利用以下 NVIDIA 软件平台
组件 |
版本 |
|---|---|
CUDA |
11.8 |
cuDNN |
8.9.1.23 |
TRT |
8.6.1.6 |
Triton 推理服务器 |
2.35.0 |
DeepStream |
6.2 |