支持矩阵

这些支持矩阵概述了 TensorRT API、解析器和层的支持平台、功能和硬件能力。

平台和软件的功能

每个平台支持的功能列表

软件	Linux x86-64	Windows x64	Linux SBSA	JetPack
	10.8.x	10.8.x	10.8.x	10.7.x
NVIDIA CUDA	12.8 12.6 update 3 [2] 12.5 update 1 [2] 12.4 update 1 [2] 12.3 update 2 [2] 12.2 update 2 [2] 12.1 update 1 [2] 12.0 update 1 [2] 11.8 11.7 update 1 [1] 11.6 update 2 [1] 11.5 update 2 [1] 11.4 update 4 [1] 11.3 update 1 [1] 11.2 update 2 [1] 11.1 update 1 [1] 11.0 update 3 [1]	12.8 12.6 update 3 [2] 12.5 update 1 [2] 12.4 update 1 [2] 12.3 update 2 [2] 12.2 update 2 [2] 12.1 update 1 [2] 12.0 update 1 [2] 11.8 11.7 update 1 [1] 11.6 update 2 [1] 11.5 update 2 [1] 11.4 update 4 [1] 11.3 update 1 [1] 11.2 update 2 [1] 11.1 update 1 [1] 11.0 update 3 [1]	12.8	12.6 update 3
NVIDIA cuDNN (可选)	8.9.7	8.9.7	8.9.7	8.9.6
TensorRT Python API	是	是	是	是
NvOnnxParser	是	是	是	是
循环	是	是	是	是

注意

• 序列化引擎不可跨平台移植。

• 如果序列化引擎是使用版本兼容标志创建的，则它可以在同一主版本内的较新版本的 TensorRT 上运行。

• 如果序列化引擎在启用硬件兼容模式的情况下创建，则它可以运行在多种 GPU 架构上；具体取决于使用的硬件兼容性级别。 否则，序列化引擎不可跨设备移植。

请参考 NVIDIA CUDA 发行说明 中的最低兼容驱动程序版本，以获取特定的 NVIDIA 驱动程序 版本。

硬件和精度

下表列出了 NVIDIA 硬件以及每个硬件支持的精度模式。 TensorRT 已编译为支持所有 SM 7.5 或更高能力的 NVIDIA 硬件。 该表还列出了此硬件上 DLA 的可用性。 有关详细信息，请参阅下表。

支持的硬件

CUDA 计算能力	示例设备	TF32	FP32	FP16	FP8	FP4	BF16	INT8	FP16 Tensor Cores	INT8 Tensor Cores	DLA
12.0	NVIDIA RTX 5090	是	是	是	是	是	是	是	是	是	否
10.0	NVIDIA B200	是	是	是	是	是	是	是	是	是	否
9.0	NVIDIA H100	是	是	是	是	是 [5]	是	是	是	是	否
9.0	NVIDIA GH200 480 GB	是	是	是	是	是 [5]	是	是	是	是	否
8.9	NVIDIA L40S	是	是	是	是	是 [5]	是	是	是	是	否
8.7	NVIDIA DRIVE AGX Orin	是	是	是	否	否	否	是	是	是	是
8.6	NVIDIA A10	是	是	是	否	否	是	是	是	是	否
8.0	NVIDIA A100	是	是	是	否	否	是	是	是	是	否
7.5	NVIDIA T4	否	是	是	否	否	否	是	是	是	否

每个平台的计算能力

本节列出了基于平台的支持的计算能力。

每个平台的计算能力

平台	计算能力
Linux x86-64	7.5 8.0 8.6 [3] 8.9 [4] 9.0 [4] 10.0 [6] 12.0 [6]
Windows 10 x64	7.5 8.0 8.6 [3] 8.9 [4] 9.0 [4] 10.0 [6] 12.0 [6]
Ubuntu 24.04 SBSA	7.5 8.0 8.6 9.0 10.0 12.0
NVIDIA JetPack AArch64	8.7

每个平台的软件版本

每个软件版本支持的平台列表

平台	编译器版本	Python 版本
Ubuntu 20.04 x86-64	gcc 11.2.1	3.8
Ubuntu 22.04 x86-64	gcc 11.2.1	3.10
Ubuntu 24.04 x86-64	gcc 11.2.1	3.12
Rocky Linux 8.9 x86-64	gcc 11.2.1	3.8
Rocky Linux 9.3 x86-64	gcc 11.2.1	3.9
SLES 15 x86-64	gcc 11.2.1	N/A
Windows 10 x64 Windows 11 x64 Windows Server 2022 x64	MSVC 2019 v16.9.2	N/A
Ubuntu 24.04 SBSA	gcc 8.4	3.12
NVIDIA JetPack AArch64	gcc 11.4	3.10

注意

Debian 或 RPM 包支持表中列出的 Python 版本。 使用来自 tar 或 zip 包的 Python wheel 文件支持 Python 版本 3.8、3.9、3.10、3.11 和 3.12。

ONNX 算子支持

TensorRT 的 ONNX 算子支持列表可以在此处找到。

脚注

[1] (1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16)

这些 CUDA 版本通过使用 CUDA toolkit 11.8 构建的单个版本支持。 它与所有 CUDA 11.x 版本兼容，并且仅需要 450.x 驱动程序。

[2] (1,2,3,4,5,6,7,8,9,10,11,12,13,14)

这些 CUDA 版本通过使用 CUDA toolkit 12.8 构建的单个版本支持。 它与所有 CUDA 12.x 版本兼容，并且仅需要 525.x 驱动程序。

[3] (1,2)

需要 CUDA Toolkit 11.1 或更高版本。

[4] (1,2,3,4)

需要 CUDA Toolkit 11.8 或更高版本。

[5] (1,2,3)

在硬件仿真模式下支持（硬件不加速 FP4 线性运算）。

[6] (1,2,3,4)

需要 CUDA Toolkit 12.8 或更高版本。