先决条件

请确保您熟悉以下安装要求和注意事项。

• 如果您使用 TensorRT Python API 和 CUDA-Python，但尚未在您的系统上安装，请参阅 NVIDIA CUDA-Python 文档。

• 请熟悉 NVIDIA TensorRT 发行说明 以了解最新功能和已知问题。

• 请验证您是否已安装 NVIDIA CUDA 工具包。如果尚未安装 CUDA，请查看 NVIDIA CUDA 安装指南 以获取有关安装 CUDA 工具包的说明。以下版本受支持

CUDA 12.x

• 12.8

• 12.6 update 3

• 12.5 update 1

• 12.4 update 1

• 12.3 update 2

• 12.2 update 2

• 12.1 update 1

• 12.0 update 1

CUDA 11.x

• 11.8

• 11.7 update 1

• 11.6 update 2

• 11.5 update 2

• 11.4 update 4

• 11.3 update 1

• 11.2 update 2

• 11.1 update 1

• 11.0 update 3

• cuDNN 现在是 TensorRT 的可选依赖项，仅用于加速一些已弃用的层。在 Blackwell 及更高版本的 GPU 上，TensorRT 不支持使用 cuDNN，并且不为这些已弃用的层提供支持。如果您的应用程序或模型需要 cuDNN，请验证是否已安装。有关更多信息，请查看 NVIDIA cuDNN 安装指南。TensorRT 10.8.0 支持 cuDNN 8.9.7。精简版或调度运行时不使用 cuDNN。

• cuBLAS 现在是 TensorRT 的可选依赖项，仅用于加速一些层。如果您的应用程序或模型需要 cuBLAS，请验证是否已安装。有关更多信息，请查看 NVIDIA cuBLAS 网站。

• 一些 Python 示例需要 TensorFlow 2.13.1，例如 efficientdet 和 efficientnet。

• PyTorch 示例已使用 PyTorch >= 2.0 进行测试，但也可能适用于旧版本。

• ONNX-TensorRT 解析器已使用 ONNX 1.16.0 进行测试，并支持 opset 20。

• 以下安装说明假设您需要 C++ 和 Python API。但是，在某些环境和用例中，您可能不需要安装 Python 功能。如果是这样，请不要安装标记为 Python 的 Debian 或 RPM 包。C++ API 功能都不依赖于 Python。

• 我们提供三种不同的 TensorRT 安装模式

  • TensorRT 的完整安装，包括 TensorRT 计划文件构建器功能。此模式与 TensorRT 8.6.0 之前提供的运行时相同。

  • 精简运行时安装比完整安装小得多。它允许您加载和运行使用版本兼容的构建器标志构建的引擎。但是，此安装不提供构建 TensorRT 计划文件的功能。

  • 调度运行时安装。此安装允许以最小的内存消耗进行部署。它允许您加载和运行使用版本兼容的构建器标志构建的引擎，并包括精简运行时。但是，它不提供构建 TensorRT 计划文件的功能。

• 对于只想将 ONNX 模型转换为 TensorRT 引擎的开发人员，可以使用 Nsight Deep Learning Designer，这是一个基于 GUI 的工具，无需单独安装 TensorRT。Nsight Deep Learning Designer 会按需自动下载必要的 TensorRT 组件（包括 CUDA、cuDNN 和 cuBLAS）。