安装 TensorRT#

安装 TensorRT 时，您可以选择以下安装选项：Debian 或 RPM 包、Python wheel 文件、tar 文件或 zip 文件。

Debian 和 RPM 安装会自动安装任何依赖项；但是，它

  • 需要 sudo 或 root 权限才能安装。

  • 它在 TensorRT 的安装位置方面不提供任何灵活性。

  • 它要求使用 Debian 或 RPM 包安装 CUDA 工具包。

  • 不允许同时安装多个 TensorRT 次版本。

tar 文件提供了更大的灵活性，例如同时安装多个版本的 TensorRT。但是，您必须安装必要的依赖项并自行管理 LD_LIBRARY_PATH。有关更多信息，请参阅 Tar 文件安装。

TensorRT 版本：TensorRT 是一个由单独版本控制的组件组成的产品。产品版本传达有关新功能重要性的重要信息，而库版本传达有关 API 兼容性或不兼容性的信息。

产品/组件支持的版本#

产品/组件

先前发布的版本

当前版本

版本描述

TensorRT 产品

10.7.0

10.8.0

  • 当添加重要的新功能时，+1.0.0。

  • 当功能得到改进时，+0.1.0。

nvinfer 库、头文件、示例和文档。

10.7.0

10.8.0

  • 当 API 或 ABI 以不兼容的方式更改时，+1.0.0。

  • 当 API 或 ABI 更改向后兼容时，+0.1.0。

nvinfer-lean 精简运行时库

10.7.0

10.8.0

  • 当 API 或 ABI 以不兼容的方式更改时，+1.0.0。

  • 当 API 或 ABI 更改向后兼容时，+0.1.0。

nvinfer-dispatch 分发运行时库

10.7.0

10.8.0

  • 当 API 或 ABI 以不兼容的方式更改时，+1.0.0。

  • 当 API 或 ABI 更改向后兼容时，+0.1.0。

libnvinfer Python 包

  • python3-libnvinfer

  • python3-libnvinfer-dev

  • Debian 和 RPM 包

10.7.0

10.8.0

  • 当 API 或 ABI 以不兼容的方式更改时，+1.0.0。

  • 当 API 或 ABI 更改向后兼容时，+0.1.0。

tensorrt-*.whl 用于标准 TensorRT 运行时的文件

10.7.0

10.8.0

tensorrt_lean-*.whl 用于精简 TensorRT 运行时的文件

10.7.0

10.8.0

tensorrt_dispatch-*.whl 用于分发 TensorRT 运行时的文件

10.7.0

10.8.0

Python 包索引安装#

本节包含从 Python 包索引安装 TensorRT 的说明。

从 Python 包索引安装 TensorRT 时，您无需从 .tar、.deb、.rpm 或 .zip 包安装 TensorRT。所有必需的库都包含在 Python 包中。但是，头文件（可能需要访问 TensorRT C++ API 或编译用 C++ 编写的插件）不包含在内。此外，如果您已经安装了 TensorRT C++ 库，则使用 Python 包索引版本将安装这些库的冗余副本，这可能是不希望的。有关手动安装不捆绑 C++ 库的 TensorRT wheel 的信息，请参阅 Tar 文件安装。如果您只需要 Python 支持，则可以在完成本节后停止。

tensorrt Python wheel 文件当前支持 3.8 到 3.12 版本，并且不适用于其他版本。目前支持 Linux 和 Windows 操作系统以及 x86_64 和 ARM SBSA CPU 架构。Linux x86 Python wheel 预计可在 RHEL 8 或更高版本以及 Ubuntu 20.04 或更高版本上运行。Linux SBSA Python wheel 预计可在 Ubuntu 20.04 或更高版本上运行。Windows x64 Python wheel 预计可在 Windows 10 或更高版本上运行。

注意

如果您没有 root 访问权限，您在 Python 虚拟环境之外运行，或者由于任何其他原因您更喜欢用户安装，请在提供的任何 pip 命令后附加 --user。

  1. 确保 pip Python 模块是最新的，并且在继续操作之前安装了 wheel Python 模块，否则您可能会在 TensorRT Python 安装期间遇到问题。

    python3 -m pip install --upgrade pip
python3 -m pip install wheel

  2. 安装 TensorRT Python wheel。

    注意

    • 如果您在执行以下 pip install 命令时遇到 TypeError，您可能需要更新 setuptools 和 packaging Python 模块。

    • 如果升级到较新版本的 TensorRT，您可能需要运行命令 pip cache remove "tensorrt*" 以确保重建 tensorrt 元包并安装最新的依赖包。

    python3 -m pip install --upgrade tensorrt

    上面的 pip 命令将从 PyPI 中以 Python wheel 格式拉取所有必需的 CUDA 库，因为它们是 TensorRT Python wheel 的依赖项。此外，如果您安装了以前的版本，它会将 tensorrt 升级到最新版本。

    TensorRT Python 包索引安装分为多个模块

    • TensorRT 库 (tensorrt-libs)

    • 与正在使用的 Python 版本匹配的 Python 绑定 (tensorrt-bindings)

    • 前端源包，它从 pypi.nvidia.com 中拉取正确版本的依赖 TensorRT 模块 (tensorrt)

    • 如果您需要不同的 CUDA 主要版本，您可以将 -cu11 或 -cu12 附加到任何 Python 模块。如果未指定，TensorRT Python 元包默认使用 CUDA 12.x 变体，这是 TensorRT 支持的最新 CUDA 版本。例如

      python3 -m pip install tensorrt-cu11 tensorrt-lean-cu11 tensorrt-dispatch-cu11

    （可选）安装 TensorRT lean 或 dispatch 运行时 wheel，它们也类似地分为多个 Python 模块。如果您仅使用 TensorRT 运行预构建的版本兼容引擎，则可以安装这些 wheel，而无需安装常规 TensorRT wheel。

    python3 -m pip install --upgrade tensorrt-lean
python3 -m pip install --upgrade tensorrt-dispatch

  3. 要验证您的安装是否正常工作，请使用以下 Python 命令

    • 导入 tensorrt Python 模块。

    • 确认已安装正确版本的 TensorRT。

    • 创建一个 Builder 对象以验证您的 CUDA 安装是否正常工作。

    python3
>>> import tensorrt
>>> print(tensorrt.__version__)
>>> assert tensorrt.Builder(tensorrt.Logger())

    使用类似的过程来验证 lean 和 dispatch 模块是否按预期工作

    python3
>>> import tensorrt_lean as trt
>>> print(trt.__version__)
>>> assert trt.Runtime(trt.Logger())

python3
>>> import tensorrt_dispatch as trt
>>> print(trt.__version__)
>>> assert trt.Runtime(trt.Logger())

    假设最终的 Python 命令失败，并显示类似于以下错误消息的错误消息。在这种情况下，您可能未安装 NVIDIA 驱动程序，或者 NVIDIA 驱动程序可能无法正常工作。如果您在容器内运行，请尝试从 nvidia/cuda:x.y-base-<os> 容器之一开始。

    [TensorRT] ERROR: CUDA initialization failure with error 100. Please check your CUDA installation: ...

    如果上面的 Python 命令有效，您现在应该能够运行任何 TensorRT Python 示例，以进一步确认您的 TensorRT 安装正常工作。有关 TensorRT 示例的更多信息，请参阅 示例支持指南。

下载 TensorRT#

确保您是 NVIDIA 开发者计划的成员。如果您需要帮助，请按照提示获取访问权限。

  1. 转到 https://developer.nvidia.com/tensorrt

  2. 单击 开始使用，然后单击 立即下载。

  3. 选择您感兴趣的 TensorRT 版本。

  4. 选中复选框以同意许可条款。

  5. 单击您要安装的软件包。您的下载将开始。

Debian 安装#

使用本地 Repo 进行 Debian 安装#

本节包含针对开发人员安装的说明。此安装方法适用于新用户或想要完整开发人员安装（包括 C++ 和 Python API 的示例和文档）的用户。

对于已经熟悉 TensorRT 并希望快速运行其应用程序、正在使用 NVIDIA CUDA 容器或想要设置自动化的高级用户，请按照网络 repo 安装说明进行操作（请参阅 使用 NVIDIA CUDA 网络 Repo 进行 Debian 安装）。

注意

使用此方法安装 Python 包时，您必须使用 pip 手动安装 TensorRT 的 Python 依赖项。

先决条件

确保您已安装以下依赖项。

  • CUDA

  • cuDNN 8.9.7（可选，精简或分发运行时安装不需要。）

安装

  1. 按照 CUDA 安装 说明安装 CUDA。

  2. 下载 与您使用的 Ubuntu 版本和 CPU 架构匹配的 TensorRT 本地 repo 文件。

  3. 从 Debian 本地 repo 包安装 TensorRT。将 ubuntuxx04、10.x.x 和 cuda-x.x 替换为您的特定操作系统、TensorRT 和 CUDA 版本。对于 ARM SBSA 和 JetPack 用户，将 amd64 替换为 arm64。JetPack 用户还需要将 nv-tensorrt-local-repo 替换为 nv-tensorrt-local-tegra-repo。

    os="ubuntuxx04"
tag="10.x.x-cuda-x.x"
sudo dpkg -i nv-tensorrt-local-repo-${os}-${tag}_1.0-1_amd64.deb
sudo cp /var/nv-tensorrt-local-repo-${os}-${tag}/*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
    软件包类型安装#

    软件包类型

    命令

    对于完整的 C++ 和 Python 运行时

    		 
    sudo apt-get install tensorrt

    仅对于精简运行时，而不是 tensorrt

    		 
    sudo apt-get install libnvinfer-lean10
sudo apt-get install libnvinfer-vc-plugin10

    对于精简运行时 Python 包

    		 
    sudo apt-get install python3-libnvinfer-lean

    仅对于分发运行时，而不是 tensorrt

    		 
    sudo apt-get install libnvinfer-dispatch10
sudo apt-get install libnvinfer-vc-plugin10

    对于分发运行时 Python 包

    		 
    sudo apt-get install python3-libnvinfer-dispatch

    对于所有没有示例的 TensorRT Python 包

    		 
    python3 -m pip install numpy
sudo apt-get install python3-libnvinfer-dev

    将安装以下附加软件包

    • python3-libnvinfer

    • python3-libnvinfer-lean

    • python3-libnvinfer-dispatch

    如果您只想为 lean 或 dispatch 运行时安装 Python 包，请单独指定这些包，而不是安装 dev 包。

    如果您需要的 Python 模块用于系统默认 Python 版本以外的 Python 版本，则应直接从 tar 包安装 *.whl 文件。

    如果您想运行需要 onnx-graphsurgeon 的示例或将 Python 模块用于您的项目。

    		 
    python3 -m pip install numpy onnx onnx-graphsurgeon

  4. 验证安装。

    软件包类型验证#

    软件包类型

    命令

    您应该看到类似于以下内容

    对于完整的 TensorRT 发行版

    		 
    dpkg-query -W tensorrt

    tensorrt        10.8.0.x-1+cuda12.8

    仅对于 lean 运行时或 dispatch 运行时

    		 
    dpkg-query -W "*nvinfer*"

    您应该看到您安装的所有相关的 libnvinfer* 文件。

使用 NVIDIA CUDA 网络 Repo 进行 Debian 安装#

此安装方法适用于已经熟悉 TensorRT 并希望快速运行其应用程序或设置自动化（例如使用容器时）的高级用户。新用户或想要完整安装（包括示例和文档）的用户应按照本地 repo 安装说明进行操作（请参阅 Debian 安装）。

注意

如果您正在使用 CUDA 容器，则 NVIDIA CUDA 网络存储库将已设置好，您可以跳过步骤 1。

  1. 按照 CUDA 工具包下载 页面上的说明安装 CUDA 网络存储库。

    1. 选择 Linux 操作系统。

    2. 选择所需的架构。

    3. 选择 Ubuntu 发行版。

    4. 选择所需的 Ubuntu 版本。

    5. 选择 deb (网络) 安装程序类型。

    6. 将提供的命令输入到您的终端中。

    如果您不需要完整的 CUDA 工具包，则可以省略最后的 apt-get install 命令。在安装 TensorRT 时，apt 会自动为您下载所需的 CUDA 依赖项。

  2. 安装适合您特定需求的 TensorRT 包。

    软件包类型安装#

    软件包类型

    命令

    仅对于 lean 运行时

    		 
    sudo apt-get install libnvinfer-lean10

    对于 lean 运行时 Python 包

    		 
    sudo apt-get install python3-libnvinfer-lean

    仅对于 dispatch 运行时

    		 
    sudo apt-get install libnvinfer-dispatch10

    对于 dispatch 运行时 Python 包

    		 
    sudo apt-get install python3-libnvinfer-dispatch

    仅用于运行 TensorRT C++ 应用程序

    		 
    sudo apt-get install tensorrt-libs

    也用于构建 TensorRT C++ 应用程序

    		 
    sudo apt-get install tensorrt-dev

    也用于构建仅使用 lean 的 TensorRT C++ 应用程序

    		 
    sudo apt-get install libnvinfer-lean-dev

    也用于构建仅使用 dispatch 的 TensorRT C++ 应用程序

    		 
    sudo apt-get install libnvinfer-dispatch-dev

    对于标准运行时 Python 包

    		 
    python3 -m pip install numpy
sudo apt-get install python3-libnvinfer

    如果您需要其他 Python 模块

    如果您的应用程序需要其他 Python 模块，例如 onnx-graphsurgeon，则使用 pip 安装它们。有关更多信息，请参阅 onnx-graphsurgeon · PyPI。

  3. 使用 CUDA 网络存储库时，Ubuntu 将默认安装适用于最新 CUDA 版本的 TensorRT。以下命令将安装 tensorrt 和相关的 TensorRT 包，用于旧版本的 CUDA，并将这些包保持在此版本。将 10.x.x.x 替换为您的 TensorRT 版本，将 cudax.x 替换为您的 CUDA 版本以进行安装。

    version="10.x.x.x-1+cudax.x"
sudo apt-get install libnvinfer-bin=${version} libnvinfer-dev=${version} libnvinfer-dispatch-dev=${version} libnvinfer-dispatch10=${version} libnvinfer-headers-dev=${version} libnvinfer-headers-plugin-dev=${version} libnvinfer-lean-dev=${version} libnvinfer-lean10=${version} libnvinfer-plugin-dev=${version} libnvinfer-plugin10=${version} libnvinfer-samples=${version} libnvinfer-vc-plugin-dev=${version} libnvinfer-vc-plugin10=${version} libnvinfer10=${version} libnvonnxparsers-dev=${version} libnvonnxparsers10=${version} python3-libnvinfer-dev=${version} python3-libnvinfer-dispatch=${version} python3-libnvinfer-lean=${version} python3-libnvinfer=${version} tensorrt-dev=${version} tensorrt-libs=${version} tensorrt=${version}

sudo apt-mark hold libnvinfer-bin libnvinfer-dev libnvinfer-dispatch-dev libnvinfer-dispatch10 libnvinfer-headers-dev libnvinfer-headers-plugin-dev libnvinfer-lean-dev libnvinfer-lean10 libnvinfer-plugin-dev libnvinfer-plugin10 libnvinfer-samples libnvinfer-vc-plugin-dev libnvinfer-vc-plugin10 libnvinfer10 libnvonnxparsers-dev libnvonnxparsers10 python3-libnvinfer-dev python3-libnvinfer-dispatch python3-libnvinfer-lean python3-libnvinfer tensorrt-dev tensorrt-libs tensorrt

    如果您想升级到最新版本的 TensorRT 或最新版本的 CUDA，您可以使用以下命令取消保持包。

    sudo apt-mark unhold libnvinfer-bin libnvinfer-dev libnvinfer-dispatch-dev libnvinfer-dispatch10 libnvinfer-headers-dev libnvinfer-headers-plugin-dev libnvinfer-lean-dev libnvinfer-lean10 libnvinfer-plugin-dev libnvinfer-plugin10 libnvinfer-samples libnvinfer-vc-plugin-dev libnvinfer-vc-plugin10 libnvinfer10 libnvonnxparsers-dev libnvonnxparsers10 python3-libnvinfer-dev python3-libnvinfer-dispatch python3-libnvinfer-lean python3-libnvinfer tensorrt-dev tensorrt-libs tensorrt

RPM 安装#

本节包含从 RPM 包安装 TensorRT 的说明。此安装方法适用于新用户或想要完整安装（包括 C++ 和 Python API 的示例和文档）的用户。

对于已经熟悉 TensorRT 并希望快速运行其应用程序或设置自动化的高级用户，请按照网络 repo 的安装说明进行操作（请参阅 使用 NVIDIA CUDA 网络 Repo 进行 RPM 安装）。

注意

  • 在发出命令之前，您必须将 rhelx、10.x.x 和 cuda-x.x 替换为您的特定操作系统、TensorRT 和 CUDA 版本。

  • 使用此方法安装 Python 包时，您必须使用 pip 手动安装依赖项。

先决条件

确保您已安装以下依赖项。

  • CUDA

  • cuDNN 8.9.7（可选，精简或分发运行时安装不需要。）

安装

  1. 按照 CUDA 安装 说明安装 CUDA。

  2. 下载 与您使用的 RHEL/CentOS 版本和 CPU 架构匹配的 TensorRT 本地 repo 文件。

  3. 从本地 repo RPM 包安装 TensorRT。

    os="rhelx"
tag="10.x.x-cuda-x.x"
sudo rpm -Uvh nv-tensorrt-local-repo-${os}-${tag}-1.0-1.x86_64.rpm
sudo yum clean expire-cache
    软件包类型安装#

    软件包类型

    命令

    对于完整的 C++ 和 Python 运行时

    		 
    sudo yum install tensorrt

    仅对于精简运行时，而不是 tensorrt

    		 
    sudo yum install libnvinfer-lean10
sudo yum install libnvinfer-vc-plugin10

    对于精简运行时 Python 包

    		 
    sudo yum install python3-libnvinfer-lean

    仅对于分发运行时，而不是 tensorrt

    		 
    sudo yum install libnvinfer-dispatch10
sudo yum install libnvinfer-vc-plugin10

    对于分发运行时 Python 包

    		 
    sudo yum install python3-libnvinfer-dispatch

    对于所有没有示例的 TensorRT Python 包

    		 
    python3 -m pip install numpy
sudo yum install python3-libnvinfer-devel

    将安装以下附加软件包

    • python3-libnvinfer

    • python3-libnvinfer-lean

    • python3-libnvinfer-dispatch

    如果您想运行需要 onnx-graphsurgeon 的示例或将 Python 模块用于您的项目。

    		 
    python3 -m pip install numpy onnx onnx-graphsurgeon

    注意

    对于 Rocky Linux 或 RHEL 8.x 用户，请注意，由于软件包依赖关系和为了更好的 Python 支持，TensorRT Python 绑定将仅为 Python 3.8 安装。如果您的默认 python3 是 3.6 版本，您可能需要使用 update-alternatives 切换到默认的 Python 3.8 版本，使用 python3.8 调用 Python，或者删除 python3.6 包（如果不再需要）。如果您需要的 Python 模块用于不是系统默认版本的 Python 版本，则应直接从 tar 包安装 *.whl 文件。

  4. 验证安装。

    软件包类型验证#

    软件包类型

    命令

    您应该看到类似于以下内容

    对于完整的 TensorRT 发行版

    		 
    rpm -q tensorrt

    tensorrt-10.8.0.x-1.cuda12.8.x86_64

    仅对于 lean 运行时或 dispatch 运行时

    		 
    rpm -qa | grep nvinfer

    您应该看到您安装的所有相关的 libnvinfer* 文件。

使用 NVIDIA CUDA 网络 Repo 进行 RPM 安装#

此安装方法适用于已经熟悉 TensorRT 并且希望快速运行其应用程序或设置自动化的高级用户。新用户或想要完整安装（包括示例和文档）的用户应按照本地 repo 安装说明进行操作（请参阅 RPM 安装）。

注意

如果您正在使用 CUDA 容器，则 NVIDIA CUDA 网络存储库将已设置好，您可以跳过步骤 1。

  1. 按照 CUDA 工具包下载 页面上的说明安装 CUDA 网络存储库。

    1. 选择 Linux 操作系统。

    2. 选择所需的架构。

    3. 选择 CentOS、RHEL 或 Rocky 发行版。

    4. 选择所需的 CentOS、RHEL 或 Rocky 版本。

    5. 选择 rpm (网络) 安装程序类型。

    6. 将提供的命令输入到您的终端中。

    如果您不需要完整的 CUDA 工具包，则可以省略最后的 yum/dnf install 命令。在安装 TensorRT 时，yum/dnf 会自动下载所需的 CUDA 依赖项。

  2. 安装适合您特定需求的 TensorRT 包。使用 NVIDIA CUDA 网络存储库时，RHEL 默认情况下将安装适用于最新 CUDA 版本的 TensorRT。如果您需要用于其他 CUDA 版本的库，请参阅步骤 3。

    软件包类型安装#

    软件包类型

    命令

    仅对于 lean 运行时

    		 
    sudo yum install libnvinfer-lean10

    对于 lean 运行时 Python 包

    		 
    sudo yum install python3-libnvinfer-lean

    仅对于 dispatch 运行时

    		 
    sudo yum install libnvinfer-dispatch10

    对于 dispatch 运行时 Python 包

    		 
    sudo yum install python3-libnvinfer-dispatch

    仅用于运行 TensorRT C++ 应用程序

    		 
    sudo yum install tensorrt-libs

    也用于构建 TensorRT C++ 应用程序

    		 
    sudo yum install tensorrt-devel

    也用于构建仅使用 lean 的 TensorRT C++ 应用程序

    		 
    sudo yum install libnvinfer-lean-devel

    也用于构建仅使用 dispatch 的 TensorRT C++ 应用程序

    		 
    sudo yum install libnvinfer-dispatch-devel

    对于标准运行时 Python 包

    		 
    python3 -m pip install numpy
sudo yum install python3-libnvinfer

    如果您需要其他 Python 模块

    如果您的应用程序需要其他 Python 模块，例如 onnx-graphsurgeon，则使用 pip 安装它们。有关更多信息，请参阅 onnx-graphsurgeon · PyPI。

  3. 以下命令安装 tensorrt 和相关的 TensorRT 包，用于旧版本的 CUDA，并将这些包保持在此版本。将 10.x.x.x 替换为您的 TensorRT 版本，将 cudax.x 替换为您的 CUDA 版本以进行安装。

    version="10.x.x.x-1.cudax.x"
sudo yum install libnvinfer-bin-${version} libnvinfer-devel-${version} libnvinfer-dispatch-devel-${version} libnvinfer-dispatch10-${version} libnvinfer-headers-devel-${version} libnvinfer-headers-plugin-devel-${version} libnvinfer-lean-devel-${version} libnvinfer-lean10-${version} libnvinfer-plugin-devel-${version} libnvinfer-plugin10-${version} libnvinfer-samples-${version} libnvinfer-vc-plugin-devel-${version} libnvinfer-vc-plugin10-${version} libnvinfer10-${version} libnvonnxparsers-devel-${version} libnvonnxparsers10-${version} python3-libnvinfer-${version} python3-libnvinfer-devel-${version} python3-libnvinfer-dispatch-${version} python3-libnvinfer-lean-${version} tensorrt-${version} tensorrt-devel-${version} tensorrt-libs-${version}

sudo yum install yum-plugin-versionlock
sudo yum versionlock libnvinfer-bin libnvinfer-devel libnvinfer-dispatch-devel libnvinfer-dispatch10 libnvinfer-headers-devel libnvinfer-headers-plugin-devel libnvinfer-lean-devel libnvinfer-lean10 libnvinfer-plugin-devel libnvinfer-plugin10 libnvinfer-samples libnvinfer-vc-plugin-devel libnvinfer-vc-plugin10 libnvinfer10 libnvonnxparsers-devel libnvonnxparsers10 python3-libnvinfer python3-libnvinfer-devel python3-libnvinfer-dispatch python3-libnvinfer-lean tensorrt tensorrt-devel tensorrt-libs

    如果您想升级到最新版本的 TensorRT 或最新版本的 CUDA，您可以使用以下命令取消保持包。

    sudo yum versionlock delete libnvinfer-bin libnvinfer-devel libnvinfer-dispatch-devel libnvinfer-dispatch10 libnvinfer-headers-devel libnvinfer-headers-plugin-devel libnvinfer-lean-devel libnvinfer-lean10 libnvinfer-plugin-devel libnvinfer-plugin10 libnvinfer-samples libnvinfer-vc-plugin-devel libnvinfer-vc-plugin10 libnvinfer10 libnvonnxparsers-devel libnvonnxparsers10 python3-libnvinfer python3-libnvinfer-devel python3-libnvinfer-dispatch python3-libnvinfer-lean tensorrt tensorrt-devel tensorrt-libs

Tar 文件安装#

本节包含从 tar 文件安装 TensorRT 的说明。

先决条件

确保您已安装以下依赖项。

  • CUDA

安装

  1. 下载 与您使用的 CPU 架构和 CUDA 版本匹配的 TensorRT tar 文件。

  2. 选择您要安装 TensorRT 的位置。此 tar 文件将所有内容安装到名为 TensorRT-10.x.x.x 的子目录中。

  3. 解压 tar 文件。

    version="10.x.x.x"
arch=$(uname -m)
cuda="cuda-x.x"
tar -xzvf TensorRT-${version}.Linux.${arch}-gnu.${cuda}.tar.gz

    其中

    • 10.x.x.x 是您的 TensorRT 版本

    • cuda-x.x 是 CUDA 版本 11.8 或 12.8

    此目录将具有诸如 lib、include、data 等子目录。

    ls TensorRT-${version}
bin  data  doc  include  lib  python  samples  targets

  4. 将 TensorRT lib 目录的绝对路径添加到环境变量 LD_LIBRARY_PATH

    export LD_LIBRARY_PATH=<TensorRT-${version}/lib>:$LD_LIBRARY_PATH

  5. 安装 Python TensorRT wheel 文件（将 cp3x 替换为所需的 Python 版本，例如，Python 3.10 为 cp310）。

    cd TensorRT-${version}/python

python3 -m pip install tensorrt-*-cp3x-none-linux_x86_64.whl

    （可选）安装 TensorRT lean 和 dispatch 运行时 wheel 文件

    python3 -m pip install tensorrt_lean-*-cp3x-none-linux_x86_64.whl
python3 -m pip install tensorrt_dispatch-*-cp3x-none-linux_x86_64.whl

  6. 验证安装。

    1. 确保已安装的文件位于正确的目录中。例如，运行 tree -d 命令以检查所有受支持的已安装文件是否都位于 lib、include、data 等目录中。

    2. 在安装的目录中构建并运行其中一个附带的示例 sampleOnnxMNIST。您应该能够编译和执行示例，而无需其他设置。有关更多信息，请参阅 sampleOnnxMNIST。

    3. Python 示例位于 samples/python 目录中。

Zip 文件安装#

本节包含在 Windows 上从 zip 包安装 TensorRT 的说明。

先决条件

确保您已安装以下依赖项。

  • CUDA

安装

  1. 下载 适用于 Windows 的 TensorRT zip 文件。

  2. 选择您要安装 TensorRT 的位置。此 zip 文件将所有内容安装到名为 TensorRT-10.x.x.x 的子目录中。在以下步骤中，这个新的子目录将被称为 <installpath>。

  3. 将 TensorRT-10.x.x.x.Windows.win10.cuda-x.x.zip 文件解压缩到您选择的位置。

    其中

    • 10.x.x.x 是您的 TensorRT 版本

    • cuda-x.x 是 CUDA 版本 11.8 或 12.8

  4. 将 TensorRT 库文件添加到您的系统 PATH。有两种方法可以完成此任务

    1. 将 DLL 文件保留在解压缩的位置，并将 <installpath>/lib 添加到您的系统 PATH。您可以使用以下步骤向您的系统 PATH 添加新路径。

      1. 按 Windows 键并搜索环境变量。然后您应该能够单击 编辑系统环境变量。

      2. 单击窗口底部的 环境变量…。

      3. 在 系统变量 下，选择 Path 并单击 编辑…。

      4. 单击 新建 或 浏览 以添加包含 <installpath>/lib 的新项目。

      5. 继续单击 确定，直到所有新打开的窗口都关闭。

    2. 将 DLL 文件从 <installpath>/lib 复制到您的 CUDA 安装目录，例如，C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.Y\bin，其中 vX.Y 是您的 CUDA 版本。CUDA 安装程序应该已经将 CUDA 路径添加到您的系统 PATH。

  5. 从 <installpath>/python 安装 TensorRT Python wheel 文件之一（将 cp3x 替换为所需的 Python 版本，例如，Python 3.10 为 cp310）

    python.exe -m pip install tensorrt-*-cp3x-none-win_amd64.whl

    （可选）安装 TensorRT lean 和 dispatch 运行时 wheel 文件

    python.exe -m pip install tensorrt_lean-*-cp3x-none-win_amd64.whl
python.exe -m pip install tensorrt_dispatch-*-cp3x-none-win_amd64.whl

  6. 验证安装。

    1. 从示例中打开 Visual Studio 解决方案文件，例如 sampleOnnxMNIST，并确认您可以构建和运行示例。

    如果您想在您的项目中使用 TensorRT，请确保您的 Visual Studio 解决方案项目属性中存在以下内容

    1. <installpath>/lib 已添加到您的 PATH 变量，并且存在于 VC++ 目录 > 可执行文件目录 下。

    2. <installpath>/include 存在于 C/C++ > 常规 > 附加目录 下。

    3. nvinfer.lib 和您的项目所需的任何其他 LIB 文件都存在于 链接器 > 输入 > 附加依赖项 下。

    注意

    您应该安装 Visual Studio 2019 或更高版本以构建包含的示例。社区版足以构建 TensorRT 示例。

其他安装方法#

除了从产品包安装 TensorRT 之外，您还可以从以下位置安装 TensorRT

NVIDIA NIM

用于开发 AI 驱动的企业应用程序并在生产中部署 AI 模型。有关更多信息，请参阅 NVIDIA NIM 技术博客文章。

TensorRT 容器

TensorRT 容器提供了一种简单的方法来部署 TensorRT，其中所有必要的依赖项都已打包在容器中。有关使用容器安装 TensorRT 的信息，请参阅 NVIDIA TensorRT 容器发行说明。

NVIDIA JetPack

捆绑所有 Jetson 平台软件，包括 TensorRT。使用它为您的 Jetson 开发者套件刷写最新的操作系统镜像，安装 NVIDIA SDK，并快速启动您的开发环境。有关通过 JetPack 安装 TensorRT 的信息，请参阅 JetPack 文档。有关 JetPack 下载，请参阅 Develop: JetPack。

DRIVE OS Linux 标准版

有关安装 TensorRT 的分步说明，请参阅 NVIDIA SDK Manager 的 NVIDIA DRIVE 平台安装部分。安全代理运行时默认未安装在 NVIDIA DRIVE OS Linux SDK 中。要在此平台上安装它，请参阅 DRIVE OS 安装指南。

交叉编译安装#

如果您打算为 AArch64 交叉编译 TensorRT，请首先参阅 使用 NVIDIA CUDA 网络仓库进行 Debian 安装 部分，以设置主机上的网络仓库和 TensorRT。准备机器进行交叉编译的步骤以及交叉编译 TensorRT 示例的说明可以在 交叉编译示例 中找到。

本页内容