概述

本节介绍安装要求、TensorRT 软件包中包含内容的列表以及安装 TensorRT 的分步说明。

NVIDIA TensorRT 的核心是一个 C++ 库，它有助于在 NVIDIA 图形处理单元 (GPU) 上实现高性能推理。TensorRT 接受由网络定义和一组训练参数组成的已训练网络，并生成一个高度优化的运行时引擎，该引擎为该网络执行推理。

TensorRT 通过 C++ 和 Python 提供 API，这些 API 有助于通过 Network Definition API 表示深度学习模型，或通过 ONNX 解析器加载预定义的模型，从而使 TensorRT 能够在 NVIDIA GPU 上对其进行优化和运行。TensorRT 应用图优化层融合以及其他优化，同时还利用各种高度优化的内核来查找该模型的最佳实现。TensorRT 还提供了一个运行时，您可以使用它在 NVIDIA Turing 代及更高版本的 NVIDIA GPU 上执行此网络。

TensorRT 包括可选的高速混合精度功能，支持 NVIDIA Turing、NVIDIA Ampere、NVIDIA Ada Lovelace、NVIDIA Hopper 和 NVIDIA Blackwell 架构。