NVIDIA TensorRT

NVIDIA TensorRT

NVIDIA® TensorRT™ 是一个用于高性能深度学习推理的 SDK。它旨在与训练框架（如 TensorFlow、PyTorch 和 MXNet）互补地工作。它特别专注于在 NVIDIA 硬件上快速高效地运行已训练的网络。

TensorRT 包括一个深度学习推理优化器和运行时，为深度学习推理应用提供低延迟和高吞吐量。NVIDIA TensorRT 的核心是一个 C++ 库，它有助于在 NVIDIA GPU 上实现高性能推理。TensorRT 接受一个已训练的网络（由网络定义和一组已训练的参数组成），并生成一个高度优化的运行时引擎，用于执行该网络的推理。有关更多信息，请参阅以下 TensorRT 产品文档。