TensorRT 文档

NVIDIA TensorRT 是一个 SDK，旨在加速高性能机器学习推理。它与 TensorFlow、PyTorch 和 MXNet 等训练框架相辅相成。它的重点是在 NVIDIA 硬件上快速高效地运行已训练好的网络。

注意

请务必参考发行说明，其中描述了 TensorRT 发行产品包的最新功能、软件增强和改进以及已知问题。

• 快速入门指南是希望试用 TensorRT SDK 的开发人员的起点；具体来说，它演示了如何快速构建应用程序以在 TensorRT 引擎上运行推理。

• 支持矩阵概述了 TensorRT API、解析器和层的支持平台、功能和硬件能力。

• 安装 TensorRT部分提供了安装要求、TensorRT 包中包含内容的列表，以及安装 TensorRT 的分步说明。

• 架构部分演示了如何使用 C++ 和 Python API 来实现最常见的深度学习层。它展示了如何使用深度学习框架构建现有模型，并使用提供的解析器构建 TensorRT 引擎。

• 推理库 部分演示了如何使用 C++ 和 Python API 来实现最常见的深度学习层。它展示了如何使用深度学习框架构建的现有模型，并使用提供的解析器构建 TensorRT 引擎。

  • 示例支持指南概述了 GitHub 和产品包上支持的所有 TensorRT 示例。TensorRT 示例专门帮助推荐系统、机器理解、字符识别、图像分类和对象检测。

• 性能部分介绍了如何使用 trtexec（一个专为 TensorRT 性能基准测试而设计的命令行工具）来获取深度学习模型的推理性能测量结果。

• API 部分使 C++ 和 Python 开发环境中的开发人员以及希望尝试 TensorRT 的开发人员能够轻松解析模型（例如，来自 ONNX）并生成和运行 PLAN 文件。

  • API 迁移指南重点介绍了 TensorRT API 的修改。如果您不熟悉这些更改，请参阅我们的示例代码以进行 clarification。

• 参考 部分将帮助回答有关典型用例的常见问题，并为提供其他资源以获得帮助。