验证#

在版本 2.0 中添加。

以下说明旨在作为开始基准测试的快捷方式。在每个基准测试的工作目录中，都有一个 README 文件（名为 README.md 或 README.txt），其中提供了有关数据下载、预处理和运行代码的更多详细信息。

出于演示目的，我们将运行深度学习推理。有关运行深度学习训练工作流程的更多信息，请参阅NVIDIA 多节点训练部署 <deployment-guide-multi-node:multi-node-overview>文档。

TensorRT RN50 推理#

  • 此示例中使用的容器是 nvcr.io/nvaie/tensorrt-<NVAIE-MAJOR-VERSION>:<NVAIE-CONTAINER-TAG>。

  • 所需的二进制文件包含在容器中，路径为 /workspace/tensorrt/bin。

  • Resnet50 模型 prototxt 和 caffemodel 文件位于容器内的 /workspace/tensorrt/data/resnet50。

  • 该命令可能需要几分钟才能运行，因为 NVIDIA® TensorRT™ 正在运行前构建优化的计划。如果您希望查看它正在做什么，请将 --verbose 添加到命令中。

运行测试的命令#

1$ sudo podman pull nvcr.io/nvaie/tensorrt-<NVAIE-MAJOR-VERSION>:<NVAIE-CONTAINER-TAG>
2$ sudo podman run --gpus all -it --rm -v $(pwd):/work nvcr.io/nvaie/tensorrt-<NVAIE-MAJOR-VERSION>:<NVAIE-CONTAINER-TAG>
3# cd /workspace/tensorrt/data/resnet50    (to exit container, type “exit”)
4# /workspace/tensorrt/bin/trtexec --batch=128 --iterations=400 --workspace=1024 --percentile=99 --deploy=ResNet50_N2.prototxt --model=ResNet50_fp32.caffemodel --output=prob --int8

解释结果#

结果以推理给定批次大小的时间报告。要转换为每秒图像数，请计算 BATCH_SIZE/AVERAGE_TIME。平均时间可以在 tensorrt-<NVAIE-MAJOR-VERSION>:<NVAIE-CONTAINER-TAG> 推理输出的平均 GPU 计算值中找到。

在本页中