验证#

以下说明旨在作为基准测试入门的快捷方式。在每个基准测试的工作目录中，都有一个 README 文件（名为 README.md 或 README.txt），其中提供了有关数据下载、预处理和运行代码的更多详细信息。

出于演示目的，我们将运行深度学习推理。有关运行深度学习训练工作流程的更多信息，请参阅多节点训练解决方案指南文档。

TensorRT RN50 推理#

  • 本示例中使用的容器是 nvcr.io/nvaie/tensorrt:21.07-py3。

  • 所需的二进制文件包含在容器的 /workspace/tensorrt/bin 中。

  • Resnet50 模型 prototxt 和 caffemodel 文件位于容器的 /workspace/tensorrt/data/resnet50 中。

  • 该命令可能需要几分钟才能运行，因为 NVIDIA® TensorRT™ 正在构建优化的计划，然后再运行。如果您希望查看它正在执行的操作，请将 --verbose 添加到命令中。

运行测试的命令#

1sudo docker pull nvcr.io/nvaie/tensorrt-<NVAIE-MAJOR-VERSION>:<NVAIE-CONTAINER-TAG>
2sudo docker run --gpus all -it --rm -v $(pwd):/work nvcr.io/nvaie/tensorrt-<NVAIE-MAJOR-VERSION>:<NVAIE-CONTAINER-TAG>
3# cd /workspace/tensorrt/data/resnet50    (to exit container, type “exit”)
4# /workspace/tensorrt/bin/trtexec --batch=128 --iterations=400 --workspace=1024 --percentile=99 --deploy=ResNet50_N2.prototxt --model=ResNet50_fp32.caffemodel --output=prob --int8

解释结果#

结果以推理给定批次大小的时间报告。要转换为每秒图像数，请计算 BATCH_SIZE/AVERAGE_TIME。“平均时间”可以在 tensorrt-1-1:21.08-nvaie1.1-py3 推理输出的 mean GPU Compute 值中找到。

在本页中