验证#

在版本 2.0 中添加。

以下说明旨在作为基准测试入门的快捷方式。在每个基准测试的工作目录中，都有一个 README 文件（命名为 README.md 或 README.txt），其中提供了有关数据下载、预处理和运行代码的更多详细信息。

出于演示目的，我们将运行深度学习推理。有关运行深度学习训练工作流程的更多信息，请参阅多节点训练解决方案指南文档。

TensorRT RN50 推理#

  • 本示例中使用的容器是 nvcr.io/nvaie/tensorrt-<NVAIE-MAJOR-VERSION>:<NVAIE-CONTAINER-TAG>。

  • 所需二进制文件包含在容器的 /workspace/tensorrt/bin 中。

  • Resnet50 模型 prototxt 和 caffemodel 文件位于容器的 /workspace/tensorrt/data/resnet50 中。

  • 该命令可能需要几分钟才能运行，因为 NVIDIA® TensorRT™ 正在构建优化的计划，然后再运行。如果您希望查看它正在执行的操作，请将 --verbose 添加到命令中。

运行测试的命令#

1sudo docker pull nvcr.io/nvaie/tensorrt-<NVAIE-MAJOR-VERSION>:<NVAIE-CONTAINER-TAG>
2sudo docker run --gpus all -it --rm -v $(pwd):/work nvcr.io/nvaie/tensorrt-<NVAIE-MAJOR-VERSION>:<NVAIE-CONTAINER-TAG>
3# cd /workspace/tensorrt/data/resnet50    (to exit container, type “exit”)
4# /workspace/tensorrt/bin/trtexec --batch=128 --iterations=400 --workspace=1024 --percentile=99 --deploy=ResNet50_N2.prototxt --model=ResNet50_fp32.caffemodel --output=prob --int8

结果解释#

结果以推断给定批次大小的时间报告。要转换为每秒图像数，请计算 BATCH_SIZE/AVERAGE_TIME。平均时间可以在 tensorrt-<NVAIE-MAJOR-VERSION>:<NVAIE-CONTAINER-TAG> 推理输出的平均 GPU 计算值中找到。

在本页中