NVIDIA 深度学习性能文档 - 上次更新时间：2023 年 2 月 1 日
NVIDIA 深度学习性能
- 深度学习性能入门
- 这是我们的深度学习性能文档的着陆页。此页面提供适用于大多数深度学习操作的建议。它还提供链接、其他性能文档的简短说明以及这些页面如何组合在一起。
训练
- 使用混合精度进行训练
- 混合精度方法在一个计算工作负载中结合使用不同的数值格式。本文档介绍了混合精度在深度神经网络训练中的应用。
推荐系统
- 构建和部署推荐系统的最佳实践
- 本文档介绍了使用 NVIDIA GPU 构建和部署大规模推荐系统的最佳实践。这些实践是多年来在 GPU 加速推荐系统工具以及为我们的内部产品构建推荐系统和国际推荐系统竞赛的顶级解决方案中研究和开发的结晶。
优化性能
- 线性/全连接层用户指南
- 本指南提供了提高全连接（或线性）层性能的技巧。它还提供了一个示例，说明了 Transformer 网络中参数选择的影响。
- 卷积层用户指南
- 本指南提供了提高卷积层性能的技巧。它还详细介绍了参数（包括批大小、输入和滤波器尺寸、步幅和扩张）的影响。
- 循环层用户指南
- 本指南提供了提高循环层性能的技巧。它还提供了一个在 GNMT 系统中使用持久性的用例示例。
- 内存受限层用户指南
- 本指南介绍了内存受限层（包括批归一化、激活和池化）的性能。它还提供了了解和减少网络中这些层所花费时间的技巧。
性能背景
- GPU 性能背景用户指南
- 本指南提供了有关 GPU 结构、操作执行方式以及深度学习操作的常见限制的背景知识。
- 矩阵乘法背景用户指南
- 本指南介绍了矩阵乘法及其在许多深度学习操作中的应用。此处描述的趋势构成了全连接层、卷积层和循环层等性能趋势的基础。