17个技巧让你的深度学习模型训练变得飞快！

如果你正在 pytorch 中训练深度学习模型，那么如何能够加快模型训练速度呢？

在本文中，我会介绍一些改动最小、影响最大的在pytorch中加速深度学习模型的方法。对于每种方法，我会对其思路进行简要介绍，然后预估提升速度并讨论其限制。我会把我认为重要的部分强调介绍，并在每个部分展示一些实例。接下来我将假设你正在使用GPU训练模型，这些方法基本不需要导入其他的库，只需要再pytorch内进行更改即可。

以下是我根据预估的加速效果对不同方法的排序：

1. 考虑使用其他的学习率调整计划

2. 在DataLoader中使用多个辅助进程并页锁定内存

3. 最大化batch大小

4. 使用自动混合精度AMP

5. 考虑不同的优化器

6. 打开cudNN基准

7. 当心CPU与GPU之间的数据传输

8. 使用梯度/激活检查点

9. 使用梯度累积

10. 多GPU分布式训练

11. 将梯度设置为None而不是0

12. 使用.as_tensor()而不是.tensor()

13. 只在需要的时候打开debugging模式

14. 使用梯度裁剪

15. 在BatchNorm之前忽略偏差

16. 验证时关闭梯度计算

17. 规范化输入和批处理 
    

（编辑：菏泽站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!