最近一个月深度学习的经验总结

一、训练模型

1、在进行模型训练时，要谨慎使用数据增强方法，滥用数据增强的一些方法（尤其是裁剪和旋转）会反而导致模型的性能下降，这是因为裁剪和旋转容易带来额外的噪音，导致了训练集和测试集差异过大，在用inception进行迁移学习时尤为明显，VGG会好一些，但也有所下降。

2、大bitchsize不一定就比小bitchsize要快。

3、VGGnet很容易出现梯度消失的情况，解决方法加BN层或换模型（densenet或resnet）。inception相对VGG来说会好一点，但有时也会出现梯度消失。

4、学习率设置的过大可能导致loss函数无法收敛，所以在loss函数不下降的情况下，可以尝试把学习率调小一点

二、实验

1、在自己做实验之前，一定要仔细看清楚别人论文中写的实验参数、看掉一个参数很容易导致实验效果很差。仔细对比！！！！！

2、多记录

3、在实验效果不如意的时候，反思自己的方法是否存在之前没有考虑到的缺陷。想办法是否能解决，不能解决就立刻放弃或者搁置一段时间。想新的点子。

三、近期看的论文

1、《Learning deep features for discriminative localization》

这片文章主要贡献是提出了类激活映射（CAM），把基础CNN模型的FC层去掉，在最后面的卷积层后面加了1024通道的3X3卷积层和一个global avg pooling层，然后接一个线性层进行分类。
类激活映射的计算公式如下：

k是通道的数量（0-1023），f（x，y）就是添加的卷积层的输出，w是线性的参数（weight）。之后先用线性二插值法把M放大到和输入图像一样大小。

2、《Weakly supervised object localization with deep convolutional neural network based on spatial pyramid saliency map》

这片就是把CAM和spp的结合。有兴趣的可以复现一下，我在复现的时候，出来的结果比论文中差了很多。

最后

以上就是飞快心锁为你收集整理的最近一个月深度学习的经验总结的全部内容，希望文章能够帮你解决最近一个月深度学习的经验总结所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。