概述
分类网络如ReseNet-50的mini-batch尺寸已经很大了，如8192或16000.但检测网络的mini-batch尺寸确很小，如2-16。小的batch尺寸有什么问题？一是训练时间长，二是无法为BN提供精确的统计信息。三是正负样本比例不平衡，如下图a-b所示。
但是直接增加batch尺寸有什么问题呢？大的batch尺寸需要比较大的学习率去保持精度，但大的学习率通常会导致无法收敛。为解决这个两难的问题，论文首先使用“warmup”学习率策略逐步增加学习率，其次使用跨GPU的Batch Norm（CCBN）获得更好的BN统计。
在图像分类中，基于SGD的梯度等效假设，mini-batch尺寸从N增加到k*N，学习率从r增加大k*r。但对于目标检测，每个图像中的真值标记数目不同，图像具有不同的真值分布。论文引入了方差等效假设。对于损失函数l(x,w)，其梯度的方差为：
对于大的mini-batch k*N，梯度的方差为：
保持大batch=k*N中的方差与k步小batch=N累计等价：
以上仅是对学习率的阐述，论文用的是wormup策略，即在训练早期用足够小的学习率，在一定的迭代后使用固定速度增长。
跨GPU Batch Norm
训练时间对比
不同的batch size对比
最后
以上就是多情小蝴蝶为你收集整理的MegDet: A Large Mini-Batch Object Detector的全部内容，希望文章能够帮你解决MegDet: A Large Mini-Batch Object Detector所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复