概述
Batch_size：
定义：一次性读入多少批量的图片，不是样本。
Full Batch Learning：Batch_size=数据集大小，适用于小数据集。Mini-batches Learning：Batch_size= N（自己设定），适用于大数据集。
Online Learning（在线学习）：Batch_size=1，
如何选择Batch_size？
A：一定范围内增大Batch_size：
1、 提高了内存的利用率，大矩阵乘法的并行化效率提高2、 跑完一次epoch所需要的迭代次数减少，相同数据量的数据处理速度加快。
3、 Batch_size越大下降方向越准，引起的训练震荡越小。
4、 缺点：内存溢出、训练时间增加、收敛缓慢、局部最优，泛化性差
B：Batch_size过小：修正方向以各自样本的梯度方向修正难以达到收敛。
总结：
首先根据显存大小选择Batch_size；其次根据自己的实际情况调整Batch_size，调参重在“调”，根据实际情况选择合适的参数。设置好Batch_size后，每一次epoch记得shuffle一次，不要让网络通过相同的minibach。最后
以上就是傲娇夕阳为你收集整理的batch_size参数设置的全部内容，希望文章能够帮你解决batch_size参数设置所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复