【PyTorch】BatchNorm方法原理和使用
BatchNorm是2015年由Sergey Ioffe和Christian Szegedy在论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》中提出的,目的是加快深度神经网络的训练速度,提高训练精度1 提出背景深度神经网络学习很慢,原因之一是每层输入的分布都会改变,导致参数难以较快收敛应对参数难以收敛的问题,还需仔细设计模型参数初始化,并采用较小的学习率