《深度学习入门:基于Python的理论与实现》第6章-权重的初始化权重的初始化
权重的初始化在神经网络的学习中,权重的初始值特别重要。实际上,设定什么样的权重初始值经常关系到神经网络的学习能否成功。1 可以将权重初始化为0吗由于神经网络的学习可能会产生过拟合的效果。所谓过拟合就是对训练数据的预测准确度非常高,但应用到其它数据集上表现的结果则非常差,称之为泛化能力不好。一般会通过一种权值衰减的方式抑制该问题,权值衰减是一种以减小权重参数的值为目的进行学习的方法。...