仁爱绿草

文章
3
资源
0
加入时间
2年10月21天

weight_decay

最近在B站看沐神的动手学深度学习视频,记录一下学习过程查看本文的jupyter notebook格式,更加清晰美观哦!权重衰减权重衰减等价于L2范数正则化。正则化通过为损失函数添加惩罚项使学出的模型参数值较小,是应对过拟合的常用手段。带有L2范数惩罚项的新损失函数为l(w,b)+λ/2||w||^2,其中λ>0。权重衰减通过惩罚绝对值较大的模型参数为需要学习的模型增加了限制,这可能对过拟合有效。实际场中,有时也添加偏差元素的平方和。高维线性回归实验%matplotlib inlin