概述
L2正则化：
L
=
E
e
+
λ
∑
w
i
2
L=E_e + lambdasum w_i^2
L=Ee+λ∑wi2
E
e
E_e
Ee:是训练数据个标签之间的误差
w
i
w_i
wi:表示权重值
在反向传播计算梯度时，对每个权重点来说，就是在原本计算的 E e E_e Ee梯度上，再加上 2 ∗ λ ∗ w i 2*lambda*w_i 2∗λ∗wi, ２和 λ lambda λ可一起看做常数项系数．
Pytorch里实现的权重衰减:
再看看Pytorch里实现的权重衰减方式：
从源代码来看．pytorch中对self.weight和self.bias参数都进行了L2正则化，weight_decay是衰减系数．
最后
以上就是糊涂蜻蜓为你收集整理的Pytorch优化器的权重衰减（weight_decay）的全部内容，希望文章能够帮你解决Pytorch优化器的权重衰减（weight_decay）所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
![os.environ[‘CUDA_VISIBLE_DEVICES‘] 无法生效原因](/uploads/reation/bcimg14.png)
发表评论 取消回复