Pytorch优化器的权重衰减（weight_decay）

206 阅读 0 评论 136 点赞

我是靠谱客的博主糊涂蜻蜓，这篇文章主要介绍Pytorch优化器的权重衰减（weight_decay），现在分享给大家，希望可以做个参考。

$L=E_e + lambdasum w_i^2$
$E_e$ :是训练数据个标签之间的误差
$w_i$ :表示权重值

在反向传播计算梯度时，对每个权重点来说，就是在原本计算的 $E_e$ 梯度上，再加上 $2*lambda*w_i$ , ２和 $λ$ 可一起看做常数项系数．

再看看Pytorch里实现的权重衰减方式：
从源代码来看．pytorch中对self.weight和self.bias参数都进行了L2正则化，weight_decay是衰减系数．
在这里插入图片描述

以上就是糊涂蜻蜓最近收集整理的关于Pytorch优化器的权重衰减（weight_decay）的全部内容，更多相关Pytorch优化器内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。