概述
神经网络是通过梯度下降来学习的。
梯度爆炸问题一般会随着网络层数的增加而变得越来越明显。如果发生梯度爆炸，那么就是学过了，会直接跳过最优解。因此需要梯度裁剪，避免模型越过最优点。
梯度裁剪有两种方法
- 确定一个范围，参数的gradient超过，直接裁剪。比较直接，对应于pytorch中的nn.utils.clip_grad_value(parameters, clip_value). 将所有的参数剪裁到 [ -clip_value, clip_value]
- 根据若干参数的gradient组成的vector的L2 Norm进行裁剪。更常见，对应于pytorch中clip_grad_norm_(parameters, max_norm, norm_type=2)。 如果所有参数的gradient组成的向量的L2 norm 大于max norm，那么需要根据L2 norm/max_norm 进行缩放。从而使得L2 norm 小于预设的 clip_norm
梯度裁剪使用位置
在backward得到梯度之后，step()更新之前，使用梯度剪裁，在完成计算完梯度后，进行裁剪，然后进行网络更新的过程。
最后
以上就是温柔向日葵为你收集整理的梯度裁剪Grandient Clipping梯度裁剪有两种方法梯度裁剪使用位置的全部内容，希望文章能够帮你解决梯度裁剪Grandient Clipping梯度裁剪有两种方法梯度裁剪使用位置所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复