梯度裁剪Grandient Clipping梯度裁剪有两种方法梯度裁剪使用位置
神经网络是通过梯度下降来学习的。梯度爆炸问题一般会随着网络层数的增加而变得越来越明显。如果发生梯度爆炸，那么就是学过了，会直接跳过最优解。因此需要梯度裁剪，避免模型越过最优点。梯度裁剪有两种方法确定一个范围，参数的gradient超过，直接裁剪。比较直接，对应于pytorch中的nn.utils.clip_grad_value(parameters, clip_value). 将所有的参数剪裁到 [ -clip_value, clip_value] 根据若干参数的gradient组成的vect
