动手学深度学习(PyTorch实现)(四)--梯度消失与梯度爆炸
梯度消失与梯度爆炸1. 梯度消失与梯度爆炸2. 模型参数的初始化2.1 PyTorch的默认随机初始化2.2 Xavier随机初始化3. 环境因素3.1 协变量偏移3.2 标签偏移3.3 概念偏移1. 梯度消失与梯度爆炸深度模型有关数值稳定性的典型问题是消失(vanishing)和爆炸(explosion)。当神经网络的层数较多时,模型的数值稳定性容易变差。假设一个层数为LLL的多层感知机...