【深度学习】防止梯度消失的方法权重初始化的角度网络结构的角度损失函数的角度学习率自适应的角度梯度截断、权重正则化（防止梯度爆炸）
【机器学习】深度学习防止梯度消失的方法权重初始化的角度网络结构的角度损失函数的角度学习率自适应的角度梯度截断、权重正则化（防止梯度爆炸）深度网络容易出现梯度消失问题，造成网络学习停滞。深度网络中参数的梯度为激活值与状态梯度的乘积（例如∂loss∂w2=∂loss∂z3∂z3∂w3=∂loss∂z3a2(z3=w2a2)\frac{\partial{loss}}{\partial w_2} = ...
