9 前向神经网络9 前向神经网络
9 前向神经网络01 常用激活函数Sigmoid激活函数Tanh激活函数ReLU激活函数02 梯度消失Sigmoid激活函数将输入z映射到区间(0, 1) , 当z很大时, f(z)趋近于1; 当z很小时, f(z)趋近于0。 其导数在z很大或很小时都会趋近于0, 造成梯度消失的现象。Tanh激活函数相当于Sigmoid的平移, 同样会出现梯度消失。03 ReLU激活函数的...