深度学习-激活函数总结
1.典型的激活函数1.1 sigmoid函数该函数可以将元素的值转化到0~1之间，其公式和图形表示形式如下：从图形可以看出该函数存在以下缺点：（1）BP神经网络是依据梯度进行的，而该函数在无穷小或无穷大的时函数的导数趋近于0.因此在输出值较大或较小时，网络更新慢，容易造成梯度消失。（2）函数输出的不是以0为中心，而是以0.5为中心，函数输出值始终大于0，因此导致模型训练收敛速度变慢。1.2 ReLu函数ReLu函数通常作为CNN网络默认的激活函数。当函数输入为正数时，导数恒为1，可以缓解梯
