常用几种激活函数的总结

目录

一、激活函数是什么

二、为什么要用到激活函数呢

三、常用的激活函数

sigmoid函数

Tanh函数

 ReLU函数

一、激活函数是什么

所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。

激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。

二、为什么要用到激活函数呢

如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。

如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

三、常用的激活函数

1. sigmoid函数

   也称为S型生长曲线

   

   

   sigmod函数的求导：

   在sigmod函数中我们可以看到，其输出是在(0,1)这个开区间内，而这(0,1)之间的数值，可以联想到概率。 sigmoid函数的缺陷：

   1) 当输入稍微远离了坐标原点，函数的梯度就变得很小了，几乎为零。在神经网络反向传播的过程中，我们都是通过微分的链式法则来计算各个权重w的微分的。当反向传播经过了sigmod函数，这个链条上的微分就很小很小了，况且还可能经过很多个sigmod函数，最后会导致权重w对损失函数几乎没影响，这样不利于权重的优化，这个问题叫做梯度饱和，也可以叫梯度弥散。

   2) 函数输出不是以0为中心的，这样会使权重更新效率降低。

   3) sigmod函数要进行指数运算，这个对于计算机来说是比较慢的。

2. Tanh函数

   

   Tanh函数的导数：

   

tanh是双曲正切函数，tanh函数和sigmod函数的曲线是比较相近的。首先相同的是，这两个函数在输入很大或是很小的时候，输出都几乎平滑，梯度很小，也就是斜率很小，不利于权重更新；不同的是输出区间，tanh的输出区间是在(-1,1)之间，而且整个函数是以0为中心的，这个特点比sigmod的好。

一般二分类问题中，隐藏层用tanh函数，输出层用sigmod函数。不过这些也都不是一成不变的，具体使用什么激活函数，还是要根据具体的问题来具体分析，还是要靠调试的。

     ReLU函数

ReLU----Rectified Linear Unit(修正线性单元)

ReLU函数的导数:

优点：

1.在输入为正数的时候，就不会出现梯度饱和的情况 2.计算速度要快很多，ReLU只有线性关系，不管是前向传播还是反向传播，都要比sigmoid和tanh函数快很多，因为这两种是指数计算，速度肯定比计算线性要慢。

缺点： 1.当输入是负数的时候，ReLU是完全不被激活的，这就表明一旦输入到了负数，ReLU就会死掉。这样在前向传播过程中，还不算什么问题，有的区域是敏感的，有的是不敏感的。但是到了反向传播过程中，输入负数，梯度就会完全到0，这个和sigmod函数、tanh函数有一样的问题。 2.我们发现ReLU函数的输出要么是0，要么是正数，这也就是说，ReLU函数也不是以0为中心的函数。

最后

以上就是拉长戒指为你收集整理的常用几种激活函数的总结的全部内容，希望文章能够帮你解决常用几种激活函数的总结所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。