1. 首页
  2. 文章中心
  3. 激活函数

激活函数

80 阅读 0 评论
我是靠谱客的博主 个性天空，这篇文章主要介绍激活函数，现在分享给大家，希望可以做个参考。

激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。

可微性： 当优化方法是基于梯度的时候，这个性质是必须的。 
单调性： 当激活函数是单调的时候，单层网络能够保证是凸函数。 
输出值的范围： 当激活函数输出值是 有限 的时候，基于梯度的优化方法会更加 稳定，因为特征的表示受有限权值的影响更显著;当激活函数的输出是 无限 的时候，模型的训练会更加高效，不过在这种情况小，一般需要更小的learning rate

激活函数如何选择

从定义来看，几乎所有的连续可导函数都可以用作激活函数。但目前常见的多是分段线性和具有指数形状的

最后

以上就是个性天空最近收集整理的关于激活函数的全部内容，更多相关激活函数内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
点赞(53)

相关文章

Pytorch 深度学习实践-02-[Linear Model]
Pytorch 深度学习实践-02-[Linear Model]
Correlation Coefficient (CC)
Correlation Coefficient (CC)
数据挖掘笔记(2)-统计特征函数和数据可视化作图
数据挖掘笔记(2)-统计特征函数和数据可视化作图
如何使用python中的corr()求解变量之间的相关性？+pcolor的使用。
如何使用python中的corr()求解变量之间的相关性？+pcolor的使用。
激活函数
激活函数
机器学习（一）：激活函数（Activation Function）
机器学习（一）：激活函数（Activation Function）
Non-linear activation function
Non-linear activation function
维度学习、度量学习 一.先说特征选择，即子集选择。 二. 主成分分析（PCA） 三.FA 四.ICA 六.线性判别分析（LDA） 七.局部线性嵌入LLE 八.等距特征映射 九.小波变换 推荐阅读的论文
维度学习、度量学习 一.先说特征选择，即子集选择。 二. 主成分分析（PCA） 三.FA 四.ICA 六.线性判别分析（LDA） 七.局部线性嵌入LLE 八.等距特征映射 九.小波变换 推荐阅读的论文

评论列表共有 0 条评论

立即
投稿
返回
顶部