学习笔记：神经网络中的激活函数sigmoid函数如何避免overstack

75 阅读 0 评论 50 点赞

我是靠谱客的博主高贵高山，最近开发中收集的这篇文章主要介绍学习笔记：神经网络中的激活函数sigmoid函数如何避免overstack，觉得挺不错的，现在分享给大家，希望可以做个参考。

1,首先贴出sigmoid原始函数：

# def sigmoid(x):
#     return 1 / (1 + np.exp(-x))

问题：
因为当x为正整数的时候，exp(-x)很小，当x是一个非常小的负数时，exp(-x)会过大，导致溢出。
所以我们可以这样优化：对于负数，我们上下同时乘以exp(x)即可。
优化后的函数为：

def sigmoid(x):
   if np.all(x) >= 0:
       return 1 / (1 + np.exp(-x))
   else:
       return np.exp(x) / (np.exp(x) + 1)

当然，可以在进行数据预处理的时候就可以进行归一化，将数据控制在0-1之间，这样也可以避免overstack.

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。