1,首先贴出sigmoid原始函数：
# def sigmoid(x):
# return 1 / (1 + np.exp(-x))
问题：
因为当x为正整数的时候，exp(-x)很小，当x是一个非常小的负数时，exp(-x)会过大，导致溢出。
所以我们可以这样优化：对于负数，我们上下同时乘以exp(x)即可。
优化后的函数为：
def sigmoid(x):
if np.all(x) >= 0:
return 1 / (1 + np.exp(-x))
else:
return np.exp(x) / (np.exp(x) + 1)
当然，可以在进行数据预处理的时候就可以进行归一化，将数据控制在0-1之间，这样也可以避免overstack.
最后
以上就是高贵高山最近收集整理的关于学习笔记：神经网络中的激活函数sigmoid函数如何避免overstack的全部内容，更多相关学习笔记：神经网络中内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复