学习笔记:神经网络中的激活函数sigmoid函数如何避免overstack
1,首先贴出sigmoid原始函数:# def sigmoid(x):# return 1 / (1 + np.exp(-x))问题:因为当x为正整数的时候,exp(-x)很小,当x是一个非常小的负数时,exp(-x)会过大,导致溢出。所以我们可以这样优化:对于负数,我们上下同时乘以exp(x)即可。优化后的函数为:def sigmoid(x): if np.all(x) >= 0: return 1 / (1 + np.exp(-x)) else: