激励函数简介 Tensorflow最简单的三层神经网络及matplotlib可视化附激励函数常见类型激励函数：

84 阅读 0 评论 56 点赞

我是靠谱客的博主优秀钢铁侠，最近开发中收集的这篇文章主要介绍激励函数简介 Tensorflow最简单的三层神经网络及matplotlib可视化附激励函数常见类型激励函数：，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

激励函数：

有人说翻译成“激活函数”（activation function）会更好，因为主要作用是分割数据，判断该“神经”是否被激活。比如说，当你判断面前的动物是否是一只猫的时候，你会从各个部分去判断。比如眼睛，当你觉得确实像猫的眼睛时，判断眼睛的神经数值会特别高，如果觉得比较像，则会相对低一点，在神经网络算法中，可以说，激励函数就是分割这个神经判断是与否的准则。

某些数据是可以被线性分割的，但是也有很多数据是不可被线性分割的，因此，激励函数也是多种多样的。

三层神经网：

以下是一个最简单的三层神经网络结构，代码中都有注释，输入层，隐藏层，输出层。其中，输入层，输出层为1个神经元，隐藏层为10个神经元，并且训练1000次。目的是为了让x_data数据与y_data数据进行拟合。

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

def add_layer(inputs,in_size,out_size,activation_function=None): #activation_function=None线性函数
	Weights = tf.Variable(tf.random_normal([in_size,out_size])) #Weight中都是随机变量
	biases = tf.Variable(tf.zeros([1,out_size])+0.1) #biases推荐初始值不为0
	Wx_plus_b = tf.matmul(inputs,Weights)+biases #inputs*Weight+biases
	if activation_function is None:
		outputs = Wx_plus_b
	else:
		outputs = activation_function(Wx_plus_b)
	return outputs

#创建数据x_data，y_data
x_data = np.linspace(-1,1,300)[:,np.newaxis] #[-1,1]区间，300个单位，np.newaxis增加维度
noise = np.random.normal(0,0.05,x_data.shape) #噪点
y_data = np.square(x_data)-0.5+noise

xs = tf.placeholder(tf.float32,[None,1])
ys = tf.placeholder(tf.float32,[None,1])
#三层神经，输入层（1个神经元），隐藏层（10神经元），输出层（1个神经元）
l1 = add_layer(xs,1,10,activation_function=tf.nn.relu) #输入层
prediction = add_layer(l1,10,1,activation_function=None) #隐藏层

#predition值与y_data差别
loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction),reduction_indices=[1])) #square()平方,sum()求和,mean()平均值

train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss) #0.1学习效率,minimize(loss)减小loss误差

init = tf.initialize_all_variables()
sess = tf.Session()
sess.run(init) #先执行init

#可视化
fig = plt.figure()
ax = fig.add_subplot(1,1,1)
ax.scatter(x_data,y_data)
plt.ion() #不让show() block
plt.show()

#训练1k次
for i in range(1000):
	sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
	if i%50==0:
		try:
			ax.lines.remove(lines[0]) #lines建一个抹除一个
		except Exception:
			pass
		#print(sess.run(loss,feed_dict={xs:x_data,ys:y_data})) #输出loss值
		#可视化
		prediction_value = sess.run(prediction,feed_dict={xs:x_data,ys:y_data})
		lines = ax.plot(x_data,prediction_value,'r-',lw=5) #x_data X轴，prediction_value Y轴，'r-'红线，lw=5线宽5
		plt.pause(0.1) #暂停0.1秒

结果：