我是靠谱客的博主 负责白昼,这篇文章主要介绍神经网络的传播(权重更新),现在分享给大家,希望可以做个参考。

本文重在阐述神经网络里的前向传播和反向传播。

上一篇文章构建了一个简单的网络,可以看出来它对于手写数字的识别率还是可以高达91%。但我们尚未对神经网络处理的过程做出太多解释。

数据在网络中的传播有两种方式。一种是沿着输入到输出的路径,被称为前向传播。一种是从输出返回到输入,被成为反向传播(backprop)。

train_step = tf.train.GradientDescentOptimizer(0.2).minimize(loss)
sess.run(train_step, feed_dict={
  x: batch_xs, y: batch_ys})

前文代码节选

当我们运行最小化loss的时候,为了求出loss的值,我们的数据会沿着我们构建的通道向前流动,逐步的求出每个节点。

losspredictionivi=(yprediction)2/ 10=[softmax(wix+bi)]=evij=0evi=softmax(wix+bi) l o s s = ( y − p r e d i c t i o n ) 2 /   10 p r e d i c t i o n i = [ s o f t m a x ( w i x + b i ) ] = e v i ∑ j = 0 e v i v i = s o f t m a x ( w i

最后

以上就是负责白昼最近收集整理的关于神经网络的传播(权重更新)的全部内容,更多相关神经网络内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(49)

评论列表共有 0 条评论

立即
投稿
返回
顶部