我是靠谱客的博主 热情帅哥,最近开发中收集的这篇文章主要介绍TensorFlow中Batch Normalization的坑,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

关于batch normalization

Batch normalization 是由Sergey Ioffe在这篇文章中介绍的。它的作用是减少internal covariance shift,这样的话是网络中的每一层的学习相互独立。这样网络的收敛速度会更快,因此初始化的参数会学习结果的影响更小。
在什么地方使用batch Normalization似乎是有争议的。我成功在卷积之后,激活层之前添加,也成功在激活层之后添加。
关于batch normalization的计算
根据下面的图片显示,BN层将会学习两个参数gamma 和beta,最后的输出与X_hat和gamma,beta相关。在计算X_hat时候,需要用到两个参数,average和variance(记住这两个参数,后面在分析TensorFlow的实现时候要用到)
在这里插入图片描述

TensorFlow实现

在TensorFlow中对于BN层有两种不同的实现方式。分别为training mode和inference mode。
Training Mode
在该模式下,上面提到的average和variance通过计算一个batch中的average和variance来得到。成为batch average和batch variance。
Inference Mode
在inference 模式下,因为如果batch size是1的话,BN将起不到作用,因此在inference 模式中,average 和 variance由之前在训练时候得到的average和variance来替代,称为population average和population variance。因为训练过程要有好多的batch,所以population average和population variance应该作为参数被更新(但这两个参数不在后向反馈网络中,因此需要手动的添加到学习的dependency中去)

根据上面的介绍,在部署拥有BN层的模型时,在freeze model 前,要需要注意将模型的模式变为inference mode,否则可能会对结果有影响。

PS

可以通过浏览TensorFlow的源码来理解BN层的工作方式,或者请确保BN层中的每个参数都得到了正确的设置。

其他问题

  1. BN层的beta参数不参与学习?

最后

以上就是热情帅哥为你收集整理的TensorFlow中Batch Normalization的坑的全部内容,希望文章能够帮你解决TensorFlow中Batch Normalization的坑所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(40)

评论列表共有 0 条评论

立即
投稿
返回
顶部