tensorflow合并conv层和bn层，可以提高前向预测速度10-30%，按理说精度应该完全一样（实际会有很小的偏差，不知道是不是还有哪里操作错误）。
conv层和bn层合并网上很多推导教程，这里直接放结论：
bn层一般有4个参数
beta（offset偏移）、gamma（scale缩放）、moving_mean（mean均值）、moving_variance（variance方差）
alpha = gamma/(moving_variance+epsilon)^1/2
Wnew = Wold * alpha
Bnew =Bold alpha +beta - moving_meanalpha
tensorflow这里面有一个坑，就是alpha，下面本来是除标准差，但是由于防止除零错误，应该加了一个epsilon极小值，但tensorflow中tf.layers.batch_normalization和tf.nn…batch_normalization的epsilon默认值都为1e-3，我训练网络中有很多参数都是1e-3级别的，甚至小于1e-3，有很大影响，所以在合并的时候，也要和训练的时候用一样的epsilon值，我理解就当训练的一部分吧。。。
最后
以上就是羞涩萝莉最近收集整理的关于Tensorflow 合并conv层和bn层的全部内容，更多相关Tensorflow内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复