最常见的两类方法就是 msra 的 he_initialization 和 Xavier initialization 。
def conv_var(kernel_size, in_channels, out_channels, init_method, name):
shape = [kernel_size[0], kernel_size[1], in_channels, out_channels]
if init_method == 'msra':
return tf.get_variable(name=name, shape=shape, initializer=tf.contrib.layers.variance_scaling_initializer())
elif init_method == 'xavier':
return tf.get_variable(name=name, shape=shape, initializer=tf.contrib.layers.xavier_initializer())
filters = conv_var(kernel_size=kernel_size, in_channels=channels, out_channels=channels,
init_method='msra', name='first_train')
给滤波器进行权值初始化
如果使用 relu,则最好使用 he_initialization, 即 tf.contrib.layers.variance_scaling_initializer( )
在 relu 网络中,假定每一层有一半的神经元被激活,另一半为 0 ,所以要保持 variance 不变,只需要在 Xavier 的基础上再除以 2 。
如果激活函数使用 sigmoid 和 tanh,则最好使用 xavier initialization, 即 tf.contrib.layers.xavier_initializer_conv2d( )
xavier 是保持输入和输出的方差一致,避免了所有的输出值都趋向于0.
最后
以上就是高贵戒指最近收集整理的关于tf 中权重初始化方法的全部内容,更多相关tf内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复