概述
正交性在ConvNet过滤器中是一种理想的品质，部分原因是与正交矩阵相乘会使原始矩阵的norm保持不变。这一特性在深度或循环网络中很有价值，因为重复的矩阵乘法会导致信号消失或爆炸。我们注意到用正交矩阵初始化权重的成功（Saxe等人，2014），并认为在整个训练中保持正交性也是可取的。为此，我们提出了一种简单的权重正则化技术，即正交正则化，通过将权重推向最近的正交流形来鼓励权重的正交。(we propose a simple weight regularization technique, Orthogonal Regularization, that encourages weights to be orthogonal by pushing them towards the nearest orthogonal manifold.)
Where Σ indicates a sum across all filter banks, W is a filter bank, and I is the identity matrix.
最后
以上就是老实小懒猪为你收集整理的Orthogonal Regularization的全部内容，希望文章能够帮你解决Orthogonal Regularization所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复