神经网络笔记 - Regularization

神经网络的过拟合(Over fitting) 是神经网络学习的难点, 常规的解决方案是增加学习的样本数, 但是训练样本的搜集往往比较困难,而且样本数增加, 学习成本也随之提高. 另一个比较简单的方法来减少过拟合就是Regularization.
Regularization 的方法有多种:

• L2 Regularization
  修改代价函数(C)为:
  

  $$C = -frac{1}{n}sum_{xj}[y_jln a_j^l + (1-y_j)ln (1-a_j^l)] + frac{1}{2n}sum_ww^2$$

• L1 Regularization
  修改代价函数为:
  

  $$C = -frac{1}{n}sum_{xj}[y_jln a_j^l + (1-y_j)ln (1-a_j^l)] + frac{1}{2n}sum_w|w|$$

• Dropout
  Dropout的训练方法有些奇异, 每次做Back-propagation的时候, 随即删除隐藏层中一半的神经元, 迭代多次后得到网络参数.

为什么Reggularization 可以减轻过拟合(over-fitting）呢? 这个问题大概难以回答吧， 也许从Occam’s Razor 可以得到一些启发， Occam’s Razor 的描述如下:
Entities should not be multiplied unnecessary(如无必要，勿增实体)
Regularization就是试图降低网络的复杂度吧。

Reference:

http://neuralnetworksanddeeplearning.com/

最后

以上就是儒雅老师为你收集整理的神经网络笔记 - Regularization的全部内容，希望文章能够帮你解决神经网络笔记 - Regularization所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。