概述
正则化线性模型
线性模型减少过度拟合的方法之一对模型正则化，它拥有的自由度越低，就越不容易过度拟合数据，比如将多项式模型正则化的简单方法降低多项式的阶数。比如将多项式正则化的简单化方法就是降低多项式的阶数。 【 正则化：约束它】
而对线性模型来说，正则化通常通过约束模型的权重来实现的。
岭回归
岭回归是线性模型的正则化版本，在成本函数中增加一个 α ∑ i = 1 n θ i 2 alphasum_{i=1}^ntheta_i^2 α∑i=1nθi2可以看做是 θ theta θ的L2f范数的平方。正则惩罚项只能在训练的时候添加到成本函数中，一旦训练完成需要使用未经正则化的性能来评估模型性能。
超参数 α alpha α用来控制正则化的程度，如果 α alpha α非常的大，那么权重参数将会非常的小，十分的接近零。
岭回归的成本函数为：
J ( θ ) = M S E ( θ ) + α 1 2 ∑ i = 1 n θ i 2 J(theta) = MSE(theta) + alphafrac{1}{2}sum_{i=1}^ntheta_i^2 J(θ)=MSE(θ)+α21i=1∑nθi2
按照之前的推导公式先求释然函数，再利用最小二乘法可以很容易的推导出MSE的批量梯度下降公式为：
∇ θ M S E ( θ ) = 2 m X T ⋅ ( X ⋅ θ − y ) + α W begin{aligned} nabla_theta MSE(theta) = frac{2}{m}X^Tcdot(X cdot theta - y)+alpha W end{aligned} ∇θMSE(θ)=m2XT
最后
以上就是贤惠信封为你收集整理的normal linear model的全部内容，希望文章能够帮你解决normal linear model所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复