L1、L2正则化来源推导L1、L2正则化来源推导
L1、L2正则化来源推导L1L2的推导可以从两个角度:带约束条件的优化求解(拉格朗日乘子法) 贝叶斯学派的:最大后验概率1.1 基于约束条件的最优化对于模型权重系数w的求解释通过最小化目标函数实现的,也就是求解:首先,模型的复杂度可以用VC来衡量。通常情况下,模型VC维与系数w的个数成线性关系:即:w数量越多,VC越大,模型越复杂为了限制模型的复杂度,我们要降低VC,自然的思路就是降低w的数量,即:让w向量中的一些元素为0或者说限制w中非零元素的个数。我们可以在原优化问题