范数.正则化.过拟合.多项式线性代数代码表示.训练集和验证集的关系

阅读目录
LP范数
L1范数
L2范数
L1范数和L2范数的区别过拟合和欠拟合训练集和验证集的关系在总结正则化（Regularization）之前，我们先谈一谈正则化是什么，为什么要正则化。LP范数范数简单可以理解为用来表征向量空间中的距离，而距离的定义很抽象，只要满足非负、自反、三角不等式就可以称之为距离。LP范数不是一个范数，而是一组范数，其定义如下：pp的范围是[1,∞)[1,∞)。pp在(0,1)(0,1)范围内定义的并不是范数，因为违反了三角不等式。根据pp的变化，范数也有着不同的变化，借用一个经典的有关P范数的变化图如下： 上图表示了pp从0到正无穷变化时，单位球（unit ball）的变化情况。在P范数下定义的单位球都是凸集，但是当0<p<10<p<1时，在该定义下的unit ball并不是凸集（这个我们之前提到，当0<p<10<p<1时并不是范数）。那问题来了，L0范数是啥玩意？L0范数表示向量中非零元素的个数，用公式表示如下：我们可以通过最小化L0范数，来寻找最少最优的稀疏特征项。但不幸的是，L0范数的最优化问题是一个NP hard问题（L0范数同样是非凸的）。因此，在实际应用中我们经常对L0进行凸松弛，理论上有证明，L1范数是L0范数的最优凸近似，因此通常使用L1范数来代替直接优化L0范数。L1范数
根据LP范数的定义我们可以很轻松的得到L1范数的数学形式：通过上式可以看到，L1范数就是向量各元素的绝对值之和，也被称为是"稀疏规则算子"（Lasso regularization）

最后

以上就是舒服萝莉为你收集整理的范数.正则化.过拟合.多项式线性代数代码表示.训练集和验证集的关系的全部内容，希望文章能够帮你解决范数.正则化.过拟合.多项式线性代数代码表示.训练集和验证集的关系所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。