数据降维和特征选择的区别，特征选择常用算法综述，用于文本分类的特征选择算法

51 阅读 0 评论 34 点赞

我是靠谱客的博主顺心篮球，最近开发中收集的这篇文章主要介绍数据降维和特征选择的区别，特征选择常用算法综述，用于文本分类的特征选择算法，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

两个容易混淆的概念：数据降维和特征选择的区别

用于文本挖掘分类的特征选择算法：参考

（1）DF(Document Frequency) 文档频率

统计特征词出现的文档数量，用来衡量某个特征词的重要性。越高越重要。

（2）MI(Mutual Information) 互信息法

互信息法用于衡量特征词与文档类别直接的信息量。如果某个特征词的频率很低，那么互信息得分就会很大，因此互信息法倾向"低频"的特征词。相对的词频很高的词，得分就会变低，如果这词携带了很高的信息量，互信息法就会变得低效。互信息越低特征越重要。

（3）IG(Information Gain) 信息增益法

通过某个特征词的缺失与存在的两种情况下，语料中前后信息的增加，衡量某个特征词的重要性。信息增益越高特征越重要。

（4）CHI(Chi-square) 卡方检验法

利用了统计学中的"假设检验"的基本思想：（假设检验的基本思想是小概率反证法思想，反证法思想是先提出假设H0，再用适当的统计方法确定假设成立的可能性大小，如可能性小，则认为假设不成立，若可能性大，则还不能认为假设不成立。）首先假设特征词与类别直接是不相关的，如果利用CHI分布计算出的检验值偏离阈值越大，那么更有信心否定原假设，接受原假设的备择假设：特征词与类别有着很高的关联度。

（5）WLLR(Weighted Log Likelihood Ration)加权对数似然

（6）WFO（Weighted Frequency and Odds）加权频率和可能性

（7）期望交叉熵

特征选择和特征抽取（特征降维）的区别：

machine learning的终极目标就是为了预测，当然预测前我们要对数据进行training。通常我们不会拿原始数据来训练，如果用raw data来直接训练的话，有一个问题就是我们设计的分类器在训练集上会得到很好的performance，但在测试集上的performance却变得非常差。这就是过拟合(overfitting)的问题，另一个问题就是用raw data直接训练，原始维度太高，耗时长。解决过拟合的问题就要求我们找出raw data中差异性最大的那些特征，这样才能保证分类器在测试集有好的performance。所以通常我们都是要对原始数据进行特征提取的。提取特征后通常特征维数依然不低，而且依然可能会出现过拟合的问题，为了解决这些问题，通常的做法就是降维和特征选择。降维用的最多是PCA。

特征选择：单纯地从提取到的所有特征中选择部分特征作为训练集特征，特征在选择前和选择后不改变值（不改变维度）。

特征抽取（特征降维）：本质上是从一个维度空间映射到另一个维度空间，特征的数量没有减少（不改变数量），但是在映射的过程中特征值会相应的变化（改变维度或者值）。对于降维算法可参考：降维的算法

关于特征选择的参考以下两篇很有意义：