CountVectorizer，Tf-idfVectorizer和word2vec构建词向量的区别

CountVectorizer和Tf-idfVectorizer构建词向量都是通过构建字典的方式，比如在情感分析问题中，我需要把每一个句子（评论）转化为词向量，这两种方法是如何构建的呢？拿CountVectorizer来说，首先构建出一个字典，字典包含了所有样本出现的词汇，每一个词汇对应着它出现的顺序和频率。对于每一个句子来说，构建出来的词向量的长度就是整个词典的长度，词向量的每一维上都代表这一维对应的单词的频率。同理，Tf-idf就是将频率换成Tf权值。

 

CountVectorizer有几个参数个人觉得比较重要：

max_df：可以设置为范围在[0.0 1.0]的float，也可以设置为没有范围限制的int，默认为1.0。这个参数的作用是作为一个阈值，当构造语料库的关键词集的时候，如果某个词的document frequence大于max_df，这个词不会被当作关键词。如果这个参数是float，则表示词出现的次数与语料库文档数的百分比，如果是int，则表示词出现的次数。如果参数中已经给定了vocabulary，则这个参数无效
min_df：类似于max_df，不同之处在于如果某个词的document frequence小于min_df，则这个词不会被当作关键词
max_features：默认为None，可设为int，对所有关键词的term frequency进行降序排序，只取前max_features个作为关键词集

 

Tf-idfVectorizer也有上述参数，除此之外还有一个个人觉得能用得上的：

norm：默认为'l2'，可设为'l1'或None，计算得到tf-idf值后，如果norm='l2'，则整行权值将归一化，即整行权值向量为单位向量，如果norm=None，则不会进行归一化。大多数情况下，使用归一化是有必要的。（这里的l1和l2的区别我目前也不太明白）

通过这些方法转化的词向量维度还是比较大的，而且是稀疏阵，为了避免过拟合等问题，所以在实际处理中需要降维处理。

 

word2vec的话比他们要复杂一些，是利用类似神经网络进行训练得到的词向量，每一个单词有对应的向量。一般如果像微博评论情感分析这种问题，在求评论向量的时候，可以直接对每一个词向量求平均作为句子向量。至于word2vec实现不在这里赘述。word2vec可以设置好词向量维度，但是一般设在100维以上。如果样本不算太大时，为了避免后续词向量维度较大造成的训练问题，可以将输出维度设置为几十维。