数据挖掘之分类器信息分拣 --- 特征选择之互信息
对于事件A和事件B同时出现的，一种信息论的描述方法就是互信息，计算方式如下其意义：由于事件A发生与事件B发生相关联而提供的信息量。在处理分类问题提取特征的时候就可以用互信息来衡量某个特征和特定类别的相关性，如果信息量越大，那么特征和这个类别的相关性越大。反之也是成立的。以搜狗实验室的语料为例。选取金融，IT产品，体育，娱乐，股票这五个类别，通过互信息来选取词来建立空...
