机器学习笔记 - 互信息Mutual Information

66 阅读 0 评论 44 点赞

我是靠谱客的博主激昂爆米花，最近开发中收集的这篇文章主要介绍机器学习笔记 - 互信息Mutual Information，觉得挺不错的，现在分享给大家，希望可以做个参考。

遇到一个新的数据集时重要的第一步是使用特征效用指标构建排名，该指标是衡量特征与目标之间关联的函数。然后，您可以选择一小部分最有用的功能进行初始开发。

我们将使用的度量称为“互信息”。互信息很像相关性，因为它衡量两个量之间的关系。互信息的优点是它可以检测任何一种关系，而相关性只检测线性关系。

互信息是一个很好的通用指标，在功能开发开始时特别有用，因为您可能还不知道要使用哪种模型。

互信息易于使用和解释，计算效率高，理论上有根据，抗过拟合，并且能够检测任何类型的关系。

互信息描述了不确定性方面的关系。两个量之间的互信息 (MI) 是衡量一个量的知识减少另一个量的不确定性的程度。如果你知道一个特性的价值，你会对目标更有信心吗？

这是 Ames Housing 数据中的一个示例。该图显示了房屋的外观质量与其售价之间的关系。每个点代表一所房子。

从图中我们可以看出，知道 ExterQual 的值应该会让你对对应的 SalePrice 更加确定——ExterQual 的每个类别都倾向于将 SalePrice 集中在一定的范围内。 ExterQual 与 SalePrice 的互信息是采用 ExterQual 的四个值时 Sal

以上就是激昂爆米花为你收集整理的机器学习笔记 - 互信息Mutual Information的全部内容，希望文章能够帮你解决机器学习笔记 - 互信息Mutual Information所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。