基尼系数与熵

134 阅读 0 评论 89 点赞

我是靠谱客的博主无聊滑板，最近开发中收集的这篇文章主要介绍基尼系数与熵，觉得挺不错的，现在分享给大家，希望可以做个参考。

在分类问题中，假设有K个类，样本点属于第k类的概率是Pk，则概率分布的基尼系数定义为:

基尼指数

从公式看就是被分对的概率乘以被分错的概率，然后整个的和就是基尼系数。

例如一个随机事件X ，P(X=0) = 0.5 ,P(X=1)=0.5

那么基尼不纯度就为 P(X=0)*(1 - P(X=0)) + P(X=1)*(1 - P(X=1)) = 0.5

一个随机事件Y ，P(Y=0) = 0.1 ,P(Y=1)=0.9

那么基尼不纯度就为P(Y=0)*(1 - P(Y=0)) + P(Y=1)*(1 - P(Y=1)) = 0.18

很明显 X比Y更混乱，因为两个都为0.5 很难判断哪个发生。而Y就确定得多，Y=0发生的概率很大。而基尼不纯度也就越小。

计算熵：熵越高，混合的数据也越多

一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。

信息熵计算公式是：H(x)=E[I(xi)]=E[ log(1/p(xi)) ]=-∑p(xi)log(p(xi))(i=1,2,..n)。

如果样本具有二元输出属性，其熵的公式为

Entropy(S)=-(p+)*log(p+)-(p-)*log(p-)

其中，p+、p-分别为正例和负例占总记录的比例。

以上就是无聊滑板为你收集整理的基尼系数与熵的全部内容，希望文章能够帮你解决基尼系数与熵所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。