我是靠谱客的博主 无聊汉堡,最近开发中收集的这篇文章主要介绍基尼系数(Gini Impurity)的理解和计算一、基尼指数的概念二、基尼系数的计算公式三、计算示例,觉得挺不错的,现在分享给大家,希望可以做个参考。
概述
一、基尼指数的概念
基尼指数(Gini不纯度)表示在样本集合中一个随机选中的样本被分错的概率。
注意:Gini指数越小表示集合中被选中的样本被参错的概率越小,也就是说集合的纯度越高,反之,集合越不纯。当集合中所有样本为一个类时,基尼指数为0.
二、基尼系数的计算公式
基尼指数的计算公式为:
三、计算示例
我们分别来计算一下决策树中各个节点基尼系数:
以下excel表格记录了Gini系数的计算过程。
我们可以看到,GoodBloodCircle的基尼系数是最小的,也就是最不容易犯错误,因此我们应该把这个节点作为决策树的根节点。在机器学习中,CART分类树算法使用基尼系数来代替信息增益比,基尼系数代表了模型的不纯度,基尼系数越小,不纯度越低,特征越好。这和信息增益(比)相反。
最后
以上就是无聊汉堡为你收集整理的基尼系数(Gini Impurity)的理解和计算一、基尼指数的概念二、基尼系数的计算公式三、计算示例的全部内容,希望文章能够帮你解决基尼系数(Gini Impurity)的理解和计算一、基尼指数的概念二、基尼系数的计算公式三、计算示例所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复