信息熵——度量样本集合纯度最常用的一种指标，其定义如下：$$Ent(D)=-\sum _{k=1}^{|y|}{p}_{k}lo{g}_2{p}_k$$ 其中， D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } D={(x_1,y_1),(x_2,y_2),dots,(x_m,y_m)} D={(x1​,y1​),(x2​,y2​),…,(xm​,ym​)}表示样本集合，$|y|$表示样本类别总数，$p_k$表示第$k$类样本所占的比例，且：
$0\le p_k\le 1,{\sum }_{k=1}^{|y|}{p}_k=1.$$Ent(D)$值越小，纯度越高。

条件熵——在已知样本属性a的取值情况下，度量样本集合纯度的一种指标，其定义如下：$$H(D|a)=\sum _{v=1}^V\frac{|D^v|}{|D|}Ent(D^v)$$其中，a表示样本的某个属性，假定属性a有V个可能的取值 { a 1 , a 2 , … , a V } {a^1,a^2,dots ,a^V} {a1,a2,…,aV}。样本集合D中在属性a上取值为$a^v$的样本记为$D^v$，$Ent(D^v)$表示样本集合$D^v$的信息熵。$H(D|a)$值越大，纯度越高。

一、ID3决策树——以信息增益为准则来选择划分属性的决策树

信息增益：
$$\begin{array}{rl}Gain(D,a)& =Ent(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}Ent(D^v)\\ & =Ent(D)-H(D|a)\end{array}$$ID3决策树选择信息增益最大的属性作为划分属性，因为信息增益越大，意味着使用该属性来进行划分所获得的”纯度“提升越大。

但是，以信息增益为划分准则的ID3决策树对可取值数目较多的属性有所偏好：
$$\begin{array}{rl}Gain(D,a)& =Ent(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}Ent(D^v)\\ & =Ent(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}(-\sum _{k=1}^{|y|}{p}_{k}lo{g}_2{p}_k)\\ & =Ent(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}(-\sum _{k=1}^{|y|}\frac{|D_k^v|}{|D^v|}lo{g}_2\frac{|D_k^v|}{|D^v|})\end{array}$$ 其中，当某一属性可取值数目较多时，$D^v$会更加趋近于$D_k^v$（可极端考虑为$D^v=D_k^v$，即某一属性的可取值数目等于类别数），$Gain(D,a)$会更大。

二、C4.5决策树——以信息增益率为准则来选择划分属性的决策树

信息增益率：
$$Gain\_ratio(D,a)=\frac{Gain(D,a)}{IV(a)}$$ 其中：
$$IV(a)=-\sum _{v=1}^V\frac{|D^v|}{|D|}lo{g}_2\frac{|D^v|}{|D|}$$ $IV(a)$用来衡量样本对a属性分布是否均匀，越均匀，则$IV(a)$越大。

需要注意的是，增益率准测对可取植数目较少的属性有所偏好，因此，C4.5算法并不是直接选择增益率最大的属性进行划分，而是：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。

三、CART决策树——以基尼指数为准则来选择划分属性的决策树

基尼值：$Gini(D)={\sum }_{v=1}^{|y|}\frac{|D^v|}{|D|}{p}_k(1-p_k)$
基尼值表示：从数据集中任意抽取两个样本，两个样本属于不同类别的概率。
基尼指数：$Gin{i}_{i}ndex(D,a)={\sum }_{v=1}^V\frac{|D^v|}{|D|}Gini(D^v)$
基尼值和基尼指数越小（随机抽取的样本是同一类别的概率越大），样本集合的纯度越高。

最后

以上就是冷静蓝天为你收集整理的决策树的分类准则一、ID3决策树——以信息增益为准则来选择划分属性的决策树二、C4.5决策树——以信息增益率为准则来选择划分属性的决策树三、CART决策树——以基尼指数为准则来选择划分属性的决策树的全部内容，希望文章能够帮你解决决策树的分类准则一、ID3决策树——以信息增益为准则来选择划分属性的决策树二、C4.5决策树——以信息增益率为准则来选择划分属性的决策树三、CART决策树——以基尼指数为准则来选择划分属性的决策树所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。