冷静蓝天

文章
6
资源
0
加入时间
3年0月8天

决策树的分类准则一、ID3决策树——以信息增益为准则来选择划分属性的决策树二、C4.5决策树——以信息增益率为准则来选择划分属性的决策树三、CART决策树——以基尼指数为准则来选择划分属性的决策树

决策树的分裂准则ID3决策树——以信息增益为准则来选择划分属性的决策树Gain(D,a)=Ent(D)−∑v=1V∣Dv∣∣D∣Ent(Dv)=Ent(D)−H(D∣a)\begin{aligned}Gain(D,a)&=Ent(D)-\sum^V_{v=1}{|D^v|\over{|D|}}Ent(D^v)\\&=Ent(D)-H(D|a)\end{aligned}Gain(D,a)​=Ent(D)−v=1∑V​∣D∣∣Dv∣​Ent(Dv)=Ent(D)−H(