机器学习-决策树总结
决策树：LR模型是把所有特征塞入学习，而决策树类似if-else一样，去做条件判断。信息熵越低，纯度越高。信息熵计算：信息增益：划分前的信息熵 - 划分后的信息熵。表示的是向纯度方向迈出的“步长”。ID3：在根节点处计算信息熵，根据属性依次划分并计算其节点的信息熵，信息增益降序排列，排在前面的就是第一个划分属性，其后依次类推，这就得到了决策树的形状。信息增益有一个问题：对可取值数目较多的属性有所偏好，例如：考虑将“编号”作为一个属性。C4.5：使用信...
