树模型相关介绍(决策树,随机森林,Adaboost, BDT, GBDT, XGboost, lightGBM)
决策树的理解:1.2 分类树信息熵:用来衡量不确定性的指标,不确定性是一个事件出现不同结果的可能性,计算公式如下条件熵:在给定随记变量Y的条件下,随机变量X的不确定性信息增益:熵-条件熵,代表了在一个条件下,信息不确定性减少的程度1.2.2 基尼指数基尼指数:在样本集合中一个随机选中的样本被分错的概率注意:Gini指数越小表示集合中被选中的样本被分错的概率越小,也就是说集合的纯度越高,反之,集合越不纯;当集合中所有样本为一个类时,基尼指数为0计算方法:CART树是一个二叉树,对于