树是怎么集成的

78 阅读 0 评论 52 点赞

我是靠谱客的博主现实火车，最近开发中收集的这篇文章主要介绍树是怎么集成的，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

很多机器学习算法都用到了树集成(Tree ensemble)的思想，例如GBDT，XGBoost，RF。但是一直不知道用到多个树是怎么集成的。其实就是将之前的一个树分成多个树，例如原来是先判断是否满足条件1，再分支判断是否满足条件2，这样一直分支下去创建树，现在就是将条件1，条件2分开。树1只用条件1，树2只用条件2，然后每个树分出的叶子节点都有一个预测分数，如果样本x在树1所属的叶子节点分数为score1，在树2所属的叶子节点的分数为score2，那么最终样本得到的结果就是所有树的分数之和score1+score2+…。这样就是树之间集成的思想。