集成学习——AdaBoosting
集成学习即结合多个学习器来完成学习任务。一般个体学习器是弱学习器,如决策树、神经网络等。为了避免把好坏不一的模型组合的结果比最好的个体学习器差,每个学习器应该有多样性,即好而不同。集合学习的利率证明:对于单个分类器hi,其错误率如下:对于T个分类器,如果超半数分类为正确,则最终分类为正确。可见随着T增加,错误率会指数级下降,最终趋于0。然而前提条件是分离器的误差相互独立,针对这个问题,现有的集成学习方法分为两类:1、串行生成的Boosting。 2、并行的Bagging和随机森林。