概述
一、剪枝目的
避免过拟合现象，提升模型的泛化效果
二、剪枝方法
剪枝算法主要分为两种，预剪枝和后剪枝
2.1 预剪枝
预剪枝是在构建决策树的过程中，提前停止使模型性能变差的分支
预剪枝方法：
- 当树的深度达到一定的规模，停止生长。
- 当前节点的样本数量小于某个阈值，停止生长。
- 当信息增益，信息增益率和基尼指数增益小于某个阈值，停止生长。
- 当测试集准确性提升小于某个阈值，或不再提升甚至有所下降时，停止生长。（西瓜书）
预剪枝方法能有效提升模型性能，并减少训练时间和测试时间；但这种方法采用的是贪心本质，存在欠拟合风险。
2.2 后剪枝
后剪枝是在决策树构建完成后，开始自下而上地剪枝
后剪枝方法：
- 悲观剪枝（PEP）
- 最小误差剪枝（MEP）
- 错误率降低剪枝（REP），（西瓜书）
- 代价复杂度剪枝（CCP）
- OPP （Optimal Pruning）
- CVP （Critical Value Pruning）
部分参考：https://www.cnblogs.com/starfire86/p/5749334.html
最后
以上就是纯真大地为你收集整理的决策树——剪枝算法的全部内容，希望文章能够帮你解决决策树——剪枝算法所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复