1. 首页
  2. 文章中心
  3. 决策树

机器学习基础算法16- 决策树与随机森林-理论部分

203 阅读 0 评论
我是靠谱客的博主 甜美棉花糖，这篇文章主要介绍机器学习基础算法16- 决策树与随机森林-理论部分，现在分享给大家，希望可以做个参考。

文章目录

    • 一、决策树
      • 1.信息熵
        • 1）熵
        • 2）联合熵与条件熵
        • 3）相对熵
        • 4）互信息
        • 总结
      • 2.决策树学习算法
        • 1）信息增益-ID3
        • 2）信息增益率-C4.5
        • 3)CART-gini系数
        • 总结
        • 4）决策树的评价
        • 5）决策树过拟合
    • 二、Bagging与随机森林
      • 1.Bagging
      • 2.随机森林
      • 3.样本不均衡的常用处理方法
      • 4.样本间相似度
      • 5.特征重要度
      • 6.异常检测

一、决策树

1.信息熵

1）熵

在这里插入图片描述

2）联合熵与条件熵

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3）相对熵

在这里插入图片描述

4）互信息

在这里插入图片描述

在这里插入图片描述

总结

在这里插入图片描述
互信息的另一种表述方式
在这里插入图片描述
在这里插入图片描述

2.决策树学习算法

在这里插入图片描述
在这里插入图片描述

1）信息增益-ID3

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
符号含义
在这里插入图片描述

2）信息增益率-C4.5

在这里插入图片描述
在这里插入图片描述

3)CART-gini系数

见上

总结

在这里插入图片描述

4）决策树的评价

在这里插入图片描述

5）决策树过拟合

在这里插入图片描述
在这里插入图片描述
加粗样式
在这里插入图片描述

二、Bagging与随机森林

1.Bagging

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.随机森林

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.样本不均衡的常用处理方法

在这里插入图片描述

4.样本间相似度

在这里插入图片描述

5.特征重要度

在这里插入图片描述

6.异常检测

在这里插入图片描述

最后

以上就是甜美棉花糖最近收集整理的关于机器学习基础算法16- 决策树与随机森林-理论部分的全部内容，更多相关机器学习基础算法16-内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
点赞(134)

相关文章

分类-决策树
分类-决策树
sklearn决策树（Decision Tree）多分类问题步骤结果
sklearn决策树（Decision Tree）多分类问题步骤结果
决策树（分类树）sklearn建模流程，一共三步。
决策树（分类树）sklearn建模流程，一共三步。
分类算法之决策树决策树信息增益sklearn决策树API及案例决策树的优缺点以及改进
分类算法之决策树决策树信息增益sklearn决策树API及案例决策树的优缺点以及改进
机器学习基础算法16- 决策树与随机森林-理论部分
机器学习基础算法16- 决策树与随机森林-理论部分
分类之决策树分类基本概念决策树构建分类案例决策树特点
分类之决策树分类基本概念决策树构建分类案例决策树特点
决策树（1. 分类树）前言一、重要参数二、重要的属性和接口总结
决策树（1. 分类树）前言一、重要参数二、重要的属性和接口总结
夏日炎炎，使用决策树去挑选西瓜（python实现）一：问题导向二：ID3算法的预备知识三：代码实现及结果分析四：决策树生成和修剪
夏日炎炎，使用决策树去挑选西瓜（python实现）一：问题导向二：ID3算法的预备知识三：代码实现及结果分析四：决策树生成和修剪

评论列表共有 0 条评论

立即
投稿
返回
顶部