机器学习算法——决策树——学习总结
决策树是一种基本的分类和回归方法。本次主要学习的分类方法的应用。决策树是一种树结构，包含内部结点、叶子结点。可以认为是if-then规则的集合。内部结点表示一个特征或属性，每个内部结点的分支代表其具体的特征值或属性值。叶子结点表示一个具体的类。熵在讲解决策树构建之前，先讲一下熵的概念。熵用来描述一个集合的混乱程度（就和我们在化学中提到的一样）。在信息论与概率统计中，熵表示随机变量不确定性的度量。给定一个取有限个值的离散随机变量X，则X的熵为H(X)。H(X)=−∑i=1npilog2pin表示X
