决策树与随机森林算法（理论）-----------------------机器学习系列（二））
在讲解算法之前，先铺垫一下算法涉及的内容：熵：H(X)=−∑x∈Xp(x)logp(x)联合熵：H(X,Y)=−∑x∈X,y∈Yp(x,y)logp(x,y)条件熵：H(X|Y)=−∑x∈X,y∈Yp(x,y)logp(x|y)相对熵：D(p||q)=∑xp(x)logp(x)q(x)互信息：I(X,Y)=∑x∈X,y∈Yp(x,y)logp(x,y)p(x)p(y)Gini系数：
