傻子都能看懂的——条件熵
引言关于信息熵请看之前一篇博客:傻子都能看懂的——信息熵(香农熵)条件熵H(Y|X) 表示在已知随机变量X的条件下随机变量Y的不确定性。条件熵H(Y|X) 定义为X给定条件下Y的条件概率分布的熵对X的数学期望。如何理解这个数学期望,请看下图公式第二步,是不是一个经典的数学期望式子?第二步到第三步,也就是条件概率到联合概率:P(x,y)=P(x∩y)=P(x|y)*P(y)例子假如我们有上面数据:设随机变量Y={嫁,不嫁}我们可以统计出,嫁的个...