通信基础 1——熵、条件熵、互信息熵条件熵互信息(信息增益)交叉熵
目录熵条件熵互信息(信息增益)概念性质熵熵是表示随机变量不确定性的度量，X 是一个取有限值的离散随机变量，其概率分布为：则随机变量X的熵定义为条件熵当随机变量为多维随机变量时，其联合概率分布为：条件熵H(Y|X)，表示已知随机变量X的条件下随机变量Y的不确定性，定义为X给定条件下Y的条件概率分布的熵对X的数学期望：互信息(信息增益)信息增益表示特征X的信息使得Y的信息的不确定性减少的程度，定义为集合D的经验熵H(D)与特征A给定的条件下D的经验熵H(D|A)之差：熵与条件熵只差称
