举例说明信息熵、互信息的计算过程一、 计算公式二、举例说明总结
目录一、 计算公式1、信息熵H(X)2、联合熵H(X,Y)3、互信息I(X,Y)4、条件熵H(X|Y)二、举例说明1、信息熵H(X)2、联合熵H(X,Y)3、互信息I(X,Y)4、条件熵H(X|Y)总结一、 计算公式在shannon提出信息论到现在已经有70多年的历史。信息论中常用的概念有信息熵、联合熵、条件熵、互信息等概念。1、信息熵H(X)定义：一个离散随机变量X的熵H(X)定义为H...
