熵、条件熵、联合熵、互信息关系及例题

90 阅读 0 评论 60 点赞

我是靠谱客的博主受伤背包，这篇文章主要介绍熵、条件熵、联合熵、互信息关系及例题，现在分享给大家，希望可以做个参考。

在这里插入图片描述

离散变量	连续变量
$H(X)=sum_{x_{i} in X} P(x_{i}) log frac{1}{P(x_{i})}$	$H ( X ) = ∫ P ( x ) ⋅ log ⁡ 1 P ( x ) d x H(X)=int P(x) cdot log frac{1}{P(x)} d x$
$Y)=sum_{x_{i} in X} sum_{y_{j} in Y} P(x_{i}, y_{j}) log frac{1}{P(x_{j} mid y_{i})}$	略
$Y)=sum_{x_{i} in X} sum_{y_{j} in Y} P(x_{i}, y_{j}) log frac{1}{P(x_{i}, y_{j})}$	略

$I (X; Y) = H (X) - H (X ∣ Y) = H (Y) - H (Y ∣ X) = H (X) + H (Y) - H (X, Y)$

例题1：
令 $left{u_{1}, u_{2}, ldots, u_{8}right}$ 为一等概消息集, 各消息相应被编成下述二元码字：
$u_{1}=0000, quad u_{2}=0011, quad u_{3}=0101, quad u_{4}=0110$ ,
$u_{5}=1001, quad u_{6}=1010, quad u_{7}=1100, quad u_{8}=1111$
通过转移概率为p的BSC传输，求：
（1）接收到的第一个数字 0 与 $u_{1}$ 之间的互信息量。
（2）接收到的前四个数字 0000 与 $u_{1}$ 之间的互信息量。
在这里插入图片描述
(1) $p ( 0 ) = 1 8 ( 1 − p ) × 4 + 1 8 p × 4 = 1 2 p(0)=frac{1}{8}(1-p) times 4+frac{1}{8} p times 4=frac{1}{2}$
$Ileft(u_{1} ; 0right)=log frac{pleft(0 mid u_{1}right)}{p(0)}=log frac{1-p}{frac{1}{2}}=1+log (1-p)$ bit
(2) $p(0000)=frac{1}{8}left[(1-p)^{4}+6(1-p)^{2} p^{2}+p^{4}right]$
$Ileft(u_{1} ; 0000right)=log frac{8(1-p)^{4}}{(1-p)^{4}+6(1-p)^{2} p^{2}+p^{4}}$ bit