信息论

信息的 可度量性 是建立信息论的基础
单符号离散信源一般用随机变量描述，而多符号离散信源一般用__"随机矢量__描述。
统计度量"是信息度量最常用的方法。
熵_是香农信息论最基本最重要的概念。
可用__随机变量或随机矢量__来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。
事物的不确定度是用时间统计发生__概率的对数__来描述的.
信源分为__连续信源__和__离散信源
自信息的数学期望__为信源的平均信息量，也称为信源的信息熵。
I(X;Y)代表_接收到符号集Y后所能获得的关于X的信息量。
一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为：其发生概率对数的负值 。
如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”则答案中含有的信息量为__log27 bit。如果你在已知今天是星期四的情况下提出同样的问题，则答案中含有的信息量为__0 bit_。
自信息量的单位一般有__比特__、奈特__和__哈特。
不可能事件的自信息量是__∞__。
两个相互独立的随机变量的联合自信息量等于__两个自信息量之和__。
数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量___趋于变小_。

条件熵大于或等于无条件熵。错误
H
菲诺不等式与率信息率失真函数有内在的联系，体现信道的抗干扰能力

条件熵H(Y/X)可以看作是信道上的干扰和噪声所造成的对信源符号X的平均不确定度。错误
条件熵是在得知某一确定信息的基础上获取另外一个信息时所获的信息量

自信息量、条件自信息量和互信息量之间有如下关系：I(xi；yj)=I(xi)-I(xi/yj)=I(yj)-I(yj/xi)。正确

最后

以上就是聪慧黑米为你收集整理的信息论的全部内容，希望文章能够帮你解决信息论所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。