目录

一、前言 

二、错误概率和译码规则 

2.1、错误概率

2.2、译码规则 

三、最大后验概率准则与最大似然译码准则

3.1、最大后验概率准则（MAP）

3.2、最大似然译码准则（ML）

3.3、举个栗子

四、费诺不等式 

五、错误概率与译码方法 

六、码字距离 

6.1汉明距离 

6.2最小距离译码准则

七、纠错能力与检测能力

八、香农第二定理 

互联网的广大朋友们，大家好！即将迈入期末的坟墓，我们一起走进信息论的知识总结。由于我复习的顺序可能不是按目录走，如果你想看完整版的，请订阅我的信息论专栏。我会尽快更新的！！！

一、前言 

1、信道编码目的：提高通信系统的可靠性，尽可能将消息通过传输前后所发生的错误率降到最低。 （考过）

2、信道编码：按一定规则给信源编码的码符号序列增加一定的冗余信息，时期变为具有一定数学规律的码符号序列。（加冗余的过程）

3、信道译码：接收到码符号序列后，按照与信道编码器相同的数学规律，去掉符号序列中的冗余符号。（去冗余的过程）

二、错误概率和译码规则 

2.1、错误概率

1.1 在有噪信道中传输消息是会发生错误的，为了减少错误，提高可靠性，首先分析错误概率与哪些因素有关。

与错误概率有关的因素：

• 信道统计特性     （p199）
• 译码的规则

2.2、译码规则 

假设输入符号集X={}, 输出符号集Y={}。若每一个输出符号，都能找到一个特定的函数对应唯一的一个输入符号。

                              即：  （j=1,2,3,…,s；i=1,2,3,…,r）    (这就是译码规则）

 译码规则不同，正确或错误的概率也就不同。

例如：有一个单符号信道，信道矩阵为：

，矩阵的横表示，列表示。我设计一个译码规则:

   意思是，每输入符号，都能找到一个特定的函数对应唯一的输入符号；每输入符号，都能找到一个特定的函数对应唯一的输入符号；每输入符号，都能找到一个特定的函数对应唯一的输入符号。

三、最大后验概率准则与最大似然译码准则

译码规则的选择需要根据平均错误概率为最小的选择，那什么是平均错误概率，以及如何计算？

平均错误概率：经过译码后平均接收到一个符号所产生的错误大小。

正确译码概率：  （后验概率：在输出已知情况下，输入的概率）

错误译码概率：

3.1、最大后验概率准则（MAP）

按照定义的译码规则，叫最大后验概率准则或者叫最小错误概率准则。（考点） 

解题步骤：

第一步：转移概率矩阵乘以得到联合概率分布矩阵。

第二步：以每列矩阵的最大概率相对应的输入概率作为译码准则。

第三步：所有译码结果对应的联合概率之和为正确概率，矩阵中其余元素之和为错误概率。 

3.2、最大似然译码准则（ML）

通常情况下，最大后验概率未知，从而介绍极大似然译码准则。

按照定义的译码规则，叫最大似然译码准则。（考点）

 解题步骤：

第一步：以转移概率矩阵每列中最大的一个元素对应的作为译码准则。

第二步：假如是等概率输入，所有译码准则所对应的转移概率之和乘以为正确概率，其余矩阵元素之和乘以为错误概率。（其中是等概率分布的概率）假如输入的不是等概率，就是每一行译码准则乘以对应之和即为正确概率，每一行的其余元素乘以对应的之和即为错误概率。

看到这里晕了吗？？？？上栗子吧。。。

3.3、举个栗子

 第一个栗子：

若信道矩阵，设输入概率为，分别根据最小错误概率准则和最大似然译码准则确定译码规则，求得平均错误概率。（第一个栗子我详细写，其余内容都一样，不再详细，所以你一定要先看懂我第一个栗子。）

第二个栗子：

 设有一离散无记忆信道，矩阵信道为，若。试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。

四、费诺不等式 

平均错误概率与译码规则有关，译码规则又由信道特性来决定，故平均错误概率与信道统计特性存在联系，且平均错误概率与信道疑义度 满足不等式：

               

说明：

• 不论采用什么译码准则，费诺不等式均成立。
• 信道疑义度由两部分组成：
  • ：是否发生错误的不确定性。即收到y后产生值为的平均错误概率的平均不确定度。
  • 当错误发生后，确定由（r-1）个输入符号中哪一个引起的错误的不确定，其最大值为

物理意义：当信源、信道给定时，信道疑义度就给定了译码错误的下限。

五、错误概率与译码方法 

1.  对于给定信道，输入符号概率一定时，选择译码规则可使得最小。
2. 一般数字通信系统要求平均错误概率在和数量级，甚至更低。
3. 费诺不等式表明，要进一步降低，仅仅制定译码规则已经不够了，需要对信道的输入符号进行编码。

 二元信道中，有什么办法使得错误概率降低吗?

在发送端把消息重复发送几遍，也就是增加消息的传输时间，就可使得在接收端接收信息时错误减小，从而提高了通信的可靠性。

简单重复编码：在发送端把消息多重复几遍，可以是接收端接收信息时错误概率减小。（比如说，你妈叫你回家吃饭，你第一遍没听到，那么再来一次，你妈叫你回家吃饭。） 

在二元对称信道中，发送消息0和1，采用简单重复编码，将长度n=1的两个二元序列变为长度n=3的二元序列，那么我们称这两个长度为3的二元序列为码字，于是信道输入端就有两个码字000和111。但是在输出端，由于信道干扰的作用，码字中各个码元都有可能发生错误，那么就有可能发生8种可能的输出序列。分别为000,001,010,011,100,101,110,111。这样的一种信道可以将其看成三次无记忆扩展信道。

信道矩阵如下：

信息传输率（码率）：（比特/码符号）

若传输每个码符号平均需要t秒钟，则编码后单位时间传输的信息量： （比特/秒）

六、码字距离 

6.1汉明距离 

1. 长度为n的两个符号序列（码字）和之间的距离是指 和之间对应位置上不同码元的个数，用符号D(）表示，简称。
2. 在某一码C中，任意两个码字的汉明距离的最小值称为该码C的最小距离。最小距离与该码的错误概率有关。 

6.2最小距离译码准则

越大，越小，越小，越大。我们可以将最大似然译码准则与最小距离译码准则联系起来。 

最后的解题步骤类似最大似然译码准则。。。。

七、纠错能力与检测能力

编码可以纠正个及以内错误的充要条件是：

编码可以检测个及以内错误的充要条件是：

举个栗子：

八、香农第二定理 

内容：设有一离散无记忆平均信源，其信道容量C，若编码信息率R<C，当码长n足够大时，则至少存在一种编码，使得译码错误概率任意小；相反，若信息传输率R>C，则码长无论多大，总也找不到是译码错误概率任意小的编码。 

说明：

• “高效率，高可靠性”的信道编码存在，但未指出具体方法，该定理指出来信道编码的极限性能，为信道编码的研究指明方向。
• 高效率：信息传输率接近信道容量。
• 高可靠性：译码差错任意小。
• 存在这种信道编码的必要条件为：R<C

最后

以上就是温柔钻石为你收集整理的第六章——有躁信道编码定理一、前言 二、错误概率和译码规则 三、最大后验概率准则与最大似然译码准则四、费诺不等式 五、错误概率与译码方法 六、码字距离 七、纠错能力与检测能力八、香农第二定理 的全部内容，希望文章能够帮你解决第六章——有躁信道编码定理一、前言 二、错误概率和译码规则 三、最大后验概率准则与最大似然译码准则四、费诺不等式 五、错误概率与译码方法 六、码字距离 七、纠错能力与检测能力八、香农第二定理 所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。