香农公式说明了什么_ 香农定律：信息帝国的基石，美国制霸全球的最强法器...

众所周知，瓦特改良蒸汽机，使人类进入了“蒸汽时代；而麦克斯韦提出的电磁理论，则让人类从蒸汽时代跨越到了电气时代。而第三次信息革命，则是香农提出的香农定律吹响了变革的号角。

从 1948 年，香农定律的提出，标准着信息论的建立，美国之所以能够对全球经济具有话语权，除了是因为强大的军事能力之外，还仰赖于香农定律构建的全球技术标准，让美国成为新帝国的垄断者。

从 1G 到 4G 时代，美国都是主导者，但到了 5G 时代，以华为为代表的中国企业异军突起，争夺 5G 的全球领导权，这也是美国恼羞成怒的原因。

但不管怎么样，从技术的角度来看，主宰者从来只有一个，那就是我们刚刚提到的香农公式，它才是5G幕后真正的大BOSS。香农定律诞生 70 年，是时候搞懂它了。

1850 年克劳修斯从热机的效率出发，认识到正转变(功转变成热量)可以自发进行，而负转变(热量转变成功)作为正转变的逆过程却不能自发进行。负转变的发生需要同时有一个正转变伴随发生，并且正转变的能量要大于负转变，这实际是意味着自然界中的正转变是无法复原的。

所以克劳修斯在论文中提出了一条基本定律：“没有某种动力的消耗或其他变化，不可能使热从低温转移到高温。“这个定律被称为热力学第二定律。

克劳修斯在 1854 年的随笔《关于热的力学理论的第二基础定理的一个修正形式》提出了新的物理量来解释这种现象,1865 年正式命名为熵,以符号S表示。

由此克劳修斯提出了热力学第二定律的又一个表述方式，也被称为熵增原理，那就是：不可逆热力过程中熵的微增量总是大于零。在自然过程中，一个孤立系统的总混乱度(即“熵”)不会减小。

简而言之就是孤立系统的熵永不自动减少，熵在可逆过程中不变，在不可逆过程中增加，可以说非常鲜明地指出了不可逆过程的进行方向。

熵增原理是热力学第二定律的另外一种表述形式，却又拥有更加深刻的含义，它创造了“熵”这个概念。

1865年，热力学奠基人之一克劳修斯把熵增原理(熵增原理是热力学第二定律的又一种表述)应用于无限宇宙中而提出“热寂说”，熵增原理就是孤立热力学系统的熵不减少，总是增大或者不变。用来给出一个孤立系统的演化方向。说明一个孤立系统不可能朝低熵的状态发展即不会变得有序。(孤立体系是指：系统与环境之间既无物质交换，又无能量交换，故称为孤立体系)

热寂说将熵增原理扩大到整个宇宙，将整个宇宙当成一个孤立系统，认为宇宙的熵会趋向极大，最终达到热平衡状态，即宇宙每个地方的温度都相等。

麦克斯韦在听到热寂说之后，立即脑洞大开，首先从概率统计的角度认真思考这个假说，意识到对于宇宙这种“开放系统”来说，一定存在某种机制，使得在某种条件下，会存在貌似“违反了”热力学第二定律的情况。

1871年，他在《热理论》一书的末章《热力学第二定律的限制》中，设计了一个假想的存在物，即著名的“麦克斯韦妖” (Maxwell's demon)。

在麦克斯韦构想中，麦克斯韦妖有极高的智能，可以追踪每个分子的行踪，并能辨别出它们各自的速度。这个理想实验如下：

“我们知道，在一个温度均匀的充满空气的容器里的分子，其运动速度决不均匀，然而任意选取的任何大量分子的平均速度几乎是完全均匀的。现在让我们假定把这样一个容器分为两部分，A和B，在分界上有一个小孔，在设想一个能见到单个分子的存在物，打开或关闭那个小孔，使得只有快分子从A跑向B，而慢分子从B跑向A。这样，它就在不消耗功的情况下，B的温度提高，A的温度降低，从而与热力学第二定律发生了矛盾"。

而这个存在物就是“麦克斯韦妖”，小妖精掌握和控制着高温系统和低温系统之间的分子通道。它利用了分子运动速度的统计分布性质。因为根据麦克斯韦分布，即使是低温区，也有不少高速分子，高温的系统中也有低速度的分子，通过这样一个能够控制分子运动的小妖精，在两系统的中间设置一个门，只允许快分子从低温往高温运动，慢分子则从高温往低温运动，在“小妖”的这种管理方式下，两边的温差会逐渐加大，高温区的温度会越来越高，低温区的温度越来越低。

麦克斯韦认为，只有当我们能够处理的只是大块的物体而无法看出或处理借以构成物体分离的分子时，热力学第二定律才是正确的，并由此提出应当对热力学第二定律的应用范围加以限制。

1929 年匈牙利物理学家利奥·希拉德在研究麦克斯韦妖的时候，将麦克斯韦的设计方案简化，构建了一个单分子版的实验模型。

希拉德首次将信息的概念引入到热力学循环中。小妖精进行测量的目的是为了获得信息，从而知道分子是处于左边还说右边，而在这个获取信息的过程中会消耗能量，从而导致整体的熵的增加。如果把这个效果包含到热力学循环中来，热力学第二定律就不会被违反，那么麦克斯韦妖就被斩杀了！

希拉德第一次认识到信息的物理本质，将信息与能量消耗联系起来。可以说为后来的消息论奠定了基础。

我们知道，自人类诞生之初，信息就已经产生，比如古代猿人通过声音告诉同伴捕猎成功，这也是信息。但是千百年来从未有科学家对信息展开系统研究。人通过获得、识别自然界和社会的不同信息来区别不同事物，得以认识和改造世界。在一切通讯和控制系统中，信息是一种普遍联系的形式。

飞鸽传书

而香农对信息的认知可以说开人类之先河，彻底颠覆了人类的认知。香农是一个天才，从小对数学就极为痴迷，香农十分热衷于解答姐姐凯瑟琳交给他的数学题。

而到了 22 岁的时候，他发表的硕士论文《A Symbolic Analysis of Relay and Switching Circuits》(继电器与开关电路的符号分析)就已经惊震世界。当时他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。如果说德布罗意的博士论文是世界上最伟大的博士论文，那香农的这篇就是世界上最伟大的硕士论文。

不过，香农的确是一个非常有趣的人，他曾因为获得杂耍学博士而欣喜不已，到了晚年，依然热衷于像人们展示自己鼓捣的各式各样的小玩意小器械。

玩杂耍的香农

香农在贝尔实验室为美国情报部门工作工作多年，在英文里情报和信息的英文都是“information”。这让他对于信息产生了独特的理解。

当时香农在研究探讨信息的本质和通信的理论极限问题，比如什么是信息，怎样从数学上定义衡量信息，数据压缩和数据传输可达到的极限在哪里。

香农认为信息是能够用来消除不确定性的东西，举一个不是很恰当的例子，我不知道我这次考试的分数是多少，但是老师给我发了一个信息告知了我，我立马做出决定不告诉我妈这次的成绩，这其实就是一个获取新信息、消除不确定性的过程，这个过程可以看做是信息论原理的一个具象呈现。

香农本来打算直接用“不确定性”(uncertainty)来表达这个概念，但是这个概念太过于模糊，不确定性究竟指的是什么东西，它的意义是什么，就很难说明白。

当他和冯·诺伊曼讨论这个问题时，冯·诺伊曼对香农建议说：“你应该把它称之为‘熵’。”并给出两个理由，一是“不确定性”这个概念已被用于统计力学，二是没有人知道“熵”到底是什么，不致引发争论。

所以香农熵由此诞生，香农指出信息熵是消除不确定性所需信息量的度量，即未知事件可能含有的信息量。通俗的讲信息熵是用来衡量信息量的大小。

• 若不确定性越大，则信息量越大，熵越大。
• 若不确定性越小，则信息量越小，熵越小。

在之前，克劳修斯提出的“熵”，最初是用来描述“能量退化”的物质状态参数之一，仅仅是一个可以通过热量改变来测定的物理量，但是在香农的手里，熵则开启了信息时代的大门，所以才有了那句经典的“香农说，要有熵，信息时代由此开启”。

信息熵的公式

香农在希拉德的基础上提出，信息就是负熵，麦克斯韦妖将负熵输给系统，即是降低了熵，增加了有序性。信息的获取是需要消耗能量的。物体之间的相互作用在系统之内并不降低系统的不确定度，所以没有信息作用。信息是对系统的观测，是外界对原来系统的作用。信息的本质就是“意义'的载体。

1948年10月香农在《贝尔系统技术学报》发表了论文《A Mathematical Theory of Communication》(通信的数学理论)，这是现代信息论研究的开端，文章系统论述了信息的定义，怎样数量化信息，怎样更好地对信息进行编码。在这些研究中，概率理论是香农使用的重要工具，并且正式提出了信息熵的概念，用于衡量消息的不确定性，从而解决了电报、电话、无线电等如何计量信号信息量的问题。

除此之外香农还自创用“比特”来测量信息的单位，现已跻身于公尺、千克、分钟之列，成为了日常生活中最常见的量纲之一，是计算机最小的数据单位。

例如“小编实在太厉害”这七个汉字一共是112bits，一个汉字两个字节，一个字节8bits，总共就是7*2*8bits。

香农的厉害之处就在于，有的理论的创始人是带我们到了一个新的起点，而香农创立信息论时，直接定义了它的终点。只要你还在经典信息论框架内，你就逃不出三大定理的范围，我们拼尽全力往技术的山顶走，而香农就在山顶等我们，哪怕是现在认为非常先进的5G技术,其实也并没有突破香农理论的极限。

我们真的，香农信息论是以概率论、随机过程为基本研究工具，研究广义通信系统的整个过程，而不是整个环节，并以编、译码器为重点，其关心的是最优系统的性能及如何达到该性能。

虽然香农熵解决了电报、电话、无线电等如何计量信号信息量的问题。但怎么在远距离通信中进一步提高信道容量？也就是信息传送速率上限，即“香农极限”。

因为在信息论里，有噪信道编码定理指出，尽管噪声会干扰通信信道，但还是有可能在信息传输速率小于信道容量的前提下，以任意低的错误概率传送数据信息。

而通信信道的信道容量也就是香农限制是指在指定的噪音标准下，信道理论上的最大传输率。

由此，在这篇论文中，香农提出了信息论的基础，也是关于信道容量计算的一个经典定律——香农定律。这使得至今几乎所有的现代通信理论都是基于这个公式展开。

它是指在高斯白噪声背景下的连续信道的容量

=

(b/s)。

其中：B为信道带宽(Hz)；S为信号功率(W)；n0为噪声功率谱密度(W/Hz)；N为噪声功率(W)。

香农定理给出了信道信息传送速率的上限(比特每秒)和信道信噪比及带宽的关系。可以解释现代各种无线制式由于带宽不同，所支持的单载波最大吞吐量的不同。

C是单信道的信道容量，是能在此信道中信息传输速率的最大值,。我们建立了一个单点输入、单点输出的通信通道(我们称为信道)后，这条通道每秒最多可以传送多少bit的信息量，如果信息速率超过信道容量,那信息是不可能被传输。

B是信道的带宽，可以简单理解为分配给一个信道可用的频率范围的一半；S是传送信号的平均功率，而N则是噪声或者干扰信号的平均功率。

从香农公式可知，对于单信道而言，要增加信道容量C，无非三种方式：或增加带宽B，或增加信号功率S，或减少噪声或干扰信号的功率N。

我们可以简单地把信息通道看作是城市道路，那么在这条道路上的单位时间内的车流量就受到道路宽度和车辆速度等因素的制约，在这些特定制约条件下，单位时间内最大车流量就被称为极限值。

而根据香农定理，由于受到一些固有规律的制约，任何信道都不能无限增加信息传送的速率。

从香农公式中我们可以看出，想要提高信息的传送速率关键在于提高信噪比和带宽。

香农定律为信息时代指明了道路，二十世纪六十年代由美国贝尔实验室等单位提出蜂窝系统的概念和理论，但是受到硬件的限制，七十年才在正式向产业化发展。移动通信的变革在北美、欧洲、和日本几乎同时进行。1978年，美国贝尔实验室研制成功全球首个移动蜂窝电话系统AMPS，标志着 1G 时代的到来，全球正式进入了信息时代，信息技术革命以美国为核心逐渐扩散到其他国家。

香农定律告诉我们：牺牲单个信道的功率，虽然单个信道的容量有所降低，但是这个降低却能换来信道数目的增长。因此，有的时候，牺牲一定的带宽、提高一点噪声或是降低一点信号功率，如果能使输入或输出信号之间的区分度增加，也是可以提高信道总容量的。这正是5G的另一类重要技术，非正交复用技术(Non-Orthogonal Multiple Access，NOMA)的原理基础。

而从 1G 到 5G 的过程，就是逼近香农极限的过程。香农公式是整个信息时代规则的制定者，它是至高无上的神，也是美国得以制衡全球的终极法器。然而随着时代的发展，我们也获悉了香农定律中的无上奥秘。从而在 5G 世界走在了全球的前列。

或许这新帝国的垄断者也该易位了！