从信号的维度再次理解香农公式，进而发问，人类到底生活在几维空间中？

84 阅读 0 评论 56 点赞

我是靠谱客的博主传统火龙果，最近开发中收集的这篇文章主要介绍从信号的维度再次理解香农公式，进而发问，人类到底生活在几维空间中？，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

香农公式是香农老人家一辈子的巅峰之作。对香农公式的理解当然可以从不同的角度去理解。所谓万法归宗，不论从哪个角度去理解，到最后发现，其本质都是一样的，都揭示了信息传输极限能力。

学过通信的都知道香农公式的表达式，log2（1+s/n)，单位是bit/s，就是说，告诉了我信号的信噪比，也就是信号和噪声的能量之比，如果功率均匀，也可以理解为信号功率和噪声强度的比。我们就可以估计此系统的最大传输速率。也就是说，每秒钟最大能够传输多少bit信息。当然，90%的人只知道这些。为什么会是这样，为什么传输速率有一个上限，是什么东西在制约这个系统，这个制约可以打破吗。等等问题大多数人可能不知道。当然看香农的原始推到，就会被其复杂的公式难住。今天，我们从向量的角度，直白而又准确的解决上面的所有问题。在谈这个之前。先可以思考一下，宇宙到底是几维空间。

在向量中，有维度的概念，向量就是一个空间，超过3为的向量空间，人类就很难理解了。不知是那个大神竟然体会到了第四维，时间这个维度。还有没有更高的维度，我认为有，只是以目前人类的感知能力，无法感知到。

在纯数学的向量空间中，可以使多维的空间。可以用数学表达式来优雅的描述。言归正传，先谈谈信号的维度。任何一个时域的信号，我们定义他的维度为2WT。这样定义利用了Nyquist定律。任何一个带宽为W的信号，只要抽样频率大于等于2W，就可以完全的表示这个信号。当最小抽样速率选为2W时，对于时间为T的信号（这个T不一定是非无限大的。),可以用T/(1/2W)=2TW个离散的点，即原始信号的抽样来完备的表示这个信号。这样，一个信号从时域连续变成了离散的。这是一个等价变换。相当于从一个域变换到另一个域的变换。可以把这种变换叫做从连续域到离散域的一个变换。这种变换和FT变换，Z变换，Laplas变换类似。两个域之间是等效的。好，通过域的转换，我们把连续域变换成为了离散域。这样就可以引入数学中的向量工具。

这样一个信号的就是一个矢量。这个矢量所处的矢量空间的维度为2wt。所谓一个信号能带多少bit，就是说，在AWGN的影响下，可以有多少个可以相互分辨的信号。香农就是解决了这个问题。在没有AWGN的影响下，这个信号的功率为一个定值的时候，他的矢量就是一个超维的球的半径。他的顶点就是相同半径的圆球的球面。当然，球面上有无数个点，就是有无数个相互可以分辨的信号。也就是说信道容量为无穷。说到这，有人会发问，nyquist定理不是也有一个极限吗，他那个极限为2W，不是也是没有AWGN吗。nyquist的理论是基于一个一个symbol的。在symbol无码间干扰的情况下的最大速率，单位都不同，那是波特率。只是考虑了各个symbol情况。香农玩的更大，他不再看symbol了，只看一个时间段内的所以波形。当然这个波形里可能包好很多的symbol。所以nyquist和香农的侧重点不同。

好，信号就是球面上的点。接着就要加入白噪声了。白噪声，服从高斯分布，均值为0，方差为sigma方。sigma方就是白噪声的强度，也就是白噪声的功率。这样i.i.d的AWGN就会加入2wt维度的各个维上。根据大数定律，白噪声的平方和（也就是噪声的能量）会趋于2wtsigma方，也就是说，被污染的点是原始点的一个小球面。这样只要各个小球之间不想交，就可以分辨出各个矢量了。这样的小球一共多少个，在取个log2，就是信道的容量。这个的小球的个数的计算方法可以参考广义球体容积的计算方法。通过计算，就可以计算出香农容量。妥妥的。因此，整个流程是一个数学的过程。

因此，解决上面提到的问题，1，传输速率又上限是因为信号被污染之后，变成了另一个信号，接收到同一个信号无法辨别到底是那个发的。所以，每个信号都有一个自我的领地（也叫安全范围），这样就会导致速率会有一个上线，每一个信号都有一个最小的领地。2，制约这个系统的是这个超维的矢量空间，这是无法解除的。只能逼近这个容量，而无法超越这个容量。逼近的方法就是信道编码，发送接收算法等等，这里不再赘言。

接着引入一个哲学话题，人类到底生活在几维的空间，一个信号，看上去只是一个时间维的2维信号，但是他却需要一个多维空间来表示。那么人类生活在4维空间（目前可以感知到的维度），应该可以用更高的维度来表示。人类也有上限，也有制约，只能逼近，无法超越。大自然的自然现象可能会给人类一些启示。所以，我们与大自然共同生活在一个超维宇宙之中，虽然我们只能感知到4维，其他的维度需要与大自然共振。