中国人工智能学会通讯——神经环路研究最新进展及对类脑计算的启示 1.复杂科学...

刚才讲到深度学习，脑环路和深度学习可能有一些相似性，但有些是不同的地方。我的演讲有两部分内容，一方面我一直强调复杂科学对整个领域的影响；另外和它相关的话题就是大脑的连接结构。

1.复杂科学

我们是生活在一个复杂的世界里，有空间、时间及时空的复杂性。什么叫复杂性？大家可能知道有个叫复杂性科学的领域90年代比较热，后来冷了一些。但是大家觉得这个领域还处于萌芽期，真正大放异彩的时候是在未来。概括起来说，复杂性有一些共同的特点，在看似复杂的过程中有一些规律，但是规律不是那么清晰，现在更多是统计上的规律。我们能不能把它们提炼出来，像尧老师说的，在发现了很多东西后能不能变成有用的，这是这个领域再往下走可能最重要的事情。大家对复杂性的批判，比如混沌理论是相关理论听了很多，但是哪有根据混沌造的飞机，没有现实能用的例子，不像牛顿力学一发现，人类就能发火箭，虽然相关工程化也经过了很长过程。

为什么我还是觉得这个东西很重要？还是从深度学习说起。有一次作报告他们也问我，这次深度学习为什么能爆发？我觉得最重要的是因为大数据的作用，有了大数据，有了训练算法和计算能力，就有了深度学习，用很复杂的模型就能显著提高功能。但是，世界是复杂的，其数据量呈长尾分布。什么叫长尾分布？就是尾巴特别长，尾巴长就是不常见的事情如果加起来其实很多。对这些常见的事件，我们有大数据，用深度学习就行。但是生活中存在足够多的不常见的事情，让你没法用深度学习全部搞定，总是有足够多不常见的事情。比如现在自动驾驶领域碰到这个问题，总是出现你以前没有想到的情况，而且这种情况还挺多，不能忽略。

大脑是在这么一个世界里进化出来的，所以它对长尾不常见的事情一定有办法，比如用推理、可以猜等很多种办法，这是我们一定要考虑的问题，而不只是迷恋大数据。大脑的特性本身就有复杂性，所以在某种意义上它和这个世界是同构的。

具体来说，大脑中常见的长尾分布有两种，一种叫幂律分布，最经典的就是帕雷多分布，富人总是很少的，但他们总是掌握很多钱。它最大的特点就是具有无尺度性，从哪个尺度看好像都长的差不多，很难说哪个尺度是关键的尺度，分型就是典型例子。这个分布在物理学上和一个叫做混沌边缘的对应起来，这是当年复杂性科学里面一个比较经典的成果。如图所示，当时用了一个非常简单的叫做单元自动机来演示这个现象。用很简单的规则拼起来涌现看发生什么情况。有一个参数，你可以认为是复杂度，当它小时，就是很简单的行为；当复杂度很大时，已经变成完全不可控就是所谓的混沌状态，完全不能预测下一刻会发生什么。但有一个很有意思的参数区间，在混沌的边缘就会出现比较复杂的，有点像分型的东西就出来了。所以有可能大脑就处在中间的状态，这也是为什么出现了很多长尾分布。

大家问了，中间的状态是很小的一个区域，其实完全更有可能处于比如完全不可控的发癫痫的混沌区域，或者完全睡觉的，有可以预测节律出现的简单区域。但在工作状态中，日常中处理大脑事物上，大脑处在临界状态。这是怎么做到？这就需要有一个调控机制把大脑控制在这个区域上。这个参数区间很大，大部分情况要么发癫痫了，要么就睡觉。

这是北大现在的汤超老师和per Bak在1988年很有名的一个沙堆模型的例子，可以看到大自然中其实大部分状态是处在这个临界的，因为再放沙堆就垮了，垮到临界的状态，有一个自动回归的机制。它解释了为什么大自然中虽然这个参数区域很小，但是大自然中这样的系统是很常见的，有一套方法把它调回去。这是可以借鉴的方法。

在神经学上也有类似的现象发现就是神经雪崩现象，具体来说把神经元的发放看似沙堆垮下来的感觉，它的发放大部分是很小的，偶尔有一个大的发放，如果去统计发放的大小有幂律的分布。

大家想为什么我们大脑会经常处于临界状态？一个可能性是大脑具有兴奋和抑制的平衡，这个好像是现在的人工神经元网络没有太多讨论的。现在人工神经元网络没有把兴奋神经元和抑制神经元分开，它不具有单独的抑制能力。大脑可以通过调控兴奋抑制平衡，尤其是抑制性神经元是可以调控的，比如已知的结果，抑制性神经元功能太强就睡觉。现在有很多研究，大概说在信息传输和记忆学习当网络处于临界态时有一定的好处，我不想仔细说那些内容。我觉得它最大的效果可能是没有完全被搞明白的，这可能跟人思维的方式有关。比如我们创造力的过程，经常是你自己苦思冥想但是你自己不知道在想什么，你的潜意识在不断酝酿可能是小的火花在闪耀，但一旦一个时间它们足够大了以后就会聚成一个大的火花，形成一个创造性的发明。我一直觉得这里好像有些什么重要的规律在里，当然我还没有完全把这个搞明白。