拥有全球最大指令集的“意念打字“系统，创下世界纪录

57 阅读 0 评论 38 点赞

我是靠谱客的博主会撒娇煎蛋，最近开发中收集的这篇文章主要介绍拥有全球最大指令集的“意念打字“系统，创下世界纪录，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

点击上面"脑机接口社区"关注我们

更多技术干货第一时间送达

10月12日，第三届数字中国建设峰会上，大指令集高速无创脑机接口打字系统得到了广泛的关注，据悉该脑机接口打字系统由天津大学和中电云脑联合研发。

脑机接口打字系统主要是通过脑机接口技术来识取脑电波并解码意志，来进行脑控打字以及外部设备的控制。

工作人员只要戴脑电帽，双眼紧盯电脑屏幕，在无需双手操作的情况下，就可通过“意念”“隔空打字”，将英文字符输入指定区域。目前这套脑机接口是世界范围内指令集最大的，创造了世界纪录。

当然，所谓的“意念打字”实际上存在很多年了。最常见的两种非植入式实验范式 SSVEP 和 P300 都可以做到用脑电信号操控打字程序，但这并非是“意识打字”，只是将特定脑电信号转化为有限指令从系统中得到输出而已。

基于SSVEP的"意念打字"

稳态视觉诱发电位(steady-state visual evoked potentials,SSVEP)是BCI系统经常使用的一种信号,它当人眼受到固定频率超过4Hz的视觉刺激时，大脑皮质活动将被调节，导致类似于刺激的周期性节律。

SSVEP产生信号原理

研究者认为大脑里分布的各种神经网络都有其固有的谐振频率，在正常状态下，这些神经网络都是互不同步的，也是杂乱无章，没有规律的，此时的脑电信号是自发脑电。当施加一个恒定频率的外界视觉刺激时，与刺激频率或谐波频率相一致的神经网络就会产生谐振，导致大脑的电位活动在刺激频率或谐波频率处出现明显变化，由此产生了SSVEP 信号。

SSVEP 信号获取过程

从生理特性看，大脑的不同功能分区各有分工，不同皮层区域的感觉、运动、认知模块相互独立，如下图大脑皮层主要功能分布图所示，但各个功能模块相互协作，形成一个有机的整体。在大脑处理感知信息的过程中，多种模块并行工作。基于SSVEP 信号的BCI 系统就是通过检测枕叶视觉区的EEG 信号来判断大脑的思维活动。

大脑皮层主要功能分布图

通常SSVEP是通过固定频率的闪烁刺激诱发的，而诱发产生SSVEP信号的视觉刺激源通常包括光刺激源、图形刺激源以及模式翻转刺激源。

光刺激源主要是用受到一定频率调制的LED、荧光灯、氙灯等光源作为视觉刺激。光源刺激器一般都包含一个精确的电路控制系统，通过控制可以产生各种不同频率的闪烁模式。光源的参数我们用一个调制深度来描述，它与所诱发的SSVEP信号幅度有关。以LED作为光源诱发视觉刺激为例，利用LED可以实现不同颜色光的闪烁刺激来诱发SSVEP，而不同颜色光的LED闪烁会影响SSVEP的响应。

用于引起短暂性VEP或SSVEP反应的刺激物示例

图形刺激源主要是利用计算机显示屏幕闪烁刺激，即制作单一的简单方块、复杂的多个方块、不同颜色的图片等图形，且该图形以一定的频率闪烁刺激。

图形刺激

模式翻转刺激源也是产生于显示器屏幕，不同的是模式翻转刺激源主要是利用两个图形以一定的翻转速率交替出现来展现视觉刺激。目前，常用的图形模式有黑白棋盘格和栅格。

黑白棋盘格和栅格

外界的光线进入人眼后，视细胞层利用自身的感光作用，将光能转化为神经电位信号，然后传输至大脑皮层形成视觉诱发电位，进而可以利用BCI 系统采集并分析SSVEP 信号，在大脑皮层中与枕叶视觉区有关的脑电通道主要有六个，如下图所示。

视觉刺激频率

在实验中，当刺激频率在1-100Hz之间时，就能诱发产生SSVEP信号。

在基于SSVEP的BCI系统中，常选用的刺激频率范围是4-50Hz。

其中刺激频率为1-12Hz的频段，常被称为低频段；

刺激频率为12-30Hz 的频段为中频段；

30-50Hz 的频段为高频段。

SSVEP-Based BCI

当刺激频率为10Hz 时，SSVEP 产生响应最大；其次，能较明显的诱发SSVEP 信号的刺激频率集中在中频段，而高频段的刺激频率能诱发的响应最小。由于处于中低频段的刺激频率所诱发的SSVEP 信号能产生的响应较大，因此，目前基于SSVEP的BCI系统所采用的刺激频率的频段主要集中在中低频段（4-30Hz）。该频段的刺激频率存在一定的缺点:

以此频段频率闪烁的视觉刺激源更容易使受试者产生视觉疲劳；
当视觉刺激源的刺激频率在此频段时，易使受试者诱发出癫痫；
人的自发脑电波的alpha波段和beta波段的频率分别为8-13Hz 和13-30Hz，这将会与此频段的刺激频率发生覆盖重叠，从而引起错误检测。

中低频段的频率存在不少的缺点，但此频段却能使诱发的SSVEP 信号产生最大的响应，同时这些缺点可以通过增强SSVEP 信号能量来解决。所以很多研究也是基于中低频段的频率进行的。

基于P300的"意念打字"

在基于P300的oddball刺激范式 BCI 系统研究中，最经典的应用是Farwell和Donchin在 1988年提出并设计的字符拼写器简称为P300 Speller。如下图所示，使用26个英文字母和 1-9个数字以及下划线排列成 6 x 6 的虚拟键盘矩阵。随机高亮字符矩阵的某一行或某一列，一次实验中6 x 6列均被高亮亮一次，一共12次高亮刺激。受试者必须将注意力集中在矩阵中的字符上，以此来选择组成单词的每个字母。当包括此字符的行或者包含此字符的列被高亮时（也就是oddball范式中的靶刺激），要求受试者对此做出反应，予以计数，会产生P300波形；当不包含此字符的行或者列加亮时，被试不做出反应，不予计数，不会产生P300波形，通过解析脑电信号中的P300时序位置，并对照刺激序列的时序，进而确定刺激的行列位置，从而确定出受试者注视的字符，达到根据思维打字的目的。为了有助于保持受试者的注意力，通常要求受试者对目标字符高亮的次数进行计数。值得注意的是重复高亮次数越多，识别准确率越好，但会增加拼写时间。再者每一个字符也可以代表着一个控制指令，从而可以实现36个控制指令。

P300 Speller 打字界面（左图为一行高亮的界面图右图为打字界面的行列编号），

图片来源于：基于P300的脑机接口指令识别图2.5

比如要打字符“V”，12次刺激当中，理论上只有编号为10的行和编号为4的列加强才可以诱发出P300脑电波形图如图 2.6 所示。根据这个特性利用识别算法找到12次中2次的 P300波形，就可以确定一个字符。

字符"V"的行和列高亮图片来源于：基于P300的脑机接口指令识别图2.5

经典的行列刺激范式(RCP)

2.P300的SD范式

2004年，Guan等人首先提出单项显示（Single Display, SD）刺激范式，并将该范式应用到 P300字符拼写实验中，该系统的刺激界面如下图所示，36个字符，其中26个英文字符，10个阿拉伯数字字符，整个界面排列成6 x 6行列矩阵。每个字符随机的闪烁，与经典的刺激范式不同，不是按照行列闪烁，即当某个字符闪烁结束一段时间后，下一个字符才开始闪烁。完成一个字符输入，需要36次字符的闪烁。同样受试者需要默数字符的闪烁次数，这样为加强受试者的注意力。一个round包含36次的闪烁，即每个字符的输入需要一个round，目标字符出现的概率为1/36，这样在一次round之后，P300字符输入系统就可以确定受试者想要输入的目标字符。

P300 SD范式图片来源于:A Comparison of P300-speller Stimuli

Presentation Paradigms for Brain-computer Interface

3.棋盘格刺激范式(checkerboard paradigm，CBP)

在CBP中，标准的8x9矩阵实际上是叠加在棋盘上的(下图a)，而参与者实际上从未见过。将8x9矩阵的白色单元格中的项目分隔成白色的6x6矩阵，将黑色单元格中的项目分隔成黑色的6x6矩阵。在每个闪烁序列之前，图a中的项目分别随机填充白色或黑色矩阵，如图b所示。虚拟棋盘布局控制邻接分散错误，因为相邻的项目不能包含在同一个flash组中。最终的结果是，由于图b所示的虚拟行和列，参与者看到6个项目组成的随机组在闪烁(与行和列相反)。例如，白色矩阵的第一行包括:2,Bs, Shift, H, Sp, EC。标准矩阵永远不变;只更改了闪烁项的模式。在一个序列中，白色矩阵中的6个虚拟行(图b)依次从上到下闪烁，黑色矩阵中的6个虚拟行依次闪烁。然后，白色矩阵中的6个虚拟列按从左到右的顺序闪烁，然后是黑色矩阵中的6个虚拟列。

a.棋盘格刺激范式(checkerboard paradigm，CBP)

b. 从棋盘派生的两个虚拟6 6矩阵

4.基于区域的刺激范式(regionbased paradigm，RBP)

这个范例的思想原理是让几个区域闪烁，而不是使用行和列。字符识别是在两个层次上进行的。在第一个层次，字符被放置在屏幕的不同部分的七个组，如下图所示。在Farwell-Donchin范例中，当一组字符随机增强时，用户被要求关注组中的特定字符。通过对P300的检测，经过多次增强后，可以发现包含目标字符的组。在第二层，被检测组的特征被分布到另外七个区域。例如，下图显示了在第二层中展开的一个区域。在第二层，与第一层所做的工作类似，不同的区域被强化，而受试者集中在其中一个区域。在对其中一个区域的P300进行检测之后，就可以识别出最终的目标字符。