Content uploaded by Xiaogang Chen
Author content
All content in this area was uploaded by Xiaogang Chen on Nov 19, 2021
Content may be subject to copyright.
科技导报 20 21,39(19)
www.kjdb.org
脑机接口技术发展新趋势
—
—基于 2019—2020 年研究进展
陈小刚1,杨晨 2,陈菁菁 3,高小榕 3*
摘要 脑机接口旨在通过直接从大脑信号中实时解码用户意图来为辅助设备提供丰富、强
大的命令信号。近年来,脑机接口技术的理论和实际应用的研究进展迅速,技术日趋成熟,
其应用领域 也在不断扩大。概述 了 2019—2020 年脑机接口领域在硬件、算法、范式、应用等
方面取得的重要研究进展和发生的热点事件,展望了未来脑机接口技术的发展趋势。
关键词 脑机接口;应用系统;关键技术
收稿日期:2020-06-08;修回日期:2020-06-23
基金项目:国家重点研发计划项目(2017YFB1002505);广东省重点领域研发计划项目(2018B030339001);中央高校基本科研业务费专项资
金项目(3332019015,3332018191)
作者简介:陈小刚,副研究员,研究方向为脑机接口,电子信箱:chenxg@bme.cams.cn;高小榕(通信作者),教授,研究方向为脑机接口,电子信
箱:gxr-dea@tsinghua.edu.cn
引用格 式:陈小刚,杨晨,陈菁 菁,等.脑机接口技术发展新趋势
—
—基于 2019—2020 年研究进展 [J]. 科技导报, 2021, 39(19): 56-65; doi:
10.3981/j.issn.1000-7857.2021.19.007
1. 中国医学科学院北京协和医学院生物医学工程研究所,天津 300192
2. 北京邮电大学电子工程学院,北京 100876
3. 清华大学医学院生物医学工程系,北京 100084
脑机接口(brain-computer interface,BCI)技 术
通过检测用户意图直接控制外部设备,从而为恢复
感觉和运动功能以及治疗神经系统疾病开启了一
扇全新的大门。尽管侵入式和非侵入式脑机接口
系统在可实现任务复杂性方面有所不同,但两类脑
机接口都能成功展现出辅助恢复肢体功能的能力,
包括 独 立 行走 、手 的 功能操 作 以及 语 言 交流[1-6] 。
近年来,脑机接口技术不断取得突破,也带动了产
业界的进一步投入。例如,Elon Musk 的脑机接口
技术公司 Neuralink 于2 019 年发布了脑机接口植入
机器 人 。2019 年 ,Facebook 斥资 10 亿美 元收购脑
机接口公司 CTRL-labs。在 2019 亚洲消费电子展
(CES Asia 2019)上,日产汽车展示了解读大脑信
号的脑 控 车(brain-to-vehicle)技 术 。在 2020 年5
月,华米科技和中国科学技术大学先进技术研究院
共同建立了“脑机智能联合实验室”,展示了国内企
业对这一技术的关注。
本研究从应用系统实现、关键技术发展和未来
发展趋势等方面 回顾 2019—2020 年的脑机接口领
域的前沿进展。
56
科技导报 20 21,39(19) www.kjdb.org
1应用系统实现:交流与控制
1.1 沟通交流
语音解码类脑机接口技术能够将神经活动直
接转换为语音信号,它对由于神经功能障碍而无法
正常交流的群体具有革命性的意义。2019 年4月,
加州大学旧金山分校的研究团队基于脑机接口技
术设计了一种新型的神经解码器,该解码器能够通
过提取大脑皮层活动对发声器官的运动情况来实
现语 音的合 成(图 1[6]
)。不仅 如此,研究者进一 步
发现,即便是在受试者“默读”,即在不发出声音的
情况下读出句子时,这样的解码方法也能够实现语
音的合成,表明该系统有望潜在应用于不能发出声
音的人[6]。这些研究成果展现出通过脑机接口技术
帮助患者恢复口语交流能力的临床可行性,并发表
在《Nature》上。
图2问(蓝)和答(红)过程的实时语音解码示意
图1通过皮层脑电合成语音
随后的 2019 年7月,该研究团队在同样的实验
系统上展示了基于高密度 ECoG 信号的模拟自然
问答对话系统(图 2[ 7]
)。利用在对话中记录下的脑
信号,能够确定受试者何时在听、何时在说,并且能
够预测所听或所说的是什么。由于特定的问题只
可能对应特定的答案,所以在这一系统中,研究者
根据解码后的问题来动态更新答案的先验概率,从
而实现了更为准确的回答内容解码。该系统对于
生成语音和感知语音的解码准确率分别高达 61%
和76%[7]。这一成果阐明脑机接口技术可以在交互
式对话环境中实时解码语音,对于无法交流的患者
具有重要意义,该工作发 表在《Nature Communica⁃
tions》上。
2020 年3月,加州大学旧金山分校的研究团队
利用受试者朗读文本时收集的 ECoG 信号,成功训
练了一个可以将 ECoG 信号端到端“翻译”为连续
文字的深度循环神经网络 模型(图 3[8]
)。通过在侧
裂周围区植入电极并采集 ECoG 信号,该研究可以
实现 对受试者当 前朗读句子的 识别。4位病 人颅
内脑电解读错误率最低可以达到 3%[8]。该研究成
果发表在《Nature Neuroscience》上。
除了上述提及的利用侵入式脑机接口实现语
言交流功能外,非侵入式脑机接口在恢复交流功能
方面也展现出较大的潜力。2019 年4月7日,中央
电视台的《挑战不可能》节目中,清华大学研究团队
展示了一套脑机接口打字输入系统。在这套系统
57
科技导报 20 21,39(19)
www.kjdb.org
图3将皮层脑电转录成文本
的帮助下,全身只有眼球和嘴角可以活动的渐冻人
王甲成 功 实现诗句拼写,并完成了与 董 卿评委的
“合诵”。这套系统展示了脑机接口系统在帮助渐
冻症群体重拾交流能力的潜力。
1.2 触觉和运动恢复
除了帮助患者恢复交流能力之外,脑机接口的
另一项经典应用场景则是帮助运动障碍群体,从而
实现运动功能的恢复。在美国巴特尔纪念研究所
及合作 研 究团队报道的研 究 中 ,基于 脑 机接口技
术,一名脊髓损伤患者利用其手部残存的触摸信号
实现了触觉和运动功能的 同时恢复(图 4[9]
)。在这
项研究中,脑机接口系统从初级运动皮层活动反映
的运动意图中提取出患者残余的、无法被患者知觉
感知的手部触觉信号,并将该信号进行增强后反馈
给患者,从而实现皮层内控制的闭环感觉反馈,并
可以通过触摸信号调节握力[9]。在这样一套闭环反
馈的脑机接口帮助下,进行康复训练后患者几乎完
全恢复了感知物体触摸的能力,多种感觉运动功能
也得到了显著改善。这些结果表明,脑机接口可以
从大脑皮层采集低于知觉反应范围的神经信号,并
将其转换为有意识的知觉,从而显著增强功能。这
项工作展示了首个同时恢复运动与触觉功能的脑
机接口系统,并在《Cell》上发表。
1.3 运动控制
法国格勒诺布尔大学及合作研究团队报道了
一项脑控外骨骼的研究成果。一名四肢瘫痪患者
在一款处于实验室测试阶段的大脑控制外骨骼系
统帮 助下实现 了再次行走[ 10]。研究人员在他 大脑
的上 肢感觉 运动区域植入 了 2个双侧无线硬膜外
记录仪,以获取硬膜外 ECoG 信 号 。 获 取 的 ECoG
信号通过自适应解码算法在线处理,以将命令发送
至效应器(虚拟化身或外骨骼)。2年间,病人在家
中利用虚拟化身模拟行走,并在不同的触控任务和
手腕旋转过程中,以八自由度的方式进行双侧、多
关节、上肢的运动,成功率为 64.0%;在实验室的外
骨骼 中的成功 率为 70.9%。这项工作首次成功验
证了长期使用无线硬膜外多通道记录仪的可能,且
首次将人类长期临床应用所需的所有技术要素(硬
脑膜 记录、无线供电和发 射、多通道 ECoG 信 号的
在线解码以及完全嵌入)进行了组合。与微电极阵
列相比,硬膜外 ECoG 侵入性较小,而效果相似,展
示了 较 强的 实 际 应用 潜 力。 该 工作 发 表在《The
Lancet Neurology》上。
2020 年1月,浙江大学研究团队也实现了国内
第一例植入式脑机接口临床研究。在植入电极后,
患者可以利用大脑运动皮层信号精准控制外部机
械臂与机械手实现三维空间的运动,首次证明高龄
图4同时恢复运动与触觉功能的脑机接口系统
58
科技导报 20 21,39(19) www.kjdb.org
患者利用植入式脑机接口进行复杂而有效的运动
控制的可行性。
来自卡耐基梅隆大学和明尼苏达大学的研究
人员则为脑机接口的机械臂控制提出了非侵入的
解决方 案 。基于头皮脑电 ,研究者可 以 控制机械
臂,实 现对连续随机运动目标的实时跟踪(图 5[11]
)。
该技术通过连续的追踪任务和相关的训练范式增
加用户的参与度,显著改善了基于脑电的神经解码
效率,并且能够允许用户对机械臂实现高分辨率控
制。该技术可以帮助用户通过脑机接口系统实现
对计算机光标的连续跟踪和跟随。在该研究成果
中,研究人员将计算机光标的连续跟踪提高了
500% 以上,解决了机械臂跟随光标的流畅度问题,
同时结合在线无创神经成像,将脑机接口的控制水
平提 升了近 10%[11]。研究人员将该技术应用于现
实任务中,发现从控制不受约束的虚拟光标运动到
控制机械臂运动,该技术几乎可以做到完美过渡。
这种高质量的神经解码能力与非侵入式机械臂控
制的实际应用相结合,将对利用非侵入式脑机接口
开发和实现神经机器人技术产生重大影响。目前
这项技术已经 在 68 名健康受试者身上进行了测
试,该团队还将对患者进行临床试验。这项研究代
表了无创脑机接口技术发展的重要一步,有望成为
如智能手机一样帮助每个人的辅助技术。该研究
成果发表在《Science Robotics》上。
2关键技术进展:新硬件、新算法、新
范式、新应用
2.1 新硬件
脑机接口的硬件主要涉及电极和信号采集系
统。对于侵入式脑机接口而言,需要具有生物相容
性、安全性和长期植入的材料特性的电极;而非侵
入式脑 机 接口则倾向于舒 适 、便携的 信 号获取方
式。脑机接口硬件的创新将极大地推动脑机接口
技术的实用化、产品化。2019 年7月,Elon Musk 的
Neuralink 公司发布了一款可扩展的高带宽脑机接
口系统[12]。该系统包含小而灵活的电极“线”阵列,
每个阵列 多达 96 根线,每 根线带有 32 个电极,共分
布了多达 3072 个电极。该系统还包含一个神经外
科手术机器人,该机 器人每分钟 可 以 插 入 6根 线
(即 192 个电极)。每根 线可以以 微米级的精度单
独插入特定大脑靶区中,以避开表面血管。电极阵
列被封装在一个小的可植入设备中,该设备包含用
于低功耗板上放大和数字化的定制芯片,3072 个
通道封装所占面积小于 23 mm×18.5 mm×2 mm(图
6[12]
)。一 根 USB-C 电缆可提供设备的全带宽数据
流传输,并同时记录所有通道的数据。相较于传统
的实验室中所设计的样机往往较为简陋,未实现工
程上的充分优化,Neuralink 提出的这一 套 高 度 集
成化、自动化的脑机接口系统展示了工业界的关注
对脑机接口实用化进程的重大意义。
图5用于连续随机目标跟踪的脑机接口
控制机械臂系统 图6植入大鼠的传感器设备
59
科技导报 20 21,39(19)
www.kjdb.org
日本熊本大学和山口大学的研究团队将近红
外光谱、皮层脑电和负温度系数热敏电阻传感器的
多通道测量功能集成到单个设备中。该设备使用
柔性印刷电路技术和半导体微制造技术进行制造
和组装,以实现与硬膜下植入兼容的传感器组件的
高密度集成,并且具有类似于神经外科手术中硬膜
下条状电极的紧凑外形,可以提供有关大脑皮层活
动各个方面的有益信息,并被证明是术前、术中和
术后诊断的有力医学手段[13]。
除了上述提及的有创脑信号获取方法外,在无
创脑信号获取硬件方法也取得了进展。英国诺丁汉
大学及合作研究团队开发了一种基于自行车头盔改
造且完全符合生命周期的可穿戴脑磁系统,该系统
能够为所有年龄段的受试者提供高保真数据,且无
需限制 受试者的活动(图 7[14]
)。因此可以使用单一
系统测量儿童、青少年和成人在外部环境中大脑如
何做出反应并适应自然事件的能力,有望提供有关
早期生命中枢神经系统功能发育的机制性见解[14]。
这项工作揭示了一种功能成像的新方法,为研究健
康和疾病中的神经发育提供一个强大的平台。
实现舒适、便携的信号获取方式是推广非侵入
式脑机接口系统的重要前提。佐治亚理工学院及
合作研究团队报道了一个完全便携式、无线、灵活
的头皮电子系统,其中包括一组干电极和一个柔性
膜电路(图 8[1 5]
)。利用卷积神经网络进行时域分析
可对稳态视觉诱发电位进行准确、实时的分类。相
比于商用系统,柔性电子产品因显著降低噪声和电
磁干扰能够提高诱发电位检测性能。两通道的头
皮电子系统获得了 122.1 bit/min 的信息传输率,允
许对电动轮椅、电动汽车和无键盘演示进行无线、
实时 和通用的 脑电控制[15]。丹麦奥尔胡斯大 学及
合作研究团队开发了一种基于干式接触电极的外
耳道脑电采集系统,该系统包括嵌入个性化软耳件
中的主动屏蔽和纳米结构电极。通过 12 名受试者
和听觉稳态响应、稳态视觉诱发电位、失匹配负波、
alpha 调制 4种范式的验证,所开发系统的性能与靠
近耳 朵的头皮 脑电图性能相当[16]。清华大学及合
作研究团队开发了一种高成本效率、易于制造、灵
活、鲁棒且无凝胶的银纳米线/聚乙稀醇缩丁醛/三
聚氰胺海绵的脑电电极。由于银纳米线的表面金
属化,海绵具有高电导率,而重量却保持不变。柔
软的海绵架构和自锁式银纳米线结合在一起,为电
极提供了卓越的机械稳定性和绕过头发的能力。
利用该电极放置在无毛皮肤时,所构建的稳态视觉
诱发电位脑-机接口的性能与导电膏支持的常规
电极的脑机接口性能相当。尤为重要的是,该电极
在毛 发区的性 能并未显著降低[17]。这一成果显示
出该新型电极有望替代脑电采集的常规电极。另
外,脑电数据处理芯片化有望为脑机接口技术走向
民用化、便携化、可穿戴化及简单易用化开辟道路。
2019 年,天津大学和中国电子信息产业集团在第
三届世界智能大会上发布了脑机接口专用芯片“脑
语者”。
2.2 新算法
对于侵入式脑机接口而言,脑机接口技术临床
应用的关键障碍是植入皮层电极所记录的神经活
动会随时间变化。而神经记录的不稳定性会导致
临床脑机接口无法控制。卡内基梅隆大学及合作
研究团队利用低维神经流形(即描述神经元之间特
定相关模式的低维空间)的对齐,开发了一种基于
流形的神经信号稳定器,以实现脑机接口信号的稳
图7装在经过改装的自行车头盔中的
光泵磁力仪测量脑磁信号
图8具有完全便携式和无线的头皮电子设备
60
科技导报 20 21,39(19) www.kjdb.org
定输入,从而在神经记录不稳定时依旧能够维持脑
机接 口性能[18]。斯坦福大学及合作研究团队提出
了 一 种 时 间 约 束 的 稀 疏 组 空 间 模 式(temporally
constrained sparse group spatial patterns),通过同时
优化共空间模式中滤波器频带和时间窗长,实现进
一步 提高想象 运动脑机接口的性能[19]。英国埃塞
克斯大学及合作研究团队提出了一种用于脑机音
乐接口(brain computer music interface,BCMI)的个
性化情感状态检测方法。相比于基于群体的检测
方 法(population-based detection method),个 性 化
情感状态检测方法的正确率更高,情感效价和唤醒
度的 平均正确 率分别提 高了 10.2% 和9.3%[20]。韩
国高丽大学和新加坡南洋理工大学的研究团队提
出了一种基于受试者的分段频谱滤波(subject-de⁃
pendent and section-wise spectral filtering,SSSF)方
法,旨在从预处理技术(即频谱滤波)的角度提高运
动相关 皮 层 电 位(movement-related cortical poten⁃
tial,MRCP)的解码性能。该方法考虑了两个不同
的时间段的受试者个性化 MRCP 频谱频率特征,对
单试次 MRCP 检测实现了 0. 86 的平均解码性能,验
证了所提出的 SSSF 方法比常规方法可以包含更多
有意义的 MRCP 信息[21] 。华中科技大学的研究团
队提出了一种新颖的流形嵌入知 识迁移(manifold
embedded knowledge transfer,MEKT)方法。该方法
首先在黎曼流形中对齐 EEG 试次的协方差矩阵,
提取切线空间中的特征;然后通过最小化源域和目
标域之间的联合概率分布偏移来实现域自适应,同
时保留其几何结构。该方法可以处理一个或多个
源域,并且可以高效地进行计算。针对于大量源域
的情况,该团队还提出了域迁移性估计(domain
transferability estimation,DTE)方法,以识别最有利
的源域 。对来自 2个不 同 BCI 范式的4个脑电数据
集进行的实验表明,MEKT 优于几种最先进的转移
学习方法,并且当源受试者的数量很大时,DTE 可
以减少一半以上的计算成本,而几乎不会牺牲分类
精度[22] 。法国 Aramis project-team 及合作研究团队
提出了一种融合方法,该方法能够整合来自同步脑
电和脑磁信号的信息,以提高基于运动想象脑机接
口的分类性能。该方法的核心在于能够自动加权
每种模 态 的贡献,以优化性能。与单 模 态方法相
比,基于脑电和脑磁的多模态信息能够显著提高脑
机接口的分类性能[23]。
2.3 新范式
斯坦福大学及合作研究团队利用神经元记录
在四肢瘫痪患者上研究了面部、头部、手臂和腿部
运动如何在前运动皮层“手结区”中表征。他们发
现上述所有运动在“手结区”均具有较好的表征,并
且存在着将四肢联系起来的神经编码。这种联系
可能有助于大脑将其某一肢体学会的技能转移至
另一肢体中。基于上述发现,该研究团队设计一个
脑机接口系统,能够利用“手结区”的信号精确地解
码四 肢的运动[24]。先前研究者往往认为要控制身
体的不同部位就需要在大脑的多个区域植入电极,
而这一研究成果展示只在一个区域放置植入电极,
就可能实现全身的运动控制,这一成果将大大拓宽
颅内脑机接口的应用空间。匹兹堡大学的研究团
队提出了一种基于运动想象的混合脑机接口,它利
用脑电图记录脑电活动以及利用功能性经颅多普
勒 超 声(functional transcranial Doppler ultrasound,
fTCD)测 量 脑 血 流 速 度 。 研 究 人 员 计 算 了 来 自
EEG 和fTCD 信号的功率谱特征,并利用互信息和
线性 支持向量 机进行特征选择和分 类[25] 。与 现有
的基于 EEG 和fNIRS 的混合脑机接口相比,所构建
的系统能够以较短的任务持续时间实现相似或更
高的准确率。多伦多大学及合作研究团队利用近
红外光谱成像技术实现了在线三分类想象言语
(imagined speech)脑机接口。用户可以通过隐式
默念短语“是”或“否”来直接回答是或否问题,该脑
机接口 还能识别无限制 休息状态,从而构成 了 3个
可识别 的任务。在最后 3组在线实验中,所有受试
者的 平均在线 分类正确 率达 64.1%。 研 究结果表
明,想象言语可以用作选定用户的可靠激活任务,
以开 发更为直 观的脑机接口[26] 。对于想象运 动脑
机接口的设计,想象 运 动 期间的动作观察(action
observation,AO)有助于检测用户的运动意图。东
京农工大学的研究团队研究了动作观察的目标对
象(即参与者或其他人的手)是否影响想象运动时
的大脑活动。研究人员发现,想象运动期间动作观
61
科技导报 20 21,39(19)
www.kjdb.org
察来自于受试者自 己 的 手(MI+ownAO)所诱发的
感觉运动区 alpha 节律的事件相关去同步强于仅想
象运动(MI)和想象运动期间动作观察来自于其他
人的手(MI+otherAO)2种 情 况 。 研 究 人 员 建 议 在
具有动作观察的闭环脑机接口设计中应该使用用
户自己肢体的视频[27]。
2.4 新应用
脑机接口技术除了在恢复感觉和运动功能以
及治疗神经系统疾病等方面可以发挥作用,也已经
开始在其他领域发挥价值。唤醒程度会影响个体
的决 策、判断与行为 。Yerkes-Dodson 定律指出唤
醒程度与任务执行之间的关系是倒 U形曲线关系,
存在一种对于特定任务的行为执行最佳的唤醒状
态。来自哥伦比亚大学的研究团队验证了可以使
用基于脑电的反馈来改变个体的唤醒程度,从而使
他们的任务表现显著提高。这项工作展示了一个
闭环的脑机接口,该系统基于脑电信号解码器输出
的听觉反馈信号,动态 地调整个体在执行 bound⁃
ary-avoidance 任务时的唤醒程度,并根据 Yerkes-
Dodson 定律提高任务执行效率[28]。该方法有望应
用于不同的任务或用于将自我调节作为目标治疗
的临 床应用。来自俄罗斯 Neurobotics 和莫斯科物
理技术学院的研究团队介绍了另外一种新颖的闭
环脑 机接口系 统[2 9]。该系统可利用受试者的脑电
特征实时重建受试者观察到的或想象的刺激图像,
并将重建的图像作为视觉反馈呈现给受试者。所
提出的技术可以通过将原始刺激替换为受试者的
意念驱动图像重建模型,从而有望用于训练脑机接
口的新用户。脑活动除了可以反映个体的意图和
状态,也可以体现个体的特质。2019 年,中国科学
院半导体研究所的研究团队利用编码调制的视觉
诱发电位,实现了一套个体身份识别系统。该系统
在25 名受试者的个体内和跨个体识别中均获得了
较高的正确识别率。在个体内情况,使用 5.25 s 脑
电数据可获得 100% 的最佳识别性能;在跨个体情
况,使用 10.5 s 脑电数据可获得 99.43% 的个体区
分效果[30]。该方法有望为个体身份识别提供基于
脑电的解决方案。脑机接口也为沉浸式虚拟现实
环境中的通信和控制提供了潜在的工具。中国科
学院半导体研究所和清华大学的研究团队利用
room-scale 虚拟现实头盔开发一个便携式稳态视
觉诱发电位脑机接口。通过解决虚拟现实中刺激
呈现和基于移动脑电信号进行目标识别的问题,验
证了脑机接口在移动虚拟现实环境中的应用潜力,
并为利用移动虚拟现实系统开发实用脑机接口提
供了 实验和方 法的指导[31]。而中国医学科学 院生
物医学工程研究所及合作研究团队则将脑机接口
技术引入数字符号转换测试(digit symbol substitu⁃
tion test,DSST)领域,构 建了基 于稳态 视觉诱发电
位脑机接口的数字符号转换测试系统[32]。
3发展趋势与展望
3.1 高性能脑机接口
尽管近年来脑机接口在性能上获得了较大的
提高,但相比于自然的人机交互,目前脑机接口的
通信速 率仍较低,需进一步 大幅提高。图 9显示了
各种 模态的通 信速率[33]。与其他人机交互方 法相
比,低通信速率仍然是目前限制脑机接口应用的最
大障碍。通过脑信号解码技术大幅提高脑机接口
的通信速率,在大脑与机器之间建立高效的信息交
流通道,是实现高性能脑机接口的关键。目前,如
何使用先进的算法与大脑进行交互已经引起脑机
接口研究者的广泛关注。在这方面,机器学习和量
子计算等新工具将有助于脑机接口成为现实。而
大规模、高质量的数据集则有助于推动解码算法的
发展。清华大学研究团队发布了基于稳态视觉诱
发电位的脑机接 口的 BETA 数据集[34]。该研究具有
领域内迄今为止规模最大、测试基准算法最全等特
色,为个体水平的脑机接口性能评估梳理了信噪比
与信息传输率的关系,为群体水平的脑机接口性能
图9各种模态下通信速率的比较
62
科技导报 20 21,39(19) www.kjdb.org
刻画提出了 脑 机 接 口 商(BCI quotient)的新指 标 。
该研 究 为今后面向真 实 场景应用的脑 -机 接口范
式研究、算法开发提供了测试平台,为大数据和人
工智能趋势下的新方法、新系统研究做好了数据支
撑。 同时,世界机器人大赛-BCI 脑控机器人大赛
的平台也极大地推动了国内脑机接口的算法水平。
在2019 世界机器人大赛-BCI 脑控机器人大赛暨第
三届中国 脑机接口比赛现 场,实现了 691.55 bit/min
的理想信息传输速率,创造了历届世界机器人大会
脑控打字最高纪录(图 10)。脑机接口技术的发展
离不开领域内学者的共同努力,期待着后续更多跨
研究组、跨高校的通力合作。
3.2 双向脑机接口
在脑机交互中,信息可以在两个方向上传播:
“从脑到机”(将脑信号转换成意图运动指令)或“从
机到脑”(将与外部环境交互的设备捕获的感觉信
息传递 至 大脑)。 目 前脑机接口领域 的 研究仍以
“从脑到机”为主,如在机械臂触碰到物体后,受试
者只能通过视觉来了解控制的结果。近年来,神经
调控技术的发展为“从机到脑”提供了可能。调节
神经活动将是下一代脑机接口的重要组成部分,例
如,为神经修复运动控制提供触觉。匹兹堡大学及
合作研究团队展示了通过体感皮层的皮层内微电
刺激(intracortical microstimulation)来 恢 复触 觉 感
知反馈,使得具有双向脑机接口的受试者能够改善
其在由神经控制的假肢完成的功能性物体运输任
务中 的性能(图 11[35]
)。受试者在视觉反馈的基础
之上,结合微电刺激诱发的触觉感知,能够更快地
完成任务。这些结果验证了触觉在上肢控制中的
重要性以及利用皮层内微电刺激恢复信息流以创
建双向脑机接口的效用[35]。
3.3 信息安全
近年来,与健康相关的物联网设备越 来 越 流
行。一方面,用户可以方便了解自身的健康状况信
息;另一方面,这些信息也面临新的安全风险。乔
治·华盛顿大学及合作研究团队研究了家用脑电系
统的安全性 ,发现 NeuroSky App store 中 的 156 个
脑机 接口应用 程序都 容易受 到近程攻 击,而且 31
个免费应用程序都容易受到至少一种远程攻击的
攻击。此外,该团队提出了一种联合循环卷积神经
网络的深度学习模型,能够从 NeuroSky 脑电设备
中窃取的精简特征的脑电数据推测用户活动,且推
测精度可达 70.55%[36] 。考虑到脑活动的高度私密
性和重要性,在实现脑机接口应用的过程中,如何
对脑活动数据进行有效安全的管理并制定相关标
准规范是当下科研界和产业界都必须深入思考的
关键一环。
4结论
2019—2020 年,脑机接口技术在理论分析、硬
件实现、算法改进、场景应用等方面均取得了阶段
性的研究进展,对推动脑机接口技术的发展起到了
图10 2019 世界机器人大赛-BCI 脑控机器人大赛现场
图11 双向脑机接口系统
63
科技导报 20 21,39(19)
www.kjdb.org
重要的作用。目前脑机接口仍主要局限于复杂的
实验室环境。对于侵入式脑机接口而言,目前仍面
临着人体排异反应及颅骨向外传输信息会减损这
两大问题;非侵入式脑机接口技术则朝小型化、便
携化、可穿戴化及简单易用化方向发展,非侵入式
的技术在应用方面更有优势。随着神经科学、神经
接口和机器学习技术的进步,脑机接口领域正在迅
速扩展。尽管目前而言,脑机接口技术仍未达到自
然交互的沟通速度和准确性,但是,随着各国对这
项技术越来越重视,相信脑机接口技术的爆发未来
可期。
参考文献(References)
[1] Benabid A L, Costecalde T, Eliseyev A, et al. An exoskel⁃
eton controlled by an epidural wireless brain –machine
interface in a tetraplegic patient: A proof-of-concept
demonstration[J]. The Lancet Neurology, 2019, 18(12):
1112-1122.
[2] He Y, Eguren D, Azorín J M, et al. Brain-machine inter⁃
faces for controlling lower-limb powered robotic systems
[J]. Journal of Neural Engineering, 2018, 15(2): 021004.
[3] Soekadar S R, Witkowski M, Gómez C, et al. Hybrid EEG/
EOG-based brain/neural hand exoskeleton restores fully
independent daily living activities after quadriplegia[J].
Science Robotics, 2016, 1: eaag3296.
[4] Biasiucci A, Leeb R, Iturrate I, et al. Brain-actuated
functional electrical stimulation elicits lasting arm motor
recovery after stroke[J]. Nature Communications, 2018, 9
(1): 2421.
[5] Chen X, Wang Y, Nakanishi M, et al. High-speed spell⁃
ing with a noninvasive brain-computer interface[J]. Pro⁃
ceedings of the National Academy of Sciences of the Unit⁃
ed States of America, 2015, 112(44): E6058-E6067.
[6] Anumanchipalli G K, Chartier J, Chang E F. Speech syn⁃
thesis from neural decoding of spoken sentences[J]. Na⁃
ture, 2019, 568(7753): 493-498.
[7] David A M, Leonard M K, Makin J G, et al. Real-time
decoding of question-and-answer speech dialogue using
human cortical activity[J]. Nature Communications, 2019,
10(1): 3096.
[8] Makin J G, Moses D A, Chang E F. Machine translation
of cortical activity to text with an encoder-decoder frame⁃
work[J]. Nature Neuroscience, 2020, 23(4): 575-582.
[9] Ganzer P D, Colachis S C, Schwemmer MA, et al. Restor⁃
ing the sense of touch using a sensorimotor demultiplex⁃
ing neural interface[J]. Cell, 2020, 181(4): 763-773.
[10] Benabid A L, Costecalde T, Eliseyev A, et al. An exo⁃
skeleton controlled by an epidural wireless brain-ma⁃
chine interface in a tetraplegic patient: A proof-of-con⁃
cept demonstration[J]. The Lancet Neurology, 2019, 18
(12): 1112-1122.
[11] Edelman B J, Meng J, Suma D, et al. Noninvasive neuro⁃
imaging enhances continuous neural tracking for robotic
device control[J]. Science Robotics, 2019, 4(31):
eaaw6844.
[12] Musk E. Neuralink: An integrated brain-machine inter⁃
face platform with thousands of channels[J]. Journal of
Medical Internet Research, 2019, 21(10): e16194.
[13] Yamakawa T, Inoue T, Niwayama M, et al. Implantable
multi-modality probe for subdural simultaneous measure⁃
ment of electrophysiology, hemodynamics, and tempera⁃
ture distribution[J]. IEEE Transactions on Biomedical
Engineering, 2019, 66(11): 3204-3211.
[14] Hill R M, Boto E, Holmes N, et al. A tool for functional
brain imaging with lifespan compliance[J]. Nature Com⁃
munications, 2019, 10(1): 4785.
[15] Mahmood M, Mzurikwao D, Kim Y S, et al. Fully porta⁃
ble and wireless universal brain-machine interfaces en ⁃
abled by flexible scalp electronics and deep learning al⁃
gorithm[J]. Nature Machine Intelligence, 2019, 1: 412-
422.
[16] Kappel S L, Rank M L, Toft H O, et al. Dry-contact
electrode ear-EEG[J]. IEEE Transactions on Biomedical
Engineering, 2019, 66(1): 150-158.
[17] Lin S, Liu J, Li W, et al. A flexible, robust, and gel-free
electroencephalogram electrode for noninvasive brain-
computer interfaces[J]. Nano Letters, 2019, 19(10):
6853-6861.
[18] Degenhart A D, Bishop W E, Oby E R, et al. Stabiliza⁃
tion of a brain-computer interface via the alignment of
low-dimensional spaces of neural activity[J]. Nature Bio⁃
medical Engineering, 2020, doi: 10.1038/s41551-020-
0542-9.
[19] Zhang Y, Nam C S, Zhou G, et al. Temporally con⁃
strained sparse group spatial patterns for motor imagery
BCI[J]. IEEE Transactions on Cybernetics, 2019, 49(9):
3322-3332.
[20] Daly I, Williams D, Malik A, et al. Personalised, multi-
modal, affective state detection for hybrid brain-comput⁃
er music interfacing[J]. IEEE Transactions on Affective
Computing, 2020, 11(1): 111-124.
[21] Jeong J H, Kwak N S, Guan C, et al. Decoding move⁃
ment-related cortical potentials based on subject-depen ⁃
dent and section-wise spectral filtering[J]. IEEE Transac⁃
tions on Neural Systems and Rehabilitation Engineering,
2020, 28(3): 687-698.
64
科技导报 20 21,39(19) www.kjdb.org
[22] Zhang W, Wu D. Manifold embedded knowledge transfer
for brain-computer interfaces[J]. IEEE Transactions on
Neural Systems and Rehabilitation Engineering, 2020, 28
(5): 1117-1127.
[23] Corsi M C, Chavez M, Schwartz D, et al. Integrating
EEG and MEG signals to improve motor imagery classifi⁃
cation in brain-computer interface[J]. International Jour⁃
nal of Neural Systems, 2019, 29(1): 1850014.
[24] Willett F R, Deo D R, Avansino D T, et al. Hand knob
area of premotor cortex represents the whole body in a
compositional way[J]. Cell, 2020, 181(2): 396-409.
[25] Khalaf A, Sejdic E, Akcakaya M. A novel motor imagery
hybrid brain computer interface using EEG and function⁃
al transcranial Doppler ultrasound[J]. Journal of Neuro⁃
science Methods, 2019, 313: 44-53.
[26] Sereshkeh A R, Yousefi R, Wong A T, et al. Online clas⁃
sification of imagined speech using functional near-infra⁃
red spectroscopy signals[J]. Journal of Neural Engineer⁃
ing, 2019, 16(1): 016005.
[27] Nagai H, Tanaka T. Action observation of own hand
movement enhances event-related desynchronization[J].
IEEE Transactions on Neural Systems and Rehabilita⁃
tion Engineering, 2019, 27(7): 1407-1415.
[28] Faller J, Cummings J, Saproo S, et al. Regulation of
arousal via online neurofeedback improves human perfor⁃
mance in a demanding sensory-motor task[J]. Proceed⁃
ings of the National Academy of Sciences of the United
States of America, 2019, 116(13): 6482-6490.
[29] Rashkov G, Bobe A, Fastovets D, et al. Natural image re⁃
construction from brain waves: A novel visual BCI sys⁃
tem with native feedback[J]. bioRxiv, 2019: 10.1101/
787101.
[30] Zhao H, Wang Y, Liu Z, et al. Individual identification
based on code-modulated visual-evoked potentials[J].
IEEE Transactions on Information Forensics and Securi⁃
ty, 2019, 14(12): 3206-3216.
[31] Yao Z, Wang Y, Yang C, et al. An online brain-comput⁃
er interface in mobile virtual reality environments[J]. In⁃
tegrated Computer-Aided Engineering, 2019, 26(4): 345-
360.
[32] Chen X, Hu N, Wang Y, et al. Validation of a brain-
computer interface version of the digit symbol substitu⁃
tion test in healthy subjects[J]. Computers in Biology
and Medicine, 2020, 120: 103729.
[33] Chang E F, Anumanchipalli G K. Toward a speech neu⁃
roprosthesis[J]. JAMA, 2020, 323(5): 413-414.
[34] Liu B, Huang X, Wang Y, et al. BETA: A large bench⁃
mark database toward SSVEP-BCI application[J]. Fron⁃
tiers in Neuroscience, 2020, 14: 627.
[35] Flesher S N, Downey J E, Weiss JM, et al. Restored tac⁃
tile sensation improves neuroprosthetic arm control[J].
bioRxiv, 2019: 10.1101/653428.
[36] Xiao Y, Jia Y, Cheng X, et al. I can see your brain: In⁃
vestigating home-use electroencephalography system se ⁃
curity[J]. IEEE Internet of Things Journal, 2019, 6(4):
6681-6691.
Hot topics review of brain-computer interface in 2019—2020
AbstractAbstract Brain-computer interface (BCI) is designed to provide rich and powerful command signals for assistive devices by
decoding user's intention directly from brain signals in a real-time way. Recently, both theoretic and practical aspects of BCI
technology have rapidly developed and become increasingly mature. More application scenarios of BCI technology have been
demonstrated as well. This review summarizes the important achievements and events in hardware, algorithm, paradigm, and
application in the BCI field in 2019—2020 and discusses its development trend.
KeywordsKeywords brain-computer interface; application system; key technology●
(责任编辑 刘志远)
CHEN Xiaogang1, YANG Chen2, CHEN Jingjing3, GAO Xiaorong3*
1. Institute of Biomedical Engineering, Chinese Academy of Medical Sciences and Peking Union Medical College, Tianjin
300192, China
2. School of Electronic Engineering, Beijing University of Posts and Telecommunications, Beijing 100876, China
3. Department of Biomedical Engineering, School of Medicine, Tsinghua University, Beijing 100084, China
65