工具是人类肢体和感官的延伸,机器为人类带来更强大的生产力,科学家已经在研究这样一种人和机器的控制反馈关系:只要我们动动脑,光凭意念就能控制现实中的机器。这种称为脑机接口的技术让我们省略了操控机器中的所有环节,从而在大脑和机器之间建立了一个直接通信的连接体系。
时值脑科学和人工智能两大领域在过去几十年各自都取得长足进展后,逐渐走向融合的关键节点,脑机接口(brain-machine interface,BMI)技术已成为主流媒体和公众热议的高科技话题之一。它不仅可以绕过感官和肌肉,为大脑与外界互动提供全新的高通量信道,甚至无需借助语言而实现人与人之间高效的交流协作,这不仅使得意识读写、记忆移植成为可能,甚至通过意识上传实现在数字世界中的永生等人类长久以来的梦想,也一步步走向现实,可能对人类文明的整体进程产生颠覆性影响。
进入21世纪以来,特别是在过去10年间,历经两次寒冬的人工智能再度强势崛起。其中,以深度学习为代表的人工智能应用,在特征识别和知识存取等静态封闭的复杂场景下,取得了傲人的成就,机器取代人类工作似乎不再遥不可及。但与此同时,我们必须清醒地看到,目前人工智能在机器人控制和自动驾驶等动态开放场景下的表现,还远不尽人意。包括硅谷钢铁侠马斯克(E. R. Musk)在内的很多有识之士,都认为人和机器各有所长,而通过脑机接口实现人机融合,才是未来人机关系的终极解决方案。
脑机接口技术实现完整闭环控制的四大环节
近年来,脑机接口相关技术如雨后春笋般涌现,并不断更新迭代,其商业化进程也在Neuralink和脸书(Facebook)等科技巨头的助推下不断提速,使得意念控制物体等以前还是科幻的场景,正在实验室中一步步变成现实[1]。但是,脑机接口这一复杂的系统工程要真正落地得到广泛应用,还需要神经科学、数理科学、医学、心理学、材料科学、计算机科学、机器人学、自动控制等多学科的通力协作,以及多个相关领域对关键问题的突破[2]。
神经界面
毫不夸张地说,我们的大脑是宇宙中已知最复杂神秘的系统,是一切人类文明的源泉,也是人类征服自然、改造世界不可替代的物质基础。在探索脑的奥秘这一自然科学最后堡垒的征途初期,卡哈尔(S. Cajal)提出神经元(又称神经细胞)是神经系统的基本结构单元,而高尔基(C. Golgi)则认为神经元之间需要通过连接形成网络来行使其功能,不承认卡哈尔发现的神经元。尽管他们分享了1906年诺贝尔生理学或医学奖,但最终谁也没能说服谁,历史却证明他们都是正确的!人和灵长类的大脑由数以十亿计的神经元组成,而每个神经元又通过数以千计的突触与其他神经元形成错综复杂的连接。每个神经元整合上游神经元的输入,产生并输出脉冲形式的动作电位发送给其他神经元,进而形成庞大的网络来工作。脑图谱研究又把大脑分为成百上千个皮层和皮层下脑区,认为它们分别行使不同的功能。今天虽然我们比较详尽地了解了脑的组织结构,但对它工作机制的认识还非常肤浅,根本原因在于脑是一个由数以亿计的神经元通过复杂精巧连接而成的多层次非线性动力系统。我们的感知与认知、决策与运动、学习与记忆、语言与意识、情感与推理、智能与创新等诸多高级功能,都是由大量神经元相互作用后涌现出来的整体动力学行为。换言之,脑的智能绝非许多神经元个体行为的简单叠加,而是由多个包含大量神经元的子系统高度协作的结果。因此,能够安全、长期、稳定地记录高通量神经元群体活动信号,是实现脑机接口的第一步,这就是神经界面(neural interface)技术。
按照神经信号的获取途径,脑机接口主要分为非侵入式和侵入式两大类。起步较早的是非侵入式脑机接口,它通常是通过放置于头皮上的电极来记录脑电(electroencephalogram,EEG)信号,并对其进行解码来实现的。早在1924年,德国医生贝格尔(H. Berger)发明了脑电图。1973年,美国科学家维达尔(J. Vidal) 首次提出脑机接口(brain-computer interface,BCI)概念[8]。但直到20世纪末,在计算机广泛普及和算力提升后,实时解码复杂脑电信号才成为可能。目前,尽管以P300、运动想象(motor imagery, MI)和稳态视觉诱发电位(steady-state evoked potentials,SSVEP)等范式为代表的非侵入式脑机接口的通信速率比较低,但得益于其稳定性和低性价比,已开始走出实验室应用于环境控制和目标识别等多个场景。除脑电信号外,非侵入式脑机接口也可基于脑磁图、超声成像、功能近红外光谱和功能性核磁共振等其他信号。2014年,在巴西世界杯开幕式上,身披外骨骼“战甲”的高位截瘫青年开球动作,就是利用非侵入式脑机接口完成的。虽然这些信号的采集相对方便且无创,但面对大脑复杂的信息处理系统,隔着颅骨和头皮进行信号读取和神经调控,未免有点隔靴搔痒,导致它们能够解码和传输的信息非常有限。因此,近年来非侵入式脑机接口的发展趋势已逐渐达到平台期,而侵入式脑机接口异军突起,竖立了一个又一个里程碑。
侵入式脑机接口往往通过神经外科手术,将电极等传感设备植入颅内甚至大脑皮层里,采集高时空分辨率和信噪比的神经活动信号,并将其传出进行解码。记录的神经电活动信号主要有动作电位脉冲(spike)、局域场电位(local field potential,LFP)和皮层脑电图(electrocorticography, ECoG)等。由于开颅手术和植入器件的过程中,不可避免会造成组织损伤和排异反应,因此,侵入式脑机接口的器件植入、手术过程和解码算法等,往往需要在猕猴等动物身上试验成功后,才能转到人体上。
神经元是大脑处理信息的基本单元,它发放的动作电位脉冲直接携带了每个神经元输出信号,是脑机接口最为理想和可靠的信息源。而感觉、认知和运动等相关信息在大脑中往往是通过大量神经元以群体活动方式编码的,同时记录大量神经元的群体电脉冲活动信息就至关重要。有趣的是,从1969年美国科学家菲兹首次利用单个神经元发放的电信号控制一个仪表盘,实现了最原始版本的侵入式脑机接口以来,实验室环境中可同时记录和解码的神经元数目的增速也大致服从广义的“摩尔定律”,即每六七年翻一番。到2021年,马斯克的Neuralink公司已能在一只名为“帕格”(Pager)猕猴身上通过在其脑内植入的Neuralink设备,实现1024道神经信号的长期稳定记录,可以让它在没有游戏操纵杆的情况下,仅用大脑意念方式就可以控制一台电脑,玩转“MindPong”游戏(一款模拟两人玩兵乓球的电子游戏)。除了能记录大量神经元的群体活动,还要尽量保证记录界面在机械和化学特性上与脑组织间的生物兼容,以减少炎症、胶质细胞激活和细胞凋亡等排异反应。开发在生物安全材料基础上的柔性高密度电极阵列,并通过微创手术植入以实现能长期稳定地记录信号等一系列工作,需要神经外科、电生理、纳米科学、微电子、生物材料等多学科的交叉和合作才能完成。
神经解码
从大脑记录到的神经信号必须经过合适的解码才能驱动外部装置。以脑控神经假肢为例,过去几十年来,几代神经科学家都以猕猴为模式动物研究神经解码和假肢控制算法,假设皮层神经活动与运动参数存在固定的映射关系,建立表征模型,再通过解码神经信号来调整机械手状态,实现运动控制。但是这种解码框架不仅理论上过于简化,实践中经常使整个运动过程非常缓慢且不流畅,远不能满足对人工假肢实现快速灵活控制的需求。
近年来以猕猴为主要模式动物的运动神经科学的大量研究表明:①运动皮层神经元高度复杂、动态化,且与运动参数间无固定映射关系;②整套运动程序是由复杂皮层网络经动态演化后,以前反馈方式生成,即高等动物每次启动运动之前,整个程序往往已事先规划好,不需要依赖反馈信号执行;③运动执行通过包括脊髓回路在内的多层次生成式网络实现。换言之,从皮层记录到的神经信号本质上是一种高层次指令,它们通过作用于脊髓内的复杂神经回路,才能调动支配多块相关肌肉协调收缩舒张来转动关节产生肢体运动。
解码算法大致分为判别式算法和生成式算法两种。成功解码神经信号的关键在于真正理解大脑的神经编码原理。如前所述,脑功能的产生不是基于大量神经元个体行为的简单叠加,而是来自多个高度复杂神经网络子系统通过非线性相互作用而涌现出来的结果。从数学的第一性原理上讲,高维和时变的神经活动与行为输出之间不是简单的函数对应关系,而是一种泛函映射。这是基于如深度学习等静态网络的传统分类或者回归的判别式解码算法在脑机接口中表现差强人意的一个根本原因。所以,在对神经行为大数据集合进行深度分析的基础上,建立和训练以多层次生成网络为基础的新型神经控制模型和解码算法,最终达到利用神经信号快速生成指令实现自主灵活的假肢控制,需要神经生理学、计算模型、行为学、计算机科学、芯片技术等领域进行深度的交叉和融合研究。
两种基本神经解码算法[9]
神经控制
神经信号解码后输出的指令必须通过控制特定的外界装置,才能最终实现与物理世界的交互。以运动假体为例,其大范围的应用还必须要在物理空间中实现对机械臂等真实对象的灵活控制。与屏幕上可任意转向变速的纯比特域内的光标不同,物理世界中机械臂的运动必须考虑到转动惯量和多关节耦合等复杂因素。目前,脑机接口框架中,对外部物体的控制大体可分为同步式和异步式两类。其中,同步式控制依赖于外部时钟,在预设时刻解码神经信号,同步驱动外部物体;而异步式控制中不需要外部触发信号,解码算法连续输出控制信号,不断调整外部物体运动。无论是同步式,还是异步式控制,只有具备仿生特性的机电介质才能保证响应神经系统对其的灵活柔顺控制。
神经系统是通过多块肌肉组合以一定时序收缩来控制身体运动的,其控制的柔顺性和灵活程度,远超目前由电机和齿轮为主的机械控制。以肌肉为例,目前没有任何一种人工材料可以媲美生物肌肉的特性——能在20~30毫秒的瞬间产生达几百牛顿且精确可控的拉力。相比之下,目前基于机器人操作系统实现脑机接口控制的机械臂要笨拙和低效得多。因此,通过新型材料或者体外培养肌肉细胞等技术制造出真正具备仿生特性的运动假体,让大脑通过神经可塑性学习达到灵活控制,进而实现人机合一的神经机器人,需要神经科学、柔性材料学、力学、机器人学和智能控制等学科的通力协作。
神经反馈
仿生物理假肢的柔顺控制不可能只依赖于传输相对缓慢的视觉信号,神经信号控制的假肢要走向临床应用,必须引入体感反馈。这需要在生成指令的基础上,在机械手上引入触觉传感器,并将其编译成神经电刺激信号,反向刺激大脑体感皮层,实现双向闭环控制,进而实现感知替代、神经调控甚至疾病干预。2017年,美国凯斯西储大学的研究人员通过解码皮层植入电极阵列记录到的神经信号,对残疾人的手臂肌肉进行功能性电刺激,使得脊髓损伤的残疾人能通过意念控制原本失控的手臂给自己喂食。匹兹堡大学的科学家通过植入式脑机接口操控机械手产生多种不同手势,以基本满足日常生活中可能需要的抓取功能,并通过安置在机械手上的传感器反馈回来的微小电流刺激体感皮层,以达到恢复高位截瘫患者手部触觉的目的,进而实现脑机接口的闭环控制[6]。
脑机接口的典型工作流程
结 语
由于人口老龄化问题越来越严重,许多人罹患瘫痪、退行性神经疾病或精神疾病,生活质量受到严重威胁。脑机接口技术可以修复、改善,甚至代偿受损部分的神经系统功能以帮助患者。例如,它可以帮助丧失语言或运动能力的患者实现语言文字输出或神经假肢的控制,或者帮助失明或耳聋患者重建视听觉;针对患有因脑卒中等引起的有运动障碍的病患,通过该技术控制外骨骼或功能性电刺激自身肢体,可改善部分丧失的运动功能以完成康复;针对癫痫、帕金森病及重度抑郁症等患者,基于该技术的闭环刺激也可大大改善症状。此外,脑机增强技术还提供了更多对未来的展望,如外骨骼等“外挂设备”可能增强健康人的体力与智力,通过脑—机—脑连接,突破人际语言交流信道带宽的限制,实现心灵感应乃至记忆移植等目前被认为是科幻的场景。
虽然脑机接口研究已从清醒猴实验走进临床阶段,并成功应用于少数患者身上,完成了关键的概念验证性工作,但实现大范围应用的道路依然漫长。正如人类历史上所有颠覆性技术都需要坚实的科学基础一样,脑机接口的真正突破必然依赖于对大脑工作原理的深刻理解;它直接面对的核心神经科学问题,就是神经编解码和与外界信息的交互机制,其突破口是揭示运动神经控制的基本原理。因此,灵长类千百万年进化而来的精巧的运动控制系统,就是我们探索脑与外界信息交互机制的天然“脑机接口”系统,不理解大脑如何控制身体的神经机制,就不可能真正实现大脑对外界物体的灵活控制。
此外,脑机接口和人工智能一样,在发展过程中必然会面临社会伦理方面的挑战。脑机之间的直接通信和人机之间的真正融合,也必然会导致人—机之间关系和界限的模糊与混乱,乃至法律和伦理上的严重危机。所有这些问题的解决不仅限于科技界,还需要全社会来共同积极地面对,并做出长期不懈的努力。
作者:
崔翯;高级研究员,北京脑科学与类脑研究中心,北京 102206。hecui@cibr.ac.cn
[1]Lebedev M A,Nicolelis M A L. Brain-machine interfaces: from basic science to neuroprostheses and neurorehabilitation. Physiol Rev,2017,97: 767-837.
[2]Bensmaia S J,Miller L E. Restoring sensorimotor function through intracortical interfaces: progress and looming challenges,Nat Rev Neurosci,2015,15: 313-325.
[3]Hochberg L R,Serruya M D,Friehs G M,et al. Neuronal ensemble control of prosthetic devices by a human with tetraplegia. Nature,2006,442: 164-171.
[4]理查德·安德森.用意念操控机器. 王天威,崔翯,译校. 环球科学, 2019, 5.
[5]Anumanchipalli G K,Chartier J,Chang E F. Speech synthesis from neural decoding of spoken sentences. Nature, 2019, 568: 493–498.
[6]Flesher S N,Downey J E,Weiss J M,et al. A brain-computer interface that evokes tactile sensations improves robotic arm control. Science,2021,372:831-836.
[7]Willett F R,Avansino D T,Hochberg L R,et al. High-performance brain-to-text communication via imagined handwriting. Nature,2021,593: 249-254.
[8]Wolpaw J R,Wolpaw E W著. 脑—机接口: 原理与实践. 伏云发,等译. 北京: 国防工业出版社,2017.
[9]Wang ,Chen Y,Cui H. From parametric representation to dynamical system: shifting views of motor cortex in motor control. Neurosci Bull,2022, 38 : 796–808.
关键词:神经界面 神经解码 神经控制 神经反馈■
本文刊载于2022年第74卷第6期《科学》杂志(P1-P4)
原标题:脑机接口概论
转载内容仅代表作者观点
不代表中科院物理所立场
如需转载请联系原公众号
来源:科学杂志1915
编辑:Callo