人工翻译计算公式(科学家实现了将意识实时翻译成文字)(1)

据悉,神经学家有史以来第一次,实现了将与手写有关的认知信号实时翻译成文字的创举。而且,这项新技术的速度是以前方法的两倍多,可以让瘫痪的人以每分钟90个字符的速度发短信。

来自斯坦福大学神经假肢翻译实验室的科学家表示,研究人员通过与美国科技公司“大脑之门(BrainGate)”的合作,已经开发出一种系统,最终可以“让有严重语言和运动障碍的人通过短信、电子邮件或其他形式的写作进行交流”。

与手写相关的想法所诱导的大脑信号被实时翻译成文本,使瘫痪的人能够以每分钟16个单词的速度发短信。该系统使用大脑植入物和机器学习算法来解码与手写相关的大脑信号。

多年来,BrainGate联盟为脑机接口(BCI)的开发做出了重要贡献,包括2012年展示的复杂的脑控机械臂,以及最近宣布的用于人类的高带宽无线BCI。这次开发的新的手写脑机接口项目由斯坦福大学的研究科学家弗兰克·威利特(Frank Willett)领导,由霍华德·休斯医学研究所(Howard Hughes Medical Institute)的神经科学家克里希纳·谢诺伊(Krishna Shenoy)和斯坦福大学的神经外科医生亨德森(Henderson)监督。

人工翻译计算公式(科学家实现了将意识实时翻译成文字)(2)

上图:一位临床试验参与者仅仅通过想象移动手臂和手来写字的动作,就在电脑屏幕上创作了这些字母。

早在2017年,谢诺伊和他的同事就开发了一种“思维-文本”系统,大大改进了早期的技术,使猴子能够以每分钟12个单词的速度发送文本。这项研究为晚些时候出现的后续工作奠定了基础,即一种脑机接口,它可以让瘫痪者以每分钟40个字符的速度打字,也就是大约8个单词。但正如亨德森医生声明的那样,“目前的工作已经超越了2017年的研究,使瘫痪者的打字速度提高了一倍多,并且使用了一种全新的、不同的方法。”

事实上,神经科学家以前从未尝试捕捉笔迹的心理行为,而这项新实验的目的就是要看看,它是否会产生一个更有效的思维到文本的系统。

在实验进行时,唯一的参与者是一名65岁的男性,他在10年前因脊髓损伤而导致肩膀以下瘫痪。

亨德森医生解释说:“两个传感器,每个4x4毫米,大约是一个婴儿阿司匹林药片的大小,有100个毛发般细的电极,被放置在大脑运动皮质的外层 —— 控制身体另一侧运动的区域。这些电极可以记录大约100个神经元发出的信号,由此产生的信号将由计算机处理,以解码与书写单个字母相关的大脑活动。”

人工翻译计算公式(科学家实现了将意识实时翻译成文字)(3)

上图:用于新型脑机接口的植入式电极阵列之一。

在实验过程中,这名男子试图移动他瘫痪的手来写字。亨德森医生解释道,他想象着“用笔在黄色便签簿上一个接一个地写这些字母”,而解码器则按照“神经网络识别”的方式把每个字母都打出来。他补充道,研究小组使用“大于”符号来表示单词之间的空格,“否则就没有办法检测到写空格的意图。”

该系统能够以大约95%的准确度区分单个字母。 亨德森医生说,每分钟16个单词的速度,大约是65岁以上的人在智能手机上打字速度的四分之三。

实验结果是美好的,也充满了希望。但这个系统也有它的局限性。首先也是最重要的,它是高度侵入性的,因为它需要脑部手术和植入物。而且,它也不能跨个人推广,需要系统了解每个用户的认知细微差别。根据亨德森医生的说法,新的方法也是“非常计算密集的”,需要一台“专门的高性能计算机或计算集群”。最后,系统还需要技术人员设置脑机接口并运行软件。尽管有这些限制,亨德森医生设想的是一个完全成熟的版本,它是“无线的、始终可用的、可以自我校准的”。他表示,所有这些目标都是可以实现的,但这将“需要大量的资源和投资,理想情况下,这些资源应该由一家公司提供,而不是学术实验室。”展望未来,该团队希望研究大脑协调多个肢体灵活动作的方式,并了解大脑是如何产生语言的。


如果朋友们喜欢,敬请关注“知新了了”!

,