编者按:Apple Watch 不是计算能力强大的设备,每秒也能够处理数十亿字节的数据。人类大脑有数以百亿计的神经元,超过了四万亿次的突触连接,人脑每秒处理的大量数据,这是我们无法估计的。 然而,键盘和鼠标仍然是迄今为止人类强大的大脑与数字世界之间最快的桥梁。在触摸屏和语音识别之后,人机交互的未来是什么?
Apple Watch 比在阿波罗登月时使用的电脑强 250 倍。计算机体积从最初占据整个房间,发展到纳米级别,而键盘一直是最可靠和使用最广泛的人机界面。
电脑键盘的发明可以追溯到 50 多年前
跨越鼠标和键盘?
计算机正在被嵌入到不同的设备中,而我们无法将键盘和鼠标连接到所有设备上,所以我们需要找到其他交互方式。目前与智能对象(又称物联网)交互的解决方案是通过语音识别,这明显具有使用的限制。让我们来看看目前研究人员和公司正在寻求的解决方法。
Qeexo 了解手指的哪一部分触摸了屏幕
语音
美国国防高级研究计划局在 70 年代就资助了这一领域的研究!但是一直到最近,声音才开始有用。 由于深度学习,现在我们已经非常擅长语音识别。 现在,语音的最大挑战不是转录,而是基于上下文感知意义。
眼睛
在眼球追踪中,我们要么测量凝视(人们正在看的地方),要么测量眼睛相对于头部的运动。 随着相机和传感器成本的降低,以及虚拟现实眼镜的日益普及,作为界面的眼球跟踪变得有用。
Google 收购 的 yefluence 允许用户通过眼睛来使用虚拟现实
2015 年 IPO 的 obii 与消费电子制造商合作,将其眼动追踪技术嵌入其中
手势
手势控制是我最熟悉的人机界面,我亲自做过各种手势控制方法的科学研究。用于手势检测的技术包括:
惯性测量装置 (IMU)
加速度计,陀螺仪和指南针(全部或部分)的数据用于检测手势。 重新校准和降低对精度的需要是这种方法存在的一些问题。
红外 摄像头(深度传感器)
我们所看到的大多数酷炫的手势检测系统都使用了高质量相机,红外照明器和红外相机的组合。投射到场景中的成千上万的小点,了解对象的距离。 Kinect,英特尔的 RealSense,Leap Motion,Google 的 Tango,都是基于这种技术。
Leap Motion是手势控制的消费级设备
为了实现 FaceID 苹果已经把这一切都嵌入了 iPhone X 的前置摄像头中
电磁场
在这种方法中,用户的手指或身体起到导电体的作用,干扰使发射机和接收机之间的电磁场。
AuraSense 的智能手表中使用 1 个发射器和 4 个接收器天线进行手势控制
雷达
雷达早已被用于追踪飞机、轮船和汽车等物体。 谷歌的先进技术和项目(ATAP)组通过将雷达缩小到 8 毫米 × 10 毫米的微芯片而取得了令人瞩目的成就。这个通用的手势控制芯片组可以嵌入到智能手表,电视机和其他物体中进行手势追踪。
Google ATAP 的 Soli 项目
生物信号
如果看到这你还觉得没什么厉害的,让我们更进一步,上面提到的所有方法都是围绕测量和检测手势的副产品。
通过处理直接来自我们肌肉神经的信号,我们可以更进一步接近大脑意图。
通过将传感器放置在肱二头肌/三头肌或前臂上的皮肤上而获得的表面肌电图(sEMG),从不同的肌肉运动单元获得信号。 虽然 sEMG非常嘈杂的信号,还是可以检测到一些手势。
理想情况下,一般人愿意在手腕上佩戴传感器。 然而手腕中的肌肉是很深的,因此很难获取可以准确地用于手势检测的信号。
一家名为 CTRL Labs 的新公司,通过手腕的 sEMG信号 进行手势控制。 CTRL 实验室的设备测量 sEMG 信号,并且检测来自该运动背后的大脑的神经的驱动。 这距离大脑更近了一步。利用他们的技术,你可以将手放在口袋里,然后在手机上打字。
来自 Thalmic 实验室的肌肉机器接口
Thalmic Labs 是第一批开发基于sEMG的消费类设备的公司之一
脑机交互
在过去的一年中,这一领域发生了很多事情。 美国国防高级研究计划局花费 6500万 美元投资神经接口。 Elon Musk 的 Neuralin 融资 2700 万美元,Kernel 已经从其创始人 Bryan Johnson 获得了 1 亿美元的资金,Facebook 正在开发脑机界面。目前有两种非常不同类型的脑机接口:
非侵入式脑机接口
脑电波(EEG),从头皮上获取信号。
这就像在足球场上面放置一个麦克风。你听不清每个人在说什么,但是你可以知道是否进球(来自球场的欢呼和鼓掌)。
基于脑电波的界面并不真正读你的想法。 例如,最常用的 BCI 范例是 P300 拼写器。 你想输入字母“R”; 电脑随机显示不同的字符; 一旦你在屏幕上看到“R”,你的大脑会感到惊讶,并发出一个特殊的信号。 这很聪明的,但我不会是“读心术”,因为我们无法察觉对“R”的思考,而是发现了一个有效的技巧。
Emotiv,NeuroSky,Neuable 和其他一些公司已经开发出消费级 EEG 头戴式。 Facebook 宣布了一项关于脑打字的项目,该项目使用另一种称为功能近红外光谱(fNIRS)的脑部感测技术,其目的是达到每分钟 100 个字的速度。
用脑波打字
侵入式脑机接口
这是终极的人机界面,通过将电极放在大脑中工作,然而,还需要克服大量严峻的挑战。
通过侵入式脑机接口控制机器手臂
挑战
我们上面提到了各种有趣的技术,为什么仍然局限于使用键盘和鼠标。以下是人机交互技术进入大众市场需要具备的功能。
准确性
如果 10次 使用 只有 7次准确,你会把触摸屏作为主要界面吗?用作主界面,必需有非常高的准确性。
延迟
想象一下,按下键后,一秒钟后才显示。 只要一秒钟就没人愿意用了。超过几百毫秒的人机界面毫无用处。
训练
人机界面不应该要求用户花费大量的时间学习新的手势。
反馈
键盘敲击声,手机的振动,语音助手的嘟嘟声,都是为了完成反馈回路。反馈回路是任何界面设计中最重要的方面之一,用户往往不会注意到这一点。我们的大脑不断寻求确认其行动已经完成的成果。
人机界面的未来
由于上述挑战,我们还没能取代键盘,至少现在还没有。 我认为界面的未来将是:
-
多模式:我们将在不同的场合使用不同的界面。我们仍然可以使用键盘打字,绘图和设计触摸屏,与我们的数字私人助理进行语音交互,基于雷达的车内手势控制,基于肌肉的手势控制游戏和虚拟现实,以及通过脑机接口选择最适合你心情的音乐。
-
上下文感知:你在笔记本电脑上阅读了关于北加利福尼亚州野火的文章,然后在你在智能耳机上询问语音助理“那里的风有多大?”。它应该理解你问的是火灾的发生地点。
-
自动化:在 AI 的帮助下,电脑能更好地预测你打算做什么,所以你甚至不需要发指令。 当你醒来的时候就会知道你想播放一些特定的音乐,所以你甚至不需要一个找歌播放。
原文链接:https://medium.com/@tahmaseb/after-50-years-is-it-time-to-say-goodbye-to-the-keyboard-e0d6e6709211
(36氪编译组出品,未经许可禁止转载。编辑:郝鹏程)
,