传统的人机交互模式貌似已经走到了尽头,而新的科技正在不断诞生。想象一下,你无需触碰任何东西,只要在空气中挥挥手,就可以实现过去通过鼠标键盘、通过触摸屏幕才能完成的一系列复杂操作。在二十一世纪的头几年里,这种概念虽然已经存在,但是对于大部分人来说,它是仅存在于类似于《少数派报告》这样的电影中的奇妙场景。而如今,在十年之后,它成为了唾手可得的现实。
三星Galaxy S4手机于2013年上市,它的宣传片给观众留下了很深的印象。在宣传片中,一位男士仅仅通过在空中挥手,就完成了接听电话、翻看菜谱等一系列操作,而这仰仗于三星早在Galaxy S3发布之际就已经公布的浮窗手势(Air Gesture)技术。无独有偶,在今年上半年关于亚马逊自有品牌手机的细节的消息中,同样涉及到了手势操作的功能,而如果去研究目前市场上的其他智能移动设备,我们能够发现得更多。
Eye Toy的一种典型应用,但实际效果却并不像图中表现得那样好
2004年,Eye Toy出现在索尼PS2主机的周边列表中,利用该设备,玩家只需运动肢体就能将自己的动作投射到屏幕中,这在当时是一项相当时髦与前沿的技术。索尼曾经围绕这款外设推出了数十款游戏,游戏和设备相互推动,双方的销量都得到了提升。而在5年之后,在2009年,微软的“诞生计划”(Project Natal)产下了Kinect。这款长方形的动作捕捉设备从此成为了Xbox系列主机的重要组成部分。甚至微软互动娱乐业务副总裁Don Mattrick也曾这样称赞:“凭借Kinect,我们不用发售新主机也能步入互动娱乐的新纪元”。
虽然这两款设备的发布都曾带来了轰动,但是如果从技术层面去分析,他们却仍然属于现有成熟技术深度运用的范畴。Eye Toy利用摄像头连续捕捉图像,来判断物体运动所产生的差异,并且实时转换。而虽然Kinect拥有语音识别,动作识别以及面部识别的功能,但是当我们将其拆分成独立的系统之后会发现,它功能的实现仍要依赖CMOS红外传感器以及学习过的TB级数据来进行判断。
作为第一个真正意义上实现大规模商用化的体感技术,Eye Toy的成功却没有持续下去。在短短两年之后,便不再有相关这款设备的游戏推出。究其缘由,是因为当时的技术太过粗糙。通过连续图像捕捉,Eye Toy只能识别平面的动作,而如果运动的主体进行了第三轴向的运动,则会对识别造成干扰。于是在Kinect中实现了多感应器的捕捉,能够更加真实的还原运动。而这种模式也对未来的体感设备产生着影响。
“厉动”,是Leap Motion公司开发的一款体感设备,首发于2013年。有别于Kinect式的大范围体感捕捉,它更专注于桌面应用,但在基本实现方式上它和Kinect却没有太多不同。厉动的识别范围是一条上宽下窄的扇形,在以该设备为原点构建的坐标系中,用户每只手的骨骼和关节动作都会被追踪到,并且以向量组的形式在软件中反映出来,转化成空间中的坐标,只不过Kinect必须实现全身的骨骼建模,而对于厉动来说,它所需要是别的仅限于双手的动作。
这种基于“照射/识别”的光学识别模式虽然能够满足大多数条件下的应用,但是它也有着自己的弊端。比如说,在一些光线频繁变化的极端环境下无法保证灵敏度。因此另一种技术,基于电近场(E-Field)的手势识别与捕捉技术应运而生。我们可以将其想象成在三维空间中实现的触摸屏操作,但是相对于主流的光学识别动作捕捉技术,这项技术仍然并没有大规模进入实用阶段。
但不论是那种技术,它们是廉价而精确的选择。比如厉动,它可以识别出0.01mm的微小动作,即便手指轻微的抖动也会被忠实地记录下来,而其功耗却能够维持在一个相当低的级别。这使其更加适合被运用以移动的场景,可以被集成到其他设备之中。这也就意味着,在未来,移动设备中的手势感应功能或许就像三星手机所表现的那样,成为一种标配。
但是,我们能用它来做什么呢?
■当双手解放出来,游戏怎么玩?
《捕鱼达人》与英特尔实感技术的融合,一种可行的途径
在主机平台上,体感技术已经得到了成熟的运用。比如像Xbox平台游戏《舞动全身》,它通过Kinect的准确识别,给予了玩家休闲娱乐的另一种途径,让舞蹈也可以通过人机互动来完成。而对于移动设备来说,手势感应又能带来那些不同的游戏体验?
首先来说,目前市面上基于光学识别模式的手势感应设备可以侦测到手掌的旋转向量,掌心位置,掌心球的半径等参数,并且依靠尖锐奇点判断可以实现手指的识别。玩家的攥拳、转动手掌以及掌中捧物等操作都可以被识别到游戏中,这些数据并非来自陀螺仪的角速度或是屏幕的触摸。手势感应将会改变游戏中参数的输入方式。
从重力感应到虚拟按键,从点击到滑动,移动设备上的游戏操作方式不断进化,但是对于玩家来说,特别是非休闲的核心玩家来说,远远达不到满意的标准。在前不久,苹果公布了一项专利,玩家可以利用iPad背部的触摸器进行操作。虽然听起来是一个不错的主意,但是由于这项专利所涉及的触摸区域与人手持iPad时可能的支撑区域重合,因此实际上这项专利也无法完美地达到丰富操作的目的。而无论平板电脑或是移动设备的性能再高,无法实现复杂操作,它便只能被锁定于简单的休闲游戏范畴内。这也就是为什么会有这么多针对于移动设备的操纵手柄被推出。但当手势感应技术与移动设备完美融合,它便能够为游戏提供更丰富的控制方式。
在8月于上海举办的CJ上,英特尔和触控科技一起展示了他们合作的成果,利用英特尔实感技术(Realsense)实现的《捕鱼达人》游戏。在游戏中,玩家通过挥动手臂来决定炮台的方向,而通过攥拳来决定发射,如果玩家攥拳不放,则会实现连续发炮这样的操作。这样的操作首先解放了双手,让玩家从屏幕的触摸中解脱出来。这种新型的操纵方式也最终将改变目前人与智能设备之间的这种关系。
在主机/桌面应用方面,手势感应的发挥空间显然更大
而其次,参数的产生来自于人体的动作,相对于触摸键盘或是屏幕的“操作”,这种参数更加接近于“运动”本身。而运动拟真游戏正式是为了还原运动本身而生的一种游戏类型。在厉动的发布会上,产品经理展示了一款应用,用户的双手被识别之后,可以与屏幕中的虚拟物体产生活动,玩家的触摸与动作都会对屏幕中的一朵莲花造成影响,对于游戏者来说,仿佛这朵莲花就真的出现在面前一样。如果配合Oculus Rift这样的虚拟现实技术,这种拟真的感受将更加强烈。
拟真,实感,解放双手的操控,这样前所未有的体验即便想象也能使人心潮澎湃,能让用户仿佛回到了少年一般追逐着科技的进步,我想,会有这样感受的人一定不止我一个。这就像二十世纪而对于未来世界的乐观一样,某一样新科技的诞生将会改变我们所有的体验。但是,问题是,这种乐观往往却是盲目的。
■我们真的需要手势感应吗?
三星手机的浮窗手势功能看起来非常先进,但是这样的应用却并不是用户日常所需要的
一位在早期体验Leap Motion的科技媒体记者曾经评论,虽然设备新颖有余,但是当他连续很长时间使用它玩游戏、浏览网页之后,留下的却是手臂的酸疼。
一项新颖的技术的诞生需要伴随着长时间的验证。通过不断地审视、修改、重塑之后才能够步入大众之门。但是随着科技发展,我们越来越多的忽略了在一项科技诞生之后,可能给人带来的伤害。
当然,对于手势感应技术来说,可能造成的肌肉劳损仅仅是微不足道的代价,无论任何技术,比如裸眼3D,超过了设计者所规定的度量都会产生危害。但真正需要反思的是,这一项新技术真的是我们需要的吗?它应该与谁结合在一起?它真的能改变什么吗?
三星手机中的浮窗手势功能已经存在了若干年,不过看起来它并没有为开发者开放SDK的打算——没这样做的理由当然包括技术上的保守等因素,但这项技术本身的实用性也值得质疑。对于用户来说,手机最多的适用场合是在移动场景下,而在移动中解放双手进行设备的操作无疑痴人说梦。
目前中国的手机游戏市场伴随着用户碎片化时间的增长而蓬勃发展,但无论是怎样的碎片化时间,恐怕也不容手势感应操作的置喙。虽然已经有了捕鱼达人与英特尔实感技术结合这样的例子在先,但是在短时间内,这种矛盾无法克服。或许人与机器之间需要更为进化的关系,比如智能移动设备全面向可穿戴设备方向进化。但是目前我们还看不到曙光。
不过也不必过早悲观。于我看来,手势感应与智能移动设备的结合无疑画蛇添足,但它与VR设备的结合才是真正未来发展的方向。对于VR设备来说,双手解放的意义要远大于隔空打鱼,而虚拟实景与现实增强所带来的更是全新的应用领域。它可以用于碎片化时间,也可以用于移动场景之下。我们真的需要手势感应技术,真的需要它对于我们的生活,我们的娱乐进行重新定义,但显然,现在才刚刚起步。
,