在Quest一体机系列推动下,手势识别逐渐成为VR的关键输入方式之一。与VR手柄相比,直接用手与VR内容交互的好处是体验感自然、方便,沉浸感足够强。但相比之下,手势交互缺少VR手柄能提供的体感反馈。

vr怎么操控手指(如何在VR中模拟体感反馈)(1)

目前,将手势识别与体感反馈的方案以VR手套为主,通常需要你穿戴额外的体感设备,而从外部提供体感的非穿戴式方案通常设计复杂,成本较高。近期,卡内基梅隆大学科研人员提出一种低成本VR体感方案:Retargeted Self-Haptics。即通过视觉重定向,允许VR用户通过双手的触碰来模拟特定的体感,原理基于视觉和触觉错配效果。

无需额外硬件的VR体感方案

据青亭网了解,Retargeted Self-Haptics特点是重新利用VR用户的身体部位,为隔空手势识别提供体感反馈。这项方案简单却有创意,可看作是一种替代硬件的灵活体感方案,或许可以给VR交互设计者带来一些新的灵感。

vr怎么操控手指(如何在VR中模拟体感反馈)(2)

卡内基梅隆大学科研人员(Cathy Mengying Fang、Chris Harrison)表示:这项全新的方案无需VR手柄或VR体感手套,目的是为Quest 2等设备的隔空手势交互带来一定程度的体感反馈。

在一篇名为《重定向自体感反馈方案,无需硬件即可提升VR沉浸感》的论文中,科研人员介绍了Retargeted Self-Haptics方案的应用细节。而为了探索这项方案的可行性,进行了一系列实验。比如,抓住拇指摇晃胳膊,来模拟面团搅拌器。

科研人员表示:通过重新定位,我们将VR用户的一只手作为物理反馈的表面/道具,比如在VR中钉钉子的场景中,一只手可作为钉子的支撑平面,另外一只手在钉钉子时,可以感受到与这只手的撞击反馈。除此之外,还可以模拟划火柴、切菜等场景。

类似于VR中的重定向功能,Retargeted Self-Haptics基于重定向触摸原理,可以通过VR视觉和时间欺骗,让用户的双手在适当的时机相互接触,接触后对皮肤产生的扭曲可带来体感反馈。重定向不仅可以模拟大空间VR,还可以将同一个物理目标模拟成三个或更多虚拟物体。

vr怎么操控手指(如何在VR中模拟体感反馈)(3)

Retargeted Self-Haptics方案基于Quest 2手势识别,通过实时手势追踪,将一只手渲染成特定的VR图形,让用户误以为自己的手是可交互的平面。

细节方面,为了从视觉上欺骗VR用户,Retargeted Self-Haptics会渲染一个假的虚拟手来代表其中一只手,然后将可交互的VR目标叠加在这只手的实际位置上,这样当你另一只手触碰这只手时,视觉上并不会看到双手的交互。

在实验过程中,科研人员设计了十二种交互式demo,涉及三种类型的体感。如果在VR中模拟键盘输入,则可以将一只手作为键盘,另一只手的食指通过敲击手背来模拟键盘体感。或者,一只手抓住另一只手的拇指来模仿搅拌器,拉动拇指来模拟射箭拉弓,或是用一只手模拟手枪,另一只手模拟弹匣,通过双手撞击来体现上子弹的体感。

此外,一只手也可以作为被动的道具,在模拟按钮的场景中,可以看到体验者的左手到达按钮的位置后,按钮旁边会显示这只手的“虚拟位置”,然后另一只手去启动按钮时,便会拍到这只手。或是用一只手模拟指纹识别器、门等物体。双手交互的demo还包括:使用触屏手机、用棍子敲手掌等等。

vr怎么操控手指(如何在VR中模拟体感反馈)(4)

实验参与者反馈,Retargeted Self-Haptics有效提升VR的沉浸感和趣味性。在三种不同类型的VR体感demo中,体验者的平均反馈是Retargeted Self-Haptics比没有体感反馈的手势交互体验更好,沉浸感、逼真感和趣味性更强。其中,需要使用双手、双手均获得体感反馈的VR演示体验感最好。此外,Retargeted Self-Haptics的体感反馈,而VR具象化和自由度与无体感手势交互在多个场景都足够接近。

手部定位问题和局限

科研人员表示:当前的 VR 系统提供身临其境的图形和音频,但物理触摸反馈仍然非常有限。如今,大多数消费类系统都使用仅提供振动反馈的手持控制器。一些消费者系统提供无控制器交互,但因此无法提供任何触觉反馈。

而一些非接触式体感反馈,则需要额外的外设,比如于空气涡流原理的AIREAL,或是超声波阵列方案Ultraleap STRATOS Explore,这些方案可提供类似于轻触、轻敲皮肤的感觉。

通过优化和探索,未来Retargeted Self-Haptics有望突破现有VR手势交互、体感反馈的局限。不过目前,该方案仅支持部分VR应用,考虑到手臂和手背的有限面积,这种方案仅能模拟面积较小的平面。因此,VR交互对象需要和手臂等身体部位的大小和形状相似。同样,也不适合对准确性和细节要求高的培训场景

vr怎么操控手指(如何在VR中模拟体感反馈)(5)

实验还发现,模拟冲击时体感交互快而短的效果更好,而接触面积小的交互(比如用手指触碰手掌),效果比用手掌抓住拇指更好。在选取提供体感反馈的身体部位时,应该选取面积较大、表面结构比较规则的位置。 此外,Quest 2在追踪双手遮挡时的效果不够稳定。接下来,科研人员还将利用身体的其他部位,来探索Retargeted Self-Haptics的更多应用场景,或是通过五指独立追踪功能,来实现单手体感反馈效果。参考:Mixed.de

,