#创作挑战赛#

现在的相机或者摄像头动辄就是百万、千万级像素,而且还有体积小、价格便宜等优点,非常方便可以集成到手机上或者AR眼镜中,实现增强现实的目的。

现在我们知道摄像头在AR系统中有举足轻重的作用,是用来识别外部环境的重要组件。摄像头在扫描周围环境时,目的是为了识别目标,通过计算机视觉去分析目标物体。

目标物体如果本身有很明显的特征,比如房间里有张桌子,桌面就是一个很明显的识别目标。微软HoloLens有一个比较经典的案例,演示《我的世界》游戏,把虚拟沙盘放置在桌面等平面上。

AR导航技术(自然环境中放置标志点的问题)(1)

MR我的世界 | 图源网络

如果目标物体没有明显的特征,比如白墙,这面墙上没什么可以用来识别的特征,有什么解决方案吗?

如果有条件我们可以先改造自然环境,有一种简单的处理方式,在真实环境中人为地放置一个很容易识别的东西,我们把这个东西叫做标志点。

标志点识别

比如在AR用于电力巡检中,工人需要戴上AR眼镜来识别配电箱,理论上来说,识别配电箱这个模型是很容易的,但是这个环境里有N个配电箱,长得几乎一模一样,AR眼镜怎么知道是哪一个呢?

如果我们把每一个配电箱上都贴上一个二维码,等于让每一个电箱都编上号,这个二维码就是标志点。二维码应该是最成功且应用最广泛的一种标志点。

AR导航技术(自然环境中放置标志点的问题)(2)

工人用AR来巡检 | 图源网络

标志点的设计原则有两个,第一外观要设计成很容易检测到的形状,第二图像要对比度高。

二维码就非常符合这两个原则。首先是边缘图形是四方形很容易被检测到。然后是中心的图像是黑色和白色两种对比度很高的颜色形成的内容。

除了四方形之外,圆形也是可以很容易被识别的外观形状。

但是只有外观是不够的,因为环境中的方形和圆形是非常多的,所以方形和圆形中间还要有内容填充,形成一个完整的图像才能作为标识点。

黑色和白色是计算机图像里面非常容易识别的图像,对比度足够高,摄像头拍摄之后不需要特别处理就能够识别。

AR导航技术(自然环境中放置标志点的问题)(3)

好用的标志点 | 图源网络

自然特征识别

话说回来,真实环境是没有标志点的,AR必须要能够识别真实环境中的自然特征,不然也没有存在的价值。

自然特征我们可以理解为目标身上自然发生的特征。比如人脸识别中,人的脸部轮廓、瞳孔、面部表情等都是自然特征。

AR中的摄像机可以获取人脸的高清图像,从图像中选取一些关键的帧,然后和AR系统内部已经提前准备好的模型进行对比,然后判定是否为该目标。

AR导航技术(自然环境中放置标志点的问题)(4)

生物特征识别 | 图源网络

这种自然特征识别的方式需要参考模型,参考模型有提前准备好的,也有通过摄像头先扫描周围环境快速创建得来。

这个采集的步骤是至关重要的,因为终端的用户在使用时,不会给你太多时间让你去扫描周围环境获取参考模型,也是现在的瓶颈。

最近在使用一家国产AR眼镜时就遇到了这个问题,前端的工人戴着AR眼镜在现场工作,后端的专家坐在电脑前可以看到现场的情况。后台专家希望告诉工人哪个设备可能有问题,专家需要做个标注,比如画个圆圈,或者打个箭头。

简单的解决方案是冻屏,也就是截屏。但这种解决方案是不自然的,也是很low的,我们需要的是对自然环境做动态标注。

我尝试了国内AR眼镜排名前列的品牌,有些压根没有动态标准的功能,有一些是有这个功能但实用性有问题。

AR导航技术(自然环境中放置标志点的问题)(5)

标注功能是远程视频交流必备 | 图源网络

当后台专家点击动态标注的功能按钮时,前端的AR眼镜会有长达十几秒的时间去扫描现场环境,然后专家才可以使用标注的功能,这个十几秒的时间用户是很难接受的,所以自然特征识别还有很长的路要走。

,