文章内容摘要

现行的深度传感镜头作为智能手机的一大创新,已在目前主流智能手机上广泛应用。现因苹果在最新版iPad Pro上搭载了D-ToF(直接飞行时间法)深度传感镜头引起了极大的关注,推动了3D视觉在消费场景的新应用机会。为了让读者更全面的了解ToF技术,本文将会分析3D视觉传感技术的基本原理,ToF镜头的相关产业链信息,ToF技术的具体应用以及ToF技术的未来发展前景。

具体内容概要

一、3D视觉方案技术介绍

双目立体视觉法

结构光法

二、时间飞行法(ToF)

ToF原理介绍

飞行测量技术(D-ToF)

飞行测量技术(I-ToF)

ToF产业链介绍

ToF镜头模组组成核心硬件:

发射端:

(1)发光单元

(2)准直镜头

(3)DOE扩散片(Diffuser)

接收端:

(1)窄带滤光片和光学镜头

(2)红外CIS(图像传感器)

三、ToF技术应用场景

手机

汽车

人脸识别/安保系统

工业领域/物流

四、ToF市场前景

3D视觉方案技术介绍

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(1)

3D视觉传感技术是一项重要的科学突破。它是一种深度传感技术,增强了摄像机进行面部和目标识别的能力。相对于2D技术,3D技术除了显示对象的X和Y值之外,还可以提供记录场景或对象的深度值,在感知和处理日常活动的方式上带来了独特的进步,制造商争先恐后地将这些新的进步融入到手机等消费产品中。该技术利用光学技术模拟人类视觉系统,促进了增强现实、人工智能和物联网的出现和应用。

目前市面上主流的3D光学视觉方案有三种:双目立体视觉法(Stereo Vision,在下文称双目法),结构光法(Structured Light,在下文称结构光)以及飞行时间法(Time of Flight, ToF在下文称ToF)。此文主要探讨的是ToF,同时会对其他两种主流方案进行技术比较。目前较为成熟的方案是结构光和ToF。其中结构光最为成熟,已经在工业3D视觉中大规模应用。ToF的概念是扎根于深度传感器的。这里的深度传感器是指采用像素阵列来获取整个场景的高分辨率深度分布。对于深度传感器来说,一般用于测量深度的方案分别有结构光、双目和ToF三种,其中结构光(iphone目前的Face ID就是使用了基于结构光的深度传感器)和双目技术都是基于几何原理做间接深度估计,而ToF则是测量发射光和反射光之间的飞行时间并根据光速来直接估计深度。

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(2)

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(3)

1、双目立体视觉法(Stereo Vision)

双目立体视觉法的技术原理是通过从两个视点观察同一物体,从而来获得同一物体在不同视角下的图像。通过三角测量原理来计算图像像素间的位置偏差(视差)来获取物体的三维图像,比如把一只手指放在鼻尖前方,左右眼看到手指会有一个错位的效果,这个位置差被称为视差。相机所要拍摄的物体离相机越近,视差越大,离相机越远,视差就越小。由此可以得出,当两个相机的位置等条件已知时,就可以通过计算相似三角形的原理来得出从物体到相机的距离。过程跟人类眼睛的工作原理相似。在双目立体视觉系统的硬件结构中,通常采用两个摄像机作为视觉信号的采集设备,通过双输入通道图像采集卡与计算机连接,把摄像机采集到的模拟信号经过采样、滤波、强化、模数转换,最终向计算机提供图像数据。

双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Lawrence Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构,并对物体的形状和空间关系进行描述,把过去的简单二维图像分析推广到了复杂的三维场景,标志着立体视觉技术的诞生。随着研究的深入,研究的范围从边缘、角点等特征的提取,线条、平面、曲面等几何要素的分析,直到对图像明暗、纹理、运动和成像几何等进行分析,并建立起各种数据结构和推理规则。特别是在1982年,David Marr首次将图像处理、心理物理学、神经生理学和临床精神病学的研究成果从信息处理的角度进行概括,创立了视觉计算理论框架。这一基本理论对立体视觉技术的发展产生了极大的推动作用,在这一领域已形成了从图像的获取到最终的三维场景可视表面重构的完整体系,使得立体视觉已成为计算机视觉中一个非常重要的分支。

一个完整的双目立体视觉系统通常可分为数字图像采集、相机标定、图像预处理与特征提取、图像校正、立体匹配、三维重建六大部分。双目立体成像法具有高3D成像分辨率、高精度、高抗强光干扰等优势,而且可以保持低成本。但是需要通过大量的CPU/ASIC演算取得它的深度和幅度信息其算法极为复杂较难实现,同时该技术易受环境因素干扰,对环境光照强度比较敏感,且比较依赖图像本身的特征,因而拍摄暗光场景时表现差。双目立体视觉法还有另一个限制,它过度的依赖于被拍摄物体的表面纹理,如果被摄物体表面没有明显的纹理,使用双目立体视觉法会无法匹配与之对应的像素的问题。

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(4)

2、结构光法(Structured Light)

该技术是一种主动双目视觉技术,结构光技术的基本原理是,通过近红外激光器,将具有已知的结构特征(比如离散光斑、条纹光、编码结构光等)的光线投射到被拍摄物体上,再由专门的红外摄像头进行采集三维物体物理表面成像的畸变情况,再通过观测图案与原始图案之前发生的形变由此来得到图案上的各个像素的视差。这个技术通过光学手段获取被拍摄物体的三维结构,再将获取到的信息进行更深入的应用。其工作原理可看作是另一种双目法,红外激光器和红外摄像头可当做是双目立体视觉法中的左右双目的观测原理。

结构光在消费电子领域的商用最早可追溯到2009年,微软与以色列3D感测公司 PrimeSense合作发布了搭载结构光模组的体感设备Kinect一代,2010年11月上市后,该产品成为 2011 年销售最快的消费电子设备。尽管产品大获成功,但第一代 Kinect 的准确度、图像分辨率和响应速度并不理想。2017年苹果发布iPhone X,首次搭载 3D 结构光模组,可实现3D人脸识别技术,成为苹果近几年最大的创新。此前由于半导体工艺等多方面技术的限制,3D 感测很难应用到体积非常有限、功耗要求低的手机上,因此iPhone X 的发布是结构光技术的重大突破,市场对结构光技术的热情重新点燃。主要结构光方案厂商还有美国的英特尔、高通/Himax,以色列 Mantis Vision 以及国内华为、奥比中光等公司。iPhone X 发布后,国内小米、华为和 OPPO 也先后发布了首款搭载结构光模组的智能手机,其中小米采用的是以色列 Mantis Vision 公司的解决方案,华为采用的是自研方案,OPPO采用的是国内公司奥比中光的解决方案。苹果在2018年和2019年的iPhone新产品中也全部搭载了结构光模组。

结构光技术相较于双目技术有一个好处,结构光的红外激光器发射出了光,可以照亮被扫描物体,所以它不需要像双目结构一样依赖于光源,而且在较平整,没有图案的物体表面也可以测算出物体的三维深度。综上所述,结构光相较于双目结构有两个优点:(1)在场景较暗的场景下也可以运作正常(2)在没有明显纹理的物体上也可以实现深度扫描。

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(5)

飞行时间法介绍

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(6)

ToF是Time of Flight的缩写,直译为飞行时间,通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测这些发射和接收光脉冲的飞行(往返)时间来得到目标物距离。传感器通过计算光线发射和反射时间差或相位差,来换算被拍摄景物的距离,以产生深度信息,此外再结合传统的相机拍摄,就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。

ToF最早的商用可追溯到 2006 年 7 月,衍生自CSEM(瑞士电子与微技术中心)的 MESA Imaging公司成立,并推出商用ToF摄像头产品系列 SwissRanger,最开始应用于汽车的被动安全检测。ToF技术首次应用到智能手机是在 2016 年,Google 和联想合作推出了全球首个搭载ToF模组的智能手机 Phab2 Pro,采用的是pmd/英飞凌的ToF方案,该手机可实现一些如三维测量等简易的 AR 应用,但并没有引起市场较大的反响。2018年8月6日,OPPO 在北京召开了ToF技术沟通会, 并在8月23日发布了其首部搭载 ToF 摄像头的智能手机 OPPO R17 Pro,采用了 Sony 的解决方案。随后在 2018 年 12 月,vivo 发布了其首部搭载 ToF 摄像头的智能手机 vivo NEX 双屏版,采用了松下的解决方案; 华为发布了其首部搭载 ToF 摄像头模组的智能手机荣耀 V20,采用的是 OPPO R17 Pro 相同的 ToF方案。进入 2019 年后,安卓厂商纷纷加入 ToF 镜头的阵营。此后,有越来越多的手机厂商在手机上搭配ToF镜头。

典型ToF测量设置描绘在图中,它包含几个构建块:(a)脉冲/调制光源(在ToF中一般使用VCSEL,请见下文解释)(b)光学扩散片将光扩散传播出去,接着当光从物体上反射回来时,用(c)一组透镜收集从物体上折射回来的光。接着经过一个滤光片将折射回来的光收集起来并且适当地调整光源的波长,接着通过改善背景噪声抑制令光波可被芯片所识别。最后,测量系统的核心是由固态量程图像传感器(d),由一组光探测器(像素)组成,能够直接或间接地测量光脉冲从光源到目标并返回传感器所需的飞行时间。该系统还需要一个合适的传感器接口,为传感器提供电源、所需的偏置电压/电流信号、数字控制相位,并从传感器读取数据流,这通常需要进一步的小处理以获得3D体积数据。最后,传感器接口负责与外部(到PC或处理单元)的通信。

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(7)

ToF 技术具有以下的优点:1、软件复杂性低,设计与应用简单 2、在暗光与强光环境下表现不错 3、功耗不高 4、有较远的探测距离 5、成本低 6、响应速度快,缺点则在于室外受自然光红外线影响大、远距离无法保证精度。

飞行时间测量技术(D-ToF)

在经典的飞行时间测量中,直接飞行时间(Direct ToF,D-ToF,下文称为D-ToF)的原理比较直接,即直接发射一个光脉冲,之后测量反射光脉冲和发射光脉冲之间的时间间隔,就可以得到光的飞行时间。探测器系统在发射光脉冲产生的同时启动一个高精度的秒表。当探测到目标发出的光回波时,秒表停止并直接存储往返时间。目标距离z可通过以下简单方程估算:

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(8)

其中

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(9)

表示光在空气中传播的速度。D-ToF通常用于单点测距系统,但由于像素级亚纳秒电子秒表的实现困难,D-ToF的成本以及技术难度相较于I-ToF更高。这项技术特别适用于基于SPAD的ToF系统。目前主流的主流的ToF技术所采用的SPAD(single- photon avalanche diode,单光子雪崩二极管)是一种高灵敏度的半导体光电检测器,其被广泛运用于弱光信号检测领域。结合D-ToF技术,可用来精确检测记录光子的时间和空间信息,继而通过三维重极算法进行场景的三维重构。苹果在2020年发布的第四代iPad Pro中就运用到了D-ToF技术。D-ToF的原理看起来虽然很简单,但是实际能达到较高的精度很困难而且成本对比I-ToF要高很多。除了对时钟同步有非常高的精度要求以外,还对脉冲信号的精度有很高的要求。普通的光电二极管难以满足这样的需求。而D-ToF中的核心组件SPAD由于制作工艺复杂,能胜任生产任务的厂家并不多,并且集成困难。所以目前研究D-ToF的厂家并不多,更多的是在研究和推动I-ToF。

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(10)

飞行时间测量技术(I-ToF)

D-ToF的另一种解决方案是所谓的间接ToF(Indirect ToF,I-ToF,下文称为I-ToF),而I-ToF的原理则要复杂一些。在I-ToF中,发射的并非一个光脉冲,而是调制过的光。接收到的反射调制光和发射的调制光之间存在一个相位差,通过检测该相位差就能测量出飞行时间,从而估计出距离。其中往返行程时间是从光强度的时间选通测量中间接外推的。在这种情况下,不需要精确的秒表,而是需要时间选通光子计数器或电荷积分器,它们可以在像素级实现,只需较少的计算工作和硅面积。I-ToF是基于ToF相机的电子和照片混合设备的自然解决方案。

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(11)

1、ToF产业链介绍

3D传感产业生态链包括光源、光学单元(透镜及滤光片等)、图像传感器及模组制造等直接硬件环节,此外还包括软件、处理器、3D系统设计等。

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(12)

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(13)

2、ToF镜头组成核心硬件

发射端1)发光单元

ToF镜头的发光单元通常为能发出特定波长红外线的垂直腔面发射激光器(Vertical-Cavity Surface-Emitting Laser,又译垂直共振腔面射型激光,在下文称VCSEL),VCSEL能以相对较小功率发射出较高的信号。VCSEL是一种半导体,其激光垂直于顶面射出,与一般用切开的独立芯片制成,激光由边缘射出的边射型激光有所不同。传统的光电转换技术一般是用的LED等发光器件,这种发光器多采用的是边缘发射,缺点是体积较大,所以会比较难于半导体技术相结合。20世纪90年代垂直腔表面发射激光VCSEL技术成熟后,解决了发光器件和半导体技术结合的问题,因此迅速得到普及。VCSEL是很有发展前景的新型光电器件,也是光通信中革命性的光发射器件。此外,ToF中泛光照明器的VCSEL输出光束无需经过编码,因此器件制作上更为简单,可供选择的 VCSEL 供应商也更多。顾名思义,边发射激光器是沿平行于衬底表面、垂直于解理面的方向出射,而面发射激光器其出光方向垂直于衬底表面,如下图:

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(14)

VCSEL 是 3D Sensing 中重要的部件之一,不仅体现在其功能在体现在其价值量之中。随着 3D Sensing 在手机中进一步渗透,VCSEL 的市场规模将随之扩大。ToF不仅可以在手机中使用,还可以在光通讯、激光雷达等多个领域中使用,市场空间巨大。据市场研究机构 Yole 预测,到 2023 年,整个 VCSEL 市场将达到 35 亿美元,年复合增长率达到 48%。VCSEL 领域具有市场大、增长快、应用广等特点,未来对 VCSEL 的关注度将会日渐提升。从图中可看出未来在VCSEL赛道,主要集中的领域是消费电子、工业领域以及通信。VCSEL 是化合物半导体激光器,因此对应化合物半导体产业链,包括晶圆、外延片(EPI)、IC 设计、晶圆代工和封测等环节。

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(15)

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(16)

发射端:2)准直镜头:

利用光的折射原理,将波瓣较宽的衍射图案校准汇聚为窄波瓣的近似平行光。采用准直镜头对 VCSEL 出射光束进行准直、形成散斑等整形处理。WLO(Wafer-level Optics,在下文称为WLO)晶圆级光学器件,是指晶圆级镜头制造技术和工艺。与传统光学器件的加工技术不同,WLO工艺在整片玻璃晶圆上,用半导体工艺批量复制加工镜头,多个镜头晶圆压合在一起,然后切割成单颗镜头,具有尺寸小、高度低、一致性好等特点。

发射端:3)DOE扩散片:

DOE衍射光学元件(Diffractive Optical Elements,在下文称为DOE)在3D摄像头结构光方案中的作用就是利用光的衍射原理,将激光器的点光源转换为散斑图案(pattern)。首先根据特定衍射图像的光学需求,设计并制作出三维母模,然后根据母模再制作出DOE光栅,光栅表面具有三维的微结构图案,尺寸都在微米级别。激光器发射的线性激光通过DOE的时候发生衍射,衍射光的角度和数量是受DOE上pattern的控制,衍射出来的光斑具备lighting code信息。DOE主要是用于结构光成像技术的摄像头中,DOE的制造成本相对较高。

在ToF的发射成像技术中主要运用的是扩散板(在下文称为Diffuser),主要是为显示器提供一个均匀的面光源,ToF投射器主要包括VCSEL Diffuser,而ToF的VCSEL并不像结构光那样对编码图案有一定要求,只是最常规的规则排列,器件制作上更为简单,装配精度要求也更低。Diffuser是DOE的一种,也属于波束整形器,用于对输入光束进行均一化,通过使较大折射角处具有更大屈光度,使得较窄的光束扩展到更宽的角度范围内,并具备均匀的照明场。TOF 中的 Diffuser 的设计制作难度,比 3D 结构光点阵投影仪中的 DOE 要简单很多。

根据光大证券测算,考虑到疫情影响预计2020年全球智能机出货量有所下降,滞后的 5G 需求有望在2021年释放,预计 20~21 年全球智能机出货量分别为 12.6/15.0 亿部,其中 iphone 出货量 1.7/2.1 亿部,安卓机 10.9/12.9 亿部。假设 20~21 年前置结构光在 iphone 的渗透率分别为92%/95%,在安卓的渗透2%/5%,推算结构光摄像头出货量 1.8/2.7 亿颗。假设 20~21 年后置 TOF 在 iphone 的渗透率分别为 25%/50%,在安卓的渗透率 7%/15%,加上 ipad 出货量,推算后置 TOF 摄像头出货量 2.7/4.4 亿颗。假定DOE/Diffuser单价1美元测算,对应DOE 20~21年市场规模1.8/2.7亿美元;Diffuser市场规模 2.7/4.4 亿美元;窄带滤光片按 20~21 年单价 1/0.75 美元测算,对应市场规模 9/10.5 亿美元。

接收端:1)窄带滤光片和光学镜头

ToF模组依靠窄带滤光片和光学镜头来收集反射回的光线。滤光片只允许对应波长的红外线通过,抑制其他光线,并降低噪声。近红外识别系统中所用到的窄带滤光片及超薄高性能镀膜也是基于结构光及ToF的3D摄像头技术关键。3D摄像头在接收反射光时要求只有特定波长的光线能够穿过镜头,拦截频率带之外的光线,即隔离干扰光、通过信号光凸显有用信息,因此需要滤光片在接收端过滤掉非工作波段的光波。

在窄带滤光片赛道,难度和价值量都高于传统摄像头所用的滤光片,目前仅有 VIAVI 和水晶光电的技术较为成熟,这两家也是苹果iPhone X的窄带滤光片供应商。目前全球仅水晶光电和唯亚威(Viavi)两家企业具备大批量供货的能力。

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(17)

接收端:2)红外CIS(下文称为图像传感器):

早年的ToF传感器,多采用CCD(Charge-coupled Device,中文为电荷耦合元件,是一种图像传感器,下面简称CCD),而CMOS是另一种目前市场上更为主流的图像传感器(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体,在下文简称CMOS)。CCD的感光利用率更高,但是功耗十分大,发热严重,也是此前ToF方案未能应用在手机中的原因之一。随着图像传感器厂商不断提高CMOS传感器的技术,通过背照式(Backside Illumination,在下文简称BIS)设计、电流辅助光子演示(CPAD)技术,并将高速率多帧图像合成单张图像用以计算最终的深度,在降低图像噪声的同时降低了功耗,从而使ToF应用于手机成为可能,但对应的ToF传感器芯片成本也高出很多。

CMOS图像传感器市场集中度较高,2017年,前十大厂商市场份额合为94%,其中前三家厂商索尼(Sony)、三星(Samsung)、豪威科(Omnivision)市场份额合计占比达73%,CR3较2014年的63%有明显提升。从CIS市场增速来看,根据IC Insights2018年预测,2017-2022年销售额CAGR为8.8%,销售量CAGR为11.7%;根据Yole2018年预测,2017-2023年销售额CAGR为9.4%,而该机构最新预测显示,受到新冠肺炎疫情影响,2020年增速将回落至7%,2021年略有反弹(增速为12%),预计2025年CIS市场规模将达到280亿美元。

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(18)

ToF技术应用场景

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(19)

ToF技术应用场景

ToF技术具有丰富的应用场景,在手机、汽车、工业、人脸识别、物流、安抚监控、健康,游戏、娱乐、电影特效、3D打印和机器人等诸多领域都有应用。以下将举例ToF在不同领域中的实际应用。

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(20)

手机:

目前ToF技术在手机领域的三个应用主要是:安全(人脸识别,支付)、摄影、娱乐(增强现实,在下文简称AR)。

ToF技术镜头在手机中用于安全领域的人脸识别和金融支付主要是在运用在手机中的前置摄像头中,此前在手机前置摄像头中运用的三维技术大部分是结构光技术。由于结构光在成本上比ToF要高且工艺更复杂,因此现在的手机人脸识别技术开始从结构光技术向ToF技术转移。代表机型:华为Mate 30 Pro,三星Galaxy S10 5G、Vivo NEX双屏版。例如在Vivo NEX双屏版中,ToF前置摄像头可以运用3D人脸建模技术来进行人脸识别和自拍图片优化。

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(21)

手机摄影:在手机摄影方面,ToF技术让镜头实现对焦更快、精准抠像、探测景深、背景虚化等功能。代表机型:Oppo R17 Pro(国内首台使用ToF技术手机)、华为P30 Pro。

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(22)

手机娱乐/教育:AR建模与体感游戏。代表机型:荣耀V20、OPPO R17 Pro,iPad Pro。

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(23)

汽车:

ToF相机主要应用在三个领域,一个是座舱内部的驾驶者疲劳监测、手势识别、人脸识别。第二个领域是固态激光雷达。ToF相机可以看做一种固态激光雷达。第三个领域是自动泊车领域。在汽车电子领域,以ADAS(Advanced Driver Assistant System,高级驾驶辅助系统)渗透率不断提高为代表的汽车智能化趋势也正加速演进,而作为激光雷达、智能摄像头等深度测距传感器领域最主流的方案,ToF市场也正持续受益。而汽车电子领域以ADAS渗透率不断提高为代表的汽车智能化趋势也正加速演进,作为激光雷达、智能摄像头等深度测距传感器领域最主流的方案,ToF市场正持续受益。根据 AutoLab的数据,2015年10月国内市场各种功能的ADAS的渗透率分别为:BSD 3.8%,AP 2.6%,FCW 2.6%,AEB 2.4%,SVC 2.3%,LDW 1.7%,ACC 1.3%, LKS 0.8%。全球整车市场ADAS的渗透率也低于10%,欧美地区市场接近8%,新兴 国家市场则仅为2%,仍有很大提升空间。据PR Newswire咨询公司测算,未来全球 ADAS渗透率将大幅提升,预计2022年全球新车ADAS搭载率将达到50%。

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(24)

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(25)

人脸识别/安保系统:

ToF技术将深度信息添加到2D图像中可以提取有用的信息,并且可以大大提高场景信息的质量。例如,二维传感无法区分真人和照片。提取深度信息可以更好地对人进行分类,跟踪人的面部和身体特征。ToF深度传感可以为安全认证提供高质量、可靠的人脸识别。分辨率和深度精度越高,分类算法越好。这可以用于简单的功能,例如允许访问移动设备/我们的个人家庭空间,或者用于高端使用情况,例如商业敏感区域的安全门访问控制。随着深度传感技术获得更高的分辨率和深度精度,人们的分类和跟踪将变得更加容易。人工智能的使用将使分类具有非常高的可信度,从而创造新的和新兴的应用领域。一个用例用于商业自动开门功能,特别是在阳光强烈的区域。确保一扇门只为一个人而不是其他任何东西打开,可以提高建筑管理的效率,以及安保和安全。

工业领域/物流:

ToF也可为机器人带来视觉效应。ToF深度传感的一个重要应用将是在工业、制造和施工过程中。通过生产过程实时准确地标注和分类对象的能力在工业领域也是非常重要的。精确的深度传感可以确定仓库的空间利用率。从生产线上下来的产品需要快速地确定尺寸以便转移。高分辨率深度传感将允许实时确定目标物体的边缘和线条,并进行快速的体积计算。神经网络方法已经被用于这种体积测定。工厂内产品的自主转移继续增加。像自动导向车(Autonomous guided vehicles,AGV)这样的自主车辆需要在工厂和仓库中更快地自我导航。高精度的深度传感技术将允许传感器实时绘制环境地图,在地图中定位自己,然后绘制最有效的导航路径。这种技术在工厂自动化中的应用面临的最大挑战之一是可能在同一区域工作的其他传感器的干扰。在人类与机器人的合作问题上,安全性永远是要考虑的首要问题,尤其是当机器人身处较为拥挤的工作环境中,它们必须能辨认人与机械以及机械的动作,并作出迅速的反应以避免受伤。因此,自动化工厂中的各类机器人都需要自主避障,如果以激光雷达来解决,成本则需要增加数万元,用双摄像头方案又需要大量的运算和双摄像头精准位置的调教,而ToF则成为解决上述难题的极具性价比的最佳选择。ToF技术也可用在日用的扫地机器人身上,机器人可依靠ToF镜头来给屋子实现智能扫描并精准建图。

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(26)

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(27)

ToF市场前景

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(28)

根据Yole数据,2019年全球3D成像和传感市场规模为50.48亿美元,其中,移动&消费应用占比40%,是最大的应用领域,工业、国防&航空航天和汽车应用占比分别为21%、17%、17%;Yole预测2025年全球3D成像和传感市场规模达150.79亿美元,2019-2025年CAGR超过20%,移动&消费应用继续为最大的应用领域,2025年市场规模为81.65亿美元,占比为54%,汽车应用上升为第二大应用领域,2025年市场规模为36.73亿美元,占比为24%。其中ToF传感器未来几年在终端将迎来高速增长。据IHS Markit报告,2018年全球ToF sensor传感器市场规模为 3.7亿美元,占整个3D感测市场的33%,2019年其市场规模同比增长 35%,市场份额达到5亿美金,占比提高至40%左右。基于ToF方案的多方面优势,尤其是成本优势,预计 2022 年,TOF sensor市场规模有望达到7亿美金。这一市场的增长主要是由汽车行业对ToF传感器的需求不断增加、智能手机中3D相机的采用不断增加以及此类智能手机的使用不断增加所推动的。

3D机器视觉系统在各个行业的应用不断增加,工业4.0的部署不断增加,为ToF传感器市场的增长提供了重大机遇。从具体应用领域来看,未来三年ToF主要的应用市场还是来自智能手机市场,预计2020年对应市场规模超过6亿美元,占整个市场的90%以上其次是平板电脑市场、建筑物检测、智能家居、汽车中控、无人机等应用领域。未来ToF技术将不断渗透到中高端甚至中端机型的功能中去。如果中高端机型被普及ToF技术,那么需求体量将会大幅上升。而随着手机每天使用的3D应用程序不断增加,ToF将来的需求量势必会更大。

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(29)

不过,目前虽然市场上已推出过众多手机带有ToF功能,如利用美图功能可优化手机拍照的景深效果、“三维建模”功能可实现体型测量等,但这些功能对于用户来说大多只停留在尝试的阶段,由于并不实用,长期来看难以拉动需求。但是伴随着今年以来疫情的影响,人们消费及生活方式加速向线上转变,ToF镜头主打的虚拟现实功能(AR)将在线上虚拟购物,虚拟游戏体验等方面起到良好的应用。日益增长的线上需求将会被进一步激发,未来会有更多内容厂商推动AR/VR的发展,加上国家对于5G的大力推广,AR/VR将在手机的应用发展得更加成熟。

在智能手机之外,ToF在3D成像技术方面仍有很大的潜力,随着体感交互、3D识别与感知、环境感知等技术与应用的发展,市场对3D视觉与识别技术的兴趣日益浓厚。在未来可能是sensor市场的一个驱动引擎,可以应用在自动驾驶、医疗检测和物体识别等多种新兴领域。未来几年,ToF技术将在终端迎来高速增长。随着ToF技术的不断成熟和应用场景的不断丰富,手机摄像头、手势交互UI(用户界面)、汽车电子ADAS、安防监控等多个领域,对ToF深度传感器的数量需求都将大幅增长。

本文涉及公司总目录

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(30)

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(31)

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(32)

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(33)

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(34)

资料参考

机器视觉系统原理及基础知识(机器视觉3D视觉传感技术)(35)

来源:溪林投资,资料参考来源:西南证券,电子发烧网,赛迪集成电路研究所,电子产品世界,半导体行业观察,东方财富证券研究所,广发证券,Markets and Markets

Miles Hansard, Seungkyu Lee, Ouk Choi, Radu Horaud. Time of Flight Cameras: Principles, Methods, and Applications. Springer, pp.95, 2012, SpringerBriefs in Computer Science, ISBN 978-1-4471-4658- 2. 10.1007/978-1-4471-4658-2 . hal-00725654

Piatti, D., Remondino, F., & Stoppa, D. (n.d.). State-of-the-Art of TOF Range-Imaging Sensors.

M.Attamimi,A.Mizutani,T.Nakamura,T.Nagai,K.Funakoshi,andM.Nakano.Real-time 3D visual sensor for robust object recognition. In IROS, pages 4560–4565, 2010.

,