3D视觉传感技术：时间飞行法 (ToF) 技术分析

具体内容概要

一、3D视觉方案技术介绍

双目立体视觉法

结构光法

二、时间飞行法（ToF）

ToF原理介绍

飞行测量技术（D-ToF）

飞行测量技术（I-ToF）

ToF产业链介绍

ToF镜头模组组成核心硬件：

发射端：

（1）发光单元

（2）准直镜头

（3）DOE扩散片（Diffuser）

接收端：

（1）窄带滤光片和光学镜头

（2）红外CIS（图像传感器）

三、ToF技术应用场景

手机

汽车

人脸识别/安保系统

工业领域/物流

四、ToF市场前景

3D视觉方案技术介绍

3D视觉传感技术是一项重要的科学突破。它是一种深度传感技术，增强了摄像机进行面部和目标识别的能力。相对于2D技术，3D技术除了显示对象的X和Y值之外，还可以提供记录场景或对象的深度值，在感知和处理日常活动的方式上带来了独特的进步，制造商争先恐后地将这些新的进步融入到手机等消费产品中。该技术利用光学技术模拟人类视觉系统，促进了增强现实、人工智能和物联网的出现和应用。

目前市面上主流的3D光学视觉方案有三种：双目立体视觉法（Stereo Vision，在下文称双目法），结构光法（Structured Light，在下文称结构光）以及飞行时间法(Time of Flight, ToF在下文称ToF）。此文主要探讨的是ToF，同时会对其他两种主流方案进行技术比较。目前较为成熟的方案是结构光和ToF。其中结构光最为成熟，已经在工业3D视觉中大规模应用。ToF的概念是扎根于深度传感器的。这里的深度传感器是指采用像素阵列来获取整个场景的高分辨率深度分布。对于深度传感器来说，一般用于测量深度的方案分别有结构光、双目和ToF三种，其中结构光（iPhone目前的Face ID就是使用了基于结构光的深度传感器）和双目技术都是基于几何原理做间接深度估计，而ToF则是测量发射光和反射光之间的飞行时间并根据光速来直接估计深度。

1、双目立体视觉法（Stereo Vision）

双目立体视觉法的技术原理是通过从两个视点观察同一物体，从而来获得同一物体在不同视角下的图像。通过三角测量原理来计算图像像素间的位置偏差（视差）来获取物体的三维图像，比如把一只手指放在鼻尖前方，左右眼看到手指会有一个错位的效果，这个位置差被称为视差。相机所要拍摄的物体离相机越近，视差越大，离相机越远，视差就越小。由此可以得出，当两个相机的位置等条件已知时，就可以通过计算相似三角形的原理来得出从物体到相机的距离。过程跟人类眼睛的工作原理相似。在双目立体视觉系统的硬件结构中，通常采用两个摄像机作为视觉信号的采集设备，通过双输入通道图像采集卡与计算机连接，把摄像机采集到的模拟信号经过采样、滤波、强化、模数转换，最终向计算机提供图像数据。

双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Lawrence Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系进行描述，把过去的简单二维图像分析推广到了复杂的三维场景，标志着立体视觉技术的诞生。随着研究的深入，研究的范围从边缘、角点等特征的提取，线条、平面、曲面等几何要素的分析，直到对图像明暗、纹理、运动和成像几何等进行分析，并建立起各种数据结构和推理规则。特别是在1982年，David Marr首次将图像处理、心理物理学、神经生理学和临床精神病学的研究成果从信息处理的角度进行概括，创立了视觉计算理论框架。这一基本理论对立体视觉技术的发展产生了极大的推动作用，在这一领域已形成了从图像的获取到最终的三维场景可视表面重构的完整体系，使得立体视觉已成为计算机视觉中一个非常重要的分支。

一个完整的双目立体视觉系统通常可分为数字图像采集、相机标定、图像预处理与特征提取、图像校正、立体匹配、三维重建六大部分。双目立体成像法具有高3D成像分辨率、高精度、高抗强光干扰等优势，而且可以保持低成本。但是需要通过大量的CPU/ASIC演算取得它的深度和幅度信息其算法极为复杂较难实现，同时该技术易受环境因素干扰，对环境光照强度比较敏感，且比较依赖图像本身的特征，因而拍摄暗光场景时表现差。双目立体视觉法还有另一个限制，它过度的依赖于被拍摄物体的表面纹理，如果被摄物体表面没有明显的纹理，使用双目立体视觉法会无法匹配与之对应的像素的问题。

飞行时间法介绍

ToF是Time of Flight的缩写，直译为飞行时间，通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测这些发射和接收光脉冲的飞行（往返）时间来得到目标物距离。传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。

ToF最早的商用可追溯到 2006 年 7 月，衍生自CSEM(瑞士电子与微技术中心)的 MESA Imaging公司成立，并推出商用ToF摄像头产品系列 SwissRanger，最开始应用于汽车的被动安全检测。ToF技术首次应用到智能手机是在 2016 年，Google 和联想合作推出了全球首个搭载ToF模组的智能手机 Phab2 Pro，采用的是pmd/英飞凌的ToF方案，该手机可实现一些如三维测量等简易的 AR 应用，但并没有引起市场较大的反响。2018年8月6日,OPPO 在北京召开了ToF技术沟通会, 并在8月23日发布了其首部搭载 ToF 摄像头的智能手机 OPPO R17 Pro,采用了 Sony 的解决方案。随后在 2018 年 12 月，vivo 发布了其首部搭载 ToF 摄像头的智能手机 vivo NEX 双屏版，采用了松下的解决方案; 华为发布了其首部搭载 ToF 摄像头模组的智能手机荣耀 V20,采用的是 OPPO R17 Pro 相同的 ToF方案。进入 2019 年后，安卓厂商纷纷加入 ToF 镜头的阵营。此后，有越来越多的手机厂商在手机上搭配ToF镜头。

典型ToF测量设置描绘在图中,它包含几个构建块:(a)脉冲/调制光源（在ToF中一般使用VCSEL，请见下文解释）(b)光学扩散片将光扩散传播出去,接着当光从物体上反射回来时，用(c)一组透镜收集从物体上折射回来的光。接着经过一个滤光片将折射回来的光收集起来并且适当地调整光源的波长，接着通过改善背景噪声抑制令光波可被芯片所识别。最后,测量系统的核心是由固态量程图像传感器(d)，由一组光探测器（像素）组成，能够直接或间接地测量光脉冲从光源到目标并返回传感器所需的飞行时间。该系统还需要一个合适的传感器接口，为传感器提供电源、所需的偏置电压/电流信号、数字控制相位，并从传感器读取数据流，这通常需要进一步的小处理以获得3D体积数据。最后，传感器接口负责与外部（到PC或处理单元）的通信。

其中

飞行时间测量技术（I-ToF）

D-ToF的另一种解决方案是所谓的间接ToF（Indirect ToF，I-ToF，下文称为I-ToF），而I-ToF的原理则要复杂一些。在I-ToF中，发射的并非一个光脉冲，而是调制过的光。接收到的反射调制光和发射的调制光之间存在一个相位差，通过检测该相位差就能测量出飞行时间，从而估计出距离。其中往返行程时间是从光强度的时间选通测量中间接外推的。在这种情况下，不需要精确的秒表，而是需要时间选通光子计数器或电荷积分器，它们可以在像素级实现，只需较少的计算工作和硅面积。I-ToF是基于ToF相机的电子和照片混合设备的自然解决方案。

VCSEL 是 3D Sensing 中重要的部件之一，不仅体现在其功能在体现在其价值量之中。随着 3D Sensing 在手机中进一步渗透，VCSEL 的市场规模将随之扩大。ToF不仅可以在手机中使用，还可以在光通讯、激光雷达等多个领域中使用，市场空间巨大。据市场研究机构 Yole 预测，到 2023 年，整个 VCSEL 市场将达到 35 亿美元，年复合增长率达到 48%。VCSEL 领域具有市场大、增长快、应用广等特点，未来对 VCSEL 的关注度将会日渐提升。从图中可看出未来在VCSEL赛道，主要集中的领域是消费电子、工业领域以及通信。VCSEL 是化合物半导体激光器，因此对应化合物半导体产业链，包括晶圆、外延片(EPI)、IC 设计、晶圆代工和封测等环节。

发射端：2）准直镜头：

利用光的折射原理，将波瓣较宽的衍射图案校准汇聚为窄波瓣的近似平行光。采用准直镜头对 VCSEL 出射光束进行准直、形成散斑等整形处理。WLO（Wafer-level Optics，在下文称为WLO）晶圆级光学器件，是指晶圆级镜头制造技术和工艺。与传统光学器件的加工技术不同，WLO工艺在整片玻璃晶圆上，用半导体工艺批量复制加工镜头，多个镜头晶圆压合在一起，然后切割成单颗镜头，具有尺寸小、高度低、一致性好等特点。

发射端：3）DOE扩散片：

DOE衍射光学元件（Diffractive Optical Elements，在下文称为DOE）在3D摄像头结构光方案中的作用就是利用光的衍射原理，将激光器的点光源转换为散斑图案（pattern）。首先根据特定衍射图像的光学需求，设计并制作出三维母模，然后根据母模再制作出DOE光栅，光栅表面具有三维的微结构图案，尺寸都在微米级别。激光器发射的线性激光通过DOE的时候发生衍射，衍射光的角度和数量是受DOE上pattern的控制，衍射出来的光斑具备lighting code信息。DOE主要是用于结构光成像技术的摄像头中，DOE的制造成本相对较高。

在ToF的发射成像技术中主要运用的是扩散板（在下文称为Diffuser），主要是为显示器提供一个均匀的面光源，ToF投射器主要包括VCSEL + Diffuser，而ToF的VCSEL并不像结构光那样对编码图案有一定要求，只是最常规的规则排列，器件制作上更为简单，装配精度要求也更低。Diffuser是DOE的一种，也属于波束整形器，用于对输入光束进行均一化，通过使较大折射角处具有更大屈光度，使得较窄的光束扩展到更宽的角度范围内，并具备均匀的照明场。TOF 中的 Diffuser 的设计制作难度，比 3D 结构光点阵投影仪中的 DOE 要简单很多。

根据光大证券测算，考虑到疫情影响预计2020年全球智能机出货量有所下降，滞后的 5G 需求有望在2021年释放，预计 20~21 年全球智能机出货量分别为 12.6/15.0 亿部，其中 iphone 出货量 1.7/2.1 亿部，安卓机 10.9/12.9 亿部。假设 20~21 年前置结构光在 iphone 的渗透率分别为92%/95%，在安卓的渗透2%/5%，推算结构光摄像头出货量 1.8/2.7 亿颗。假设 20~21 年后置 TOF 在 iphone 的渗透率分别为 25%/50%，在安卓的渗透率 7%/15%，加上 ipad 出货量，推算后置 TOF 摄像头出货量 2.7/4.4 亿颗。假定DOE/Diffuser单价1美元测算，对应DOE 20~21年市场规模1.8/2.7亿美元;Diffuser市场规模 2.7/4.4 亿美元;窄带滤光片按 20~21 年单价 1/0.75 美元测算，对应市场规模 9/10.5 亿美元。

接收端：1）窄带滤光片和光学镜头：

ToF模组依靠窄带滤光片和光学镜头来收集反射回的光线。滤光片只允许对应波长的红外线通过，抑制其他光线，并降低噪声。近红外识别系统中所用到的窄带滤光片及超薄高性能镀膜也是基于结构光及ToF的3D摄像头技术关键。3D摄像头在接收反射光时要求只有特定波长的光线能够穿过镜头，拦截频率带之外的光线，即隔离干扰光、通过信号光凸显有用信息，因此需要滤光片在接收端过滤掉非工作波段的光波。

在窄带滤光片赛道，难度和价值量都高于传统摄像头所用的滤光片，目前仅有 VIAVI 和水晶光电的技术较为成熟，这两家也是苹果iPhone X的窄带滤光片供应商。目前全球仅水晶光电和唯亚威(Viavi)两家企业具备大批量供货的能力。

TOF技术应用场景

ToF技术应用场景

ToF技术具有丰富的应用场景，在手机、汽车、工业、人脸识别、物流、安抚监控、健康，游戏、娱乐、电影特效、3D打印和机器人等诸多领域都有应用。以下将举例ToF在不同领域中的实际应用。

手机摄影：在手机摄影方面，ToF技术让镜头实现对焦更快、精准抠像、探测景深、背景虚化等功能。代表机型：Oppo R17 Pro（国内首台使用ToF技术手机）、华为P30 Pro。

汽车：

ToF相机主要应用在三个领域，一个是座舱内部的驾驶者疲劳监测、手势识别、人脸识别。第二个领域是固态激光雷达。ToF相机可以看做一种固态激光雷达。第三个领域是自动泊车领域。在汽车电子领域，以ADAS（Advanced Driver Assistant System，高级驾驶辅助系统）渗透率不断提高为代表的汽车智能化趋势也正加速演进，而作为激光雷达、智能摄像头等深度测距传感器领域最主流的方案，ToF市场也正持续受益。而汽车电子领域以ADAS渗透率不断提高为代表的汽车智能化趋势也正加速演进，作为激光雷达、智能摄像头等深度测距传感器领域最主流的方案，ToF市场正持续受益。根据 AutoLab的数据，2015年10月国内市场各种功能的ADAS的渗透率分别为：BSD 3.8%，AP 2.6%，FCW 2.6%，AEB 2.4%，SVC 2.3%，LDW 1.7%，ACC 1.3%， LKS 0.8%。全球整车市场ADAS的渗透率也低于10%，欧美地区市场接近8%，新兴国家市场则仅为2%，仍有很大提升空间。据PR Newswire咨询公司测算，未来全球 ADAS渗透率将大幅提升，预计2022年全球新车ADAS搭载率将达到50%。

人脸识别/安保系统：

ToF技术将深度信息添加到2D图像中可以提取有用的信息，并且可以大大提高场景信息的质量。例如，二维传感无法区分真人和照片。提取深度信息可以更好地对人进行分类，跟踪人的面部和身体特征。ToF深度传感可以为安全认证提供高质量、可靠的人脸识别。分辨率和深度精度越高，分类算法越好。这可以用于简单的功能，例如允许访问移动设备/我们的个人家庭空间，或者用于高端使用情况，例如商业敏感区域的安全门访问控制。随着深度传感技术获得更高的分辨率和深度精度，人们的分类和跟踪将变得更加容易。人工智能的使用将使分类具有非常高的可信度，从而创造新的和新兴的应用领域。一个用例用于商业自动开门功能，特别是在阳光强烈的区域。确保一扇门只为一个人而不是其他任何东西打开，可以提高建筑管理的效率，以及安保和安全。

工业领域/物流：

ToF也可为机器人带来视觉效应。ToF深度传感的一个重要应用将是在工业、制造和施工过程中。通过生产过程实时准确地标注和分类对象的能力在工业领域也是非常重要的。精确的深度传感可以确定仓库的空间利用率。从生产线上下来的产品需要快速地确定尺寸以便转移。高分辨率深度传感将允许实时确定目标物体的边缘和线条，并进行快速的体积计算。神经网络方法已经被用于这种体积测定。工厂内产品的自主转移继续增加。像自动导向车（Autonomous guided vehicles，AGV）这样的自主车辆需要在工厂和仓库中更快地自我导航。高精度的深度传感技术将允许传感器实时绘制环境地图，在地图中定位自己，然后绘制最有效的导航路径。这种技术在工厂自动化中的应用面临的最大挑战之一是可能在同一区域工作的其他传感器的干扰。在人类与机器人的合作问题上，安全性永远是要考虑的首要问题，尤其是当机器人身处较为拥挤的工作环境中，它们必须能辨认人与机械以及机械的动作，并作出迅速的反应以避免受伤。因此，自动化工厂中的各类机器人都需要自主避障，如果以激光雷达来解决，成本则需要增加数万元，用双摄像头方案又需要大量的运算和双摄像头精准位置的调教，而ToF则成为解决上述难题的极具性价比的最佳选择。ToF技术也可用在日用的扫地机器人身上，机器人可依靠ToF镜头来给屋子实现智能扫描并精准建图。

TOF市场前景

根据Yole数据，2019年全球3D成像和传感市场规模为50.48亿美元，其中，移动&消费应用占比40%，是最大的应用领域，工业、国防&航空航天和汽车应用占比分别为21%、17%、17%；Yole预测2025年全球3D成像和传感市场规模达150.79亿美元，2019-2025年CAGR超过20%，移动&消费应用继续为最大的应用领域，2025年市场规模为81.65亿美元，占比为54%，汽车应用上升为第二大应用领域，2025年市场规模为36.73亿美元，占比为24%。其中ToF传感器未来几年在终端将迎来高速增长。据IHS Markit报告，2018年全球ToF sensor传感器市场规模为 3.7亿美元，占整个3D感测市场的33%，2019年其市场规模同比增长 35%，市场份额达到5亿美金，占比提高至40%左右。基于ToF方案的多方面优势，尤其是成本优势，预计 2022 年，TOF sensor市场规模有望达到7亿美金。这一市场的增长主要是由汽车行业对ToF传感器的需求不断增加、智能手机中3D相机的采用不断增加以及此类智能手机的使用不断增加所推动的。

3D机器视觉系统在各个行业的应用不断增加，工业4.0的部署不断增加，为ToF传感器市场的增长提供了重大机遇。从具体应用领域来看，未来三年ToF主要的应用市场还是来自智能手机市场，预计2020年对应市场规模超过6亿美元，占整个市场的90%以上其次是平板电脑市场、建筑物检测、智能家居、汽车中控、无人机等应用领域。未来ToF技术将不断渗透到中高端甚至中端机型的功能中去。如果中高端机型被普及ToF技术，那么需求体量将会大幅上升。而随着手机每天使用的3D应用程序不断增加，ToF将来的需求量势必会更大。