一、3D深度相机助力智能人机交互进入新时代
在科技与需求的双轮驱动下，人机交互从鼠标、多点触控，发展到了今天的体感技术。每一次交互的变革，都会带来新的突破和体验。DOS系统+键盘形成一维人机交互；Windows+鼠标形成了PC二维人机交互；触摸屏和摄像头形成了智能手机二维人机交互；体感游戏机、手机3D成像技术实现三维人机交互。利用体感技术，人们可以直接使用肢体动作与手机、电脑等设备进行互动，无需使用鼠标、键盘、触控屏等任何控制设备，即可以达到自然舒适的用户体验。体感交互将取代鼠标、触屏，成为智能设备人机交互的未来方向。
3D深度相机指的是可以测量物体到相机距离（深度）的相机。这类相机不仅可以拍摄到场景的二维图像，而且能获取物体之间的位置关系，再经过进一步深化处理，还能完成三维建模等应用。
体感交互技术经历了三个阶段
但是传统的人机交互是在2D平面图像的基础上进行处理的，普通摄像头只能实现影像的记录和平面图像的采集，分析算法难度大，功能十分有限；而3D成像技术，利用光学摄像头和红外深度传感器确定人体空间位置。1）普通光学摄像头，实现人体的二维捕捉；2）红外深度传感器，通过发出或接收红外光来确定深度信息；二者结合即可获得人体的三维空间位置。
随着硬件端技术的不断进步，算法与软件层面的不断优化，3D深度视觉的精度和实用性得到大幅提升。基于3D视觉的手势/人脸识别将对现有的消费电子产品产生颠覆性的变化，在大型设备（如智能电脑、智能电视等）中得到了广泛应用（体育类游戏、虚拟乐器弹奏、3D雕塑、机器人控制等），掀起了体感技术的热潮。
二、深度3D相机具有立体视觉，迎来快速发展
苹果新iPadPro配备了大量增强现实类功能，真实感强烈：能即时完成放置虚拟物体，具有逼真的物体遮挡效果，可让虚拟物体在现实场景结构中前后穿插。动作捕捉和人物遮挡效果也经过优化，精准度更高。新款iPadPro还能实现身高测量、AR游戏、AR装修、丰富视频动画等。媒体报道，即将在今年9月发布的iPhone12系列手机也有望采用3DTOF技术。相比此前安卓手机厂商采用的3DiToF技术，苹果采用的3DdToF技术响应快、功耗低、功能完善。此外，当前只有较少的应用app支持ToF技术，苹果的采用有望加速ToF生态的建设，让ToF的渗透率快速提升。
oF深度相机主要包含以下几个组件：
3D深度相机成为下一阶段相机创新的重点方向之一。从2000年夏普首次将相机和手机相结合以后，手机相机的创新一直以惊人的速度在前进，主要可分为以下4个阶段：1）相机和手机相结合，手机具备照相功能，此后相机模组尺寸不断减小，像素不断提高；2）前置摄像头添加，像素不断提高，自拍功能不断完善；3）双摄和三摄突破单相机瓶颈，夜视暗拍、大光圈、潜望式、超广角功能不断提升相机性能；4）3D深度相机带来立体视觉，增加了脸部解锁、支付、测距等功能。苹果在2017年开创了前置3D深度相机的先例，各大手机厂商不断尝试后置3D相机的应用，苹果新款iPadPro正加速后置3D相机的推进。
2018年3D传感技术市场规模为37.43亿美元，预测2023年为186.14亿美元，CAGR为38%。其中增长最快的属于消费电子，主要归功于几大手机厂商的应用。消费电子领域，2018年市场规模为18.1亿美元，预计2023年为137.7亿美元，CAGR超过50%。
三、3DToF技术优势突出，后置前景广阔
深度3D传感技术根据工作原理可以分为三种：RGB双目、TOF和结构光。RGB双目技术算法要求高，并容易受光线影响，在较暗或者高度曝光的情况下效果都非常差，因此很少被采用。目前应用比较多的是TOF和结构光。
TOF传感技术对算法要求低、响应更快、支持更高帧率。结构光因为需要对编码的结构光进行解码，所以复杂度要比直接测距的TOF高一些。TOF不需要后续处理，因此可以避免延迟，同时对算法要求更低。另外，TOF方案可以达到非常高的帧率，支持上百fps。结构光方案帧率会低一些，典型的是30fps。如：MelexisMLX75023的TOF传感器支持135fps。汽车辅助驾驶要求快速响应、远距离探测，3DTOF传感技术具备以上特点，因而也更适合汽车辅助驾驶，例如Melexis的MLX75027采用3DTOF技术对车内人员和物品进行监控，并具有手势检测功能。TOF结构简单、模组尺寸更小，材料成本更低。在红外发射端，TOF基本不需要使用光学棱镜，而结构光需要形成特定的光学图案，因此需要添加DOE（衍射光栅）和lens（光学棱镜）。因此TOF的模组尺寸更小，材料成本也更低。结构光的BOM成本大约20美元，而ToF约为15美元，中低端ToF甚至在10美元以下,ToF更具成本优势。
TOF技术优势更明显
2017年苹果发布的iPhoneX采用结构光FaceID用于人脸识别，开启了3D深度相机在手机的应用先例，在随后的iPhoneXS和iPhone11系列手机中延续了这一设计，但是结构光技术占用较大屏幕正面区域，且应用场景较少，该项技术一直未获得其他厂商的采用。新款iPadPro的dToF发射的点光源密度远低于iPhone前置的结构光，也说明了两个技术的不同用途。ToF技术更适用于远距离识别场景，如：智能手机后置摄像头、VR/AR手势交互、汽车电子ADAS、安防监控以及新零售等等领域。未来随着技术的进一步成熟、生态逐步完善，TOF产业有望进一步提升。
3DToF技术在2018年就被VIVO、OPPO、荣耀的部分旗舰机所采用，随后LG、华为、三星高端旗舰机接连加入。
TOF相机应用于少数安卓旗舰机型
目前OPPO、荣耀、华为和三星的TOF深度传感器大都是索尼的IMX316芯片。IMX316传感器尺寸为1/6英寸，有效像素仅为4.32万。
军事和无人驾驶汽车上用的工业级激光雷达（LiDAR）也采用到了ToF技术，利用激光束来探测目标的位置、速度等特征量，结合了激光、全球定位系统GPS和惯性测量装置（InertialMeasurementUnit,IMU）三者的作用，进行逐点扫描来获取整个探测物体的深度信息。
而从全球领先的高性能模拟技术巨头ADI近日在台北举行的智慧物联应用方案巡展上的展示可窥，目前随着各大应用市场对ToF深度视觉技术需求的日益增长，外加越来越多的国内外半导体大厂们持续的“推波助澜”，ToF产业及应用市场有望开启新一轮的加速发展。以现阶段体量最大的智能手机与汽车电子两个领域来看，产品存量的持续扩大带来微创新模式的加速渗透，对深度摄像技术的强烈需求加之智能手机交互方式的不断变化正促进全球ToF市场快速扩张；而汽车电子领域以ADAS渗透率不断提高为代表的汽车智能化趋势也正加速演进，作为激光雷达、智能摄像头等深度测距传感器领域最主流的方案，ToF市场正持续受益。
四、苹果3DdToF加速ToF成熟
ToF与iToF技术对比
当前，ST和AMS的1DToF基本采用dToF技术，而安卓厂商的3DToF全部采用iToF技术。
2020年3月13日消息，2020年至少有一款iPhone会在背后安装三维深度摄像头，用以提升手机照片和视频效果，还能提供更好的增强现实（AR）效果。
去年发布的iPhone11Pro和iPhone11ProMax有三个摄像头，可以为拍摄场景的宽度提供更多选择，而三维相机系统将增加深度信息。现在，iPhone的主要深度效果是竖屏模式，可以有背景虚化效果。在增加了深度相机后，背景虚化效果会更加真实。在编辑模式下，可以调整照片中的不同图层，改变哪些图层聚焦哪些模糊。
据9to5Mac的BenjaminMayo报道，苹果公司目前正在为iOS14系统开发一款AR应用，用户可以将iPhone对准苹果商店和星巴克的商品，从而在手机屏幕上看到商品的更多信息，以AR叠层形式显现。
在苹果之前，已经有多家手机在后摄上用了三维视觉，比如三星GalaxyNote10+、GalaxyS20+和GalaxyS20Ultra。但苹果可能能会找到一些更新颖的方式来提升用户体验，并且更擅长包装营销。
手机作为观看AR的载体还是有很大限制，但这种情况可能不会持续太久。这是硅谷最不为人知的秘密之一，苹果正在研发一款AR耳机或眼镜，从长远来看，它可能会成为苹果公司主要的空间计算设备。
五、AR生态逐步完善，促进ToF共成长
AR是未来最重要的一大科技创新，全球科技巨头都积极参与，包括苹果、谷歌、微软、华为、亚马逊等。早在2012年，谷歌就曾发布拓展现实的GoogleGlass产品，微软在2015年发布了HoloLens全息头盔，但是由于硬件技术不成熟和生态不完善，AR市场一直不温不火。
科技巨头深度布局完善AR生态，有望打开AR消费级市场。从苹果的ARSDK（软件开发工具包）ARKit到安卓的ARSDKARCore，再到2019年华为推出的cyberverse数字平台，这些平台极大地降低了应用软件的开发难度，推动AR生态发展，带动应用场景的繁荣，从而打开AR的消费级市场。
苹果于2017年WWDC大会上首次发布了基于iOS版本的ARKit。初代ARKit可实现稳定快速的运动定位、平面和边界的估计、光照估计和尺度估计，并且支持各个开发平台或引擎。此后苹果在每年的WWDC大会上更新ARKit版本。在2018年的ARKit2版本中，增加了、环境纹理、图像跟踪和物体检测等功能，提升后的ARKit2可对真实场景中的2D图像和3D物体进行跟踪，渲染更逼真的增强现实场景。2019年发布的ARKit3增加了对人物遮挡、动作捕捉、多面部追踪、同时使用前后摄像头等功能的支持。
基于iOS的ARKit应该场景逐步丰富
3D视觉交互成为ARKit中重要的应用场景。在ARKit2中，苹果加入了对真实场景中的3D物体进行跟踪，在最新的ARKit3中，更是加入了实时捕捉人的动作、人物遮挡、多元化AR交互等功能。
TOF相机作为最优的3D交互输入端，能大幅提升AR体验感。3D输入能提供3维信息，减少AR的算法难度以及计算量，能显著提升AR体验的精准度和流畅度，另外功耗也会大大降低。具备TOF相机的iPadpro能提供更真实、流畅的AR游戏体验，甚至可以利用AR玩逼真的在线游戏。具备TOF相机的iPadpro能提供学习和工作上的便利，例如进行3D扫描和建模，可以让用户更直观的学习模型，配合其他软件，甚至可以做修改装饰为了促进AndroidAR生态的发展，谷歌在2017年推出了第一款ARSDK：ARCore。ARCore不需要额外的硬件支持，在现有的Android系统上就能实现AR功能；谷歌在2018年2月发布了ARCore1.0版本，使用运动跟踪、环境理解和光照估测三个主要技术来实现AR功能。仅在3个月后谷歌就发布了ARCore1.2，增加了Sceneform、AugmentedImages和CloudAnchors三大功能，并对某些iOS设备提供有限支持。谷歌在2019年2月也更新了ARCore版本至ARCore1.7，引入了AugmentedFaces（脸部增强）API，并发布了用于基本原理学习的ARCoreElements应用程序。
基于Android的ARCore应用场景逐步丰富，3D应用成为新亮点
3D应用场景成为新ARCore中重要的应用场景之一。ARCore1.2中AugmentedImages部分功能的实现就需要利用以3D方式对它们进行跟踪和移动。在ARCore1.7版本中3D应用场景更加富，此次更新加入了自拍AR滤镜和动画API：AugmentedFaces，以及优化的应用UX。AugmentedFaces支持前置镜头，它可生成一种高质量的3D人脸网格，支持468点追踪，开发者可以在网格上加入有趣的特效，如动画面具、眼镜、虚拟帽子，它还支持皮肤润色。开发者只需要操控网格上的坐标和特定区域的锚状点，就可以加入特效。华为也加入了AR生态的建设。2019华为发布了Cyberverse数字平台。该平台为AR实景地图服务平台，可使用手机进行厘米级定位,Cyberverse是开放平台，其中的AR部分是全面开放的，可以接入Google的ARCore和苹果的ARKit。目前Cyberverse已有开放接口，包括3DMap、数据信息接入等。
Cyberverse目前已有3D步行导航、虚拟楼宇信息、智慧园区IoT信息等应用场景，覆盖150个国家40种语言。Cyberverse可用于在景点、博物馆、智慧园区、机场高铁站等空间，2019年已经在国内5个著名景点进行开发者测试，到2020年年末，将在1000个地点提供服务。该平台也可作为导航汽车进行左右车道、一二三车道的转换的高精定位导航系统
ARKit和ARCore打破AR硬件和软件相持的困局后，AR的成长空间已被打开，未来将是一个硬件和内容相互推动升级的过程，可划分为三个阶段：
未来几年，ToF技术在在终端将迎来高速增长。2018年全球TOFsensor传感器市场规模为3.7亿美元，占整个3D感测市场的33%，2019年其市场规模同比增长35%，市场份额达到5亿美金，占比提高至40%左右。基于TOF方案的多方面优势，尤其是成本优势，预计2022年，TOFsensor市场规模有望达到15亿美金。
随着TOF技术的不断成熟和应用场景的不断丰富，手机摄像头、VR/AR手势交互、汽车电子ADAS、
安防监控及新零售等多个领域都将对TOF深度传感器的数量需求增长。不难看出，在各类新型智能终端市场的持续催动下，计算机视觉技术如今已然进入了大爆发时代也越来越地明显感受到了全球各大应用市场对诸如ToF这类的3D深度视觉技术日益旺盛的需求，不过对于技术的全面落地需解决的基础性问题仍很多。未来如何通过技术手段去真正实现成本、功耗、体积、速度、寿命、稳定性以及抗干扰能力等多方面的平衡，达到一个相对目前来说更为优化的水平，进而实现ToF视觉传感技术实际应用中可靠性的成倍提升，是诸如ADI之类的技术方案提供商应当考虑的重点，也是ToF技术普及乃至整个市场健康发展的前提。
智研咨询推崇信息资源共享，欢迎各大媒体和行研机构转载引用。但请遵守如下规则：