技术前沿：3D视觉感知

未来各种智能硬件（终端）都将成为类“机器人”，拥有语音感知交互能力（“嘴巴”和“耳朵”）、视觉感知交互能力（“眼睛”），以及各种AI决策分析能力（“大脑”）。人类约70%的信息是通过人眼感知获取的，未来的机器人也将和人类一样，大量信息都将通过视觉感知获取。现实物理世界是三维的，发展多年的2D成像技术难以完整重现各类三维场景，3D视觉感知技术则可以让终端获取更多精准的三维信息，助力各类终端更好地看懂三维世界，3D视觉感知是人工智能和物联网时代的关键基础共性技术。

3D视觉感知的六大技术路线，目前均有一定的市场应用，但是结构光，ToF和Lidar技术基于其自身的技术特点，更能满足消费电子和汽车自动驾驶的场景应用需求，具有更大的市场应用空间。这三类技术目前应用占比已高于其他3D视觉感知技术，未来随着消费电子和汽车自动驾驶市场的增长，结构光、ToF和Lidar技术的市场占比会进一步提升。

3D视觉感知的六大技术路线，目前均有一定的市场应用，但是结构光，ToF和Lidar技术基于其自身的技术特点，更能满足消费电子和汽车自动驾驶的场景应用需求，具有更大的市场应用空间。这三类技术目前应用占比已高于其他3D视觉感知技术，未来随着消费电子和汽车自动驾驶市场的增长，结构光、ToF和Lidar技术的市场占比会进一步提升。

产业链上游主要为提供各类3D视觉传感器硬件的供应商或生产商。3D视觉传感器主要由深度引擎芯片、光学成像模组、激光投影模组以及其他电子器件、结构件等构成。其中光学成像模组的核心部件包括感光芯片、成像镜头、滤光片等核心元器件；激光投影模组包括激光发射器、衍射光学元件、投影镜头等核心元器件。感光芯片供应商有索尼、三星、韦尔股份、思特威等；滤光片供应商有Viavi、五方光电等，光学镜头供应商有大立光、玉晶光电、新旭光学等；激光发射器供应商有Lumentum、菲尼萨（Finisar）、艾迈斯半导体（AMS）等，衍射光学元件供应商有CDA、AMS、驭光科技等。此外上游环节中传感器模组生产商主要基于3D视觉传感器的设计进行生产设备的定制，产线设计与优化，实现规模化生产。

产业链中游为3D视觉感知方案商。主要基于深度引擎算法结合应用进行各类3D视觉传感器的方案设计，其中部分3D视觉感知方案商已具备完整的3D视觉感知方案的能力，涉及三合一模组/系统设计、光学成像模组、激光投影模组的设计与生产，3D视觉感知系统和组件的标定、对齐、补偿、校准，核心元器件如激光器、衍射光学元件、滤光片等定制设计，深度引擎芯片的设计，以及配套固件、开发工具包SDK等软件的研发，代表企业如苹果、微软、英特尔、华为、奥比中光等。

产业链下游主要为根据终端的各类应用场景开发各类应用算法的应用算法方案。目前已具备一定商业应用的算法包括：人脸识别、活体检测算法，三维测量、三维重建算法，图像分割、图像增强优化算法，VSLAM算法，骨架、姿态识别、行为分析算法，沉浸式AR、虚拟现实算法等。随着3D视觉感知应用场景的丰富，会有更多的应用算法商业化。

产业应用终端主要是基于3D视觉感知技术的各类应用场景客户，包括生物识别（刷脸支付、智能门锁门禁、身份识别等）、AIoT（3D空间扫描、服务型机器人、AR/VR设备等）消费电子（智能手机、平板设备、电视等）、工业（工业扫描、工业机器人等）、以及汽车（车载激光雷达、车载视觉传感器等）等众多客户，如魅族、OPPO、蚂蚁集团、惠普、优必选、凯迪仕等；此外，应用终端还包括家庭、零售、学校、医院、药店、政府、企业、工厂、公共运输领域（包括不限于地铁、公交、高铁、飞机等）等。3D视觉感知行业的整体发展与上游核心元器件的升级迭代紧密相关。

为促使3D视觉传感器实现快速迭代、达到较好性能并满足特定行业需求，产业链上游元器件的定制化研发是必经之路。包括对核心感光芯片的功能、架构、像素、材料掺杂等重新设计研发，对激光投影模组中的激光阵列芯片、衍射光学元件进行定制化设计研发，配套研发出一系列深度引擎算法及深度引擎芯片等。

然而，多数3D视觉感知技术如iToF、dToF等依然处于起步发展阶段，整体行业也处于发展前期，因此产业链上游企业难以提供专用于3D视觉感知技术的核心元器件，早期在产品开发过程中，主要选自已经成熟应用于其他行业的元器件，比如光学镜头、感光芯片、滤光片均来自于2D成像行业，激光发射器则来自于光通信、激光加工行业。由于这些元器件的非专用化，导致3D视觉感知行业的发展遭受瓶颈。

产业链中游3D视觉感知方案商由于直接进行3D视觉感知产品研发，同时对接上、下游企业，因此对3D视觉感知技术拥有最为全面的系统级理解能力，是整个产业链中最为重要的环节。3D视觉感知方案商需要深入理解客户的需求，并整合上游产业链资源以开发出相应的产品，因此3D视觉感知行业产业链的发展具有其独特的特点，即依托于中游企业，带动上游企业研发并提供定制化的元器件，下游应用算法方案商算法迭代优化，共同促进客户向3D视觉智能化升级。如年苹果同上游器件企业定制开发了用于手机前置结构光的一系列核心器件，包括VCSEL激光器、DOE、滤光片等；年苹果同上游企业索尼合作研发了用于激光雷达的dToF感光芯片。奥比中光于年定制开发了公司第一代用于结构光3D视觉传感器的深度引擎芯片MX，并于年、年推出了第二、第三代深度引擎芯片MX、MX，公司的新一代深度引擎芯片MX也已处于量产流片中；年奥比中光同上游企业定制开发了用于手机前置结构光的一系列核心器件，包括VCSEL阵列芯片、DOE、滤光片等。通过对上游核心元器件的定制，提高了3D视觉传感器对于下游应用场景适用性，提升了用户体验，促进了各类客户向3D视觉感知智能化升级。

3D视觉感知技术与2D成像技术的区别

在过去的数十年中，2D成像技术有了长足的发展，分辨率从几十万像素发展到现在的上亿像素，色彩还原更真实，逆光环境下也能通过HDR（高动态光照渲染）技术提升图像质量。然而，2D图像仅能够提供纹理（色彩）信息，无法提供实现更精准识别、追踪等功能所需的空间形貌、几何尺寸、位姿等信息。3D视觉感知技术充分弥补了2D成像技术的以上不足，实现更复杂、更智能的功能。

以下用几个简单的例子来展示2D成像和3D视觉的区别。对于人体、物体、空间环境来说，2D成像仅能记录视场范围内的纹理（色彩）信息，至于人的高度、鞋子的长度、客厅的深度等信息，2D成像均不能准确提供，也难以得到人、鞋子、客厅的精准3D模型。而基于3D视觉传感器采集的信息，不但有纹理（色彩）信息，还增加深度信息，也就是视场内的空间几何尺寸信息。这样围绕着人体、物体、空间扫描一圈，就能得到点云图和精准的“1:1”还原的3D模型。而有了这些信息作为输入，应用场景会大大增多，性能也会大幅提升。

在应用上，3D视觉感知技术相比2D成像技术而言也更加广泛。尽管3D视觉感知技术大规模产业化不久，但已经在越来越多的场景中得到应用，赋能各行各业从2D成像向3D视觉感知升级。在消费电子领域，通过在智能手机、平板设备、电视等智能终端设备上搭载3D视觉传感器可以使其具备3D人脸识别解锁、沉浸式交互、体感交互等能力，从而带来更安全、更好的用户体验；在生物识别领域，通过在线下支付终端、智能门锁/门禁等设备上搭载3D视觉传感器可以实现更安全、更精准的3D刷脸支付和解锁；在AIoT领域，3D视觉传感器可以被搭载在3D空间扫描设备、服务型机器人、AR/VR设备等终端上以实现传统2D相机无法实现的功能，例如三维重建、避障导航等；在工业三维测量领域，3D视觉感知技术可以被用来实现微米级的工业扫描、工业检测等功能。未来，3D视觉感知技术将不断探索下游应用，落地到自动驾驶汽车、工业机器人、医疗等更丰富的应用领域中。

不同应用领域或场景对3D视觉的测量范围、测量精度、尺寸和功耗等性能要求均不同。不同领域或场景对探测距离的要求差别巨大，针对各个场景应用的具体产品包括结构光、iToF、双目、dToF、Lidar、工业三维测量技术等。

3D视觉传感器是由深度引擎芯片、深度引擎算法、通用或专用感光芯片、专用光学系统、驱动及固件等组成的精密光学测量系统，可以采集并输出“人体、物体和空间”的三维矢量信息。以奥比中光的Astra系列为例，产品内部构造特点如下：

Astra系列3D视觉传感器是主要由激光投影模组、光学成像模组、深度引擎芯片以及其他电子器件、结构件等组成的系统级产品。

激光投影模组由激光发射器、透镜、衍射光学元件等光学元器件构成，整体结构通过特殊散热以及高度集成化设计使得具备小体积、高稳定性、高性能特点；此外通过对激光发射器、衍射光学元件的综合光学优化使得衍射光束功率分布均匀、零级强度弱化，确保发射端可以向三维空间投射出对人眼安全且高对比度的激光散斑，以对整个三维空间进行编码。

光学成像模组包括感光芯片、定制滤光片以及成像透镜等主要器件，通过设计与发射端光源波长一致的窄带滤光片可以大幅降低环境光影响从而提升成像质量；感光芯片用于接收由三维空间物体反射回的空间编码信息，并输入到深度引擎芯片进行计算。

深度引擎芯片内部固化了深度引擎算法，可以在接收到感光芯片的空间编码信息后进行实时的深度解算以输出3D数据，与传统的通用处理器调用算法进行深度计算相比，深度引擎芯片具备更快的计算效率以及更精确的计算能力，是实现3D视觉传感器由实验室走向量产、产品化的核心。

3D视觉传感器产品的生产环节主要包括激光投影模组组装、RGB成像模组组装、IR成像模组组装、PCBA加工、成品组装及测试等环节。

3D视觉传感器是精密光学测量系统，组装调试时对发射端与接收端的光轴要求极其严格，光轴偏差将会引起产品计算误差导致精度降低。3D视觉传感器在出厂后实际使用过程中，易受到温度变化、外部受力等原因导致变形，变形将直接影响其参数导致测量精度下降或者无法测量，影响用户的使用体验。自校准与补偿技术，通过建立变形误差模型，并在量产环节将相关算法模块写入到产品中，使得产品在出厂后使用过程中当发生变形时具备自动校准与补偿功能，确保产品的精度和稳定性。

产品的工艺流程图如下：

行业发展情况

3D视觉感知技术经历了从工业级向消费级拓展的过程，核心技术的不断突破和迭代，让大规模产业化应用成为可能。经过近十余年的起步、发展，3D视觉感知行业即将迎来快速增长时期，生物识别、AIoT、消费电子、工业三维测量、汽车自动驾驶等是其主要应用领域。3D视觉感知产业链长，涵盖上游的元器件供应商或代工厂，中游的3D视觉感知方案商，以及下游的各类应用场景客户，在技术、资金、人才等多方面形成了较高的行业门槛和壁垒。

1、3D视觉感知行业概况

（1）行业发展历程

3D视觉感知技术最早应用于工业领域，主要用于工业设备与零部件的高精度三维测量以及物体、材料的微小形变测量等，代表产品如德国高慕公司（GOM）的ATOS系列三维扫描仪和ARAMIS三维形变测量系统用于工业零部件三维尺寸和形变测量；瑞典海克斯康（HEXAGON）的PrimeScan扫描仪能够对工业部件实现高精度3D数字化作业；CorrelatedSolution,Inc.（美国CSI公司）的VIC-3D系列扫描仪可以通过数字图像相关法的原理，对物体表面的任意点进行位移、应变的测量。为了满足工业领域严苛的工作环境与高达微米级的测量精度，用于工业检测的3D视觉测量设备一般为多种技术融合使用，比如利用相位结构光以及高精度工业相机组成的工业三维测量仪器，致使设备成本高、体积大、功耗高，应用普及缓慢。

随着底层元器件、核心算法等技术的快速发展，3D视觉感知技术逐渐由工业领域向消费级领域推广。国内外一些公司先后推出了消费级3D视觉感知产品。

年，微软发布了第一代基于结构光技术的3D视觉感知产品Kinect，用于捕捉三维空间中人体的运动，实现通过体态的人机交互。英特尔于发布基于结构光技术的产品RealSense，用于实现手势识别、面部分析、背景移除及3D扫描等功能。谷歌于年公布了基于iToF技术的ProjectTango平板电脑和开发工具包，为用户提供运动跟踪、深度感知、区域建模等功能。奥比中光于年成功开发出3D深度引擎芯片MX，量产了基于结构光技术的消费级3D视觉传感器Astra，用于三维建模、骨架跟踪、手势识别等应用。经过国内外公司的努力推广，3D视觉感知行业正式起步发展。

早期所推出的3D视觉感知产品相对于工业级产品而言，虽然成本、体积、功耗都得到显著的降低，但其应用大都聚焦在三维建模、人机交互等领域。随着3D视觉感知技术的进一步迭代与优化，也逐渐向对成本、功耗、体积等要求更加严格的应用领域拓展，比如智能手机、移动支付、AIoT等。

年苹果发布iPhoneX，搭载了前置3D结构光视觉传感器，用于人脸解锁、人脸支付等功能，给用户带来更加便捷、安全的体验。苹果手机的引领使得3D视觉传感器在手机领域得以规模化应用，同时也标志着3D视觉感知技术在消费级领域开始规模化普及。基于3D视觉感知的相关应用如生物识别、三维重建、骨架跟踪、AR交互、数字孪生、自主定位导航等应用在消费电子、金融、零售、餐饮、汽车、AIoT等行业落地应用。3D视觉感知行业迎来初级发展时期。

年以来，刷脸支付逐步成为一种规模应用的支付新方式。除了刷脸支付，3D视觉传感器在智能门锁、3D看房等领域也在加速落地。此外，3D视觉感知技术路线也越来越丰富，华为、魅族等厂商的智能手机都相继搭载了基于iToF技术的后置3D视觉传感器，年苹果在其iPadPro及iPhone12Pro中搭建了全新的基于dToF技术的Lidar扫描仪；谷歌旗下Waymo公司搭载激光雷达及多传感器的无人驾驶汽车已进行多年测试，于年10月在凤凰城推出没有安全员的无人驾驶出租车服务。大疆创新的无人机如PhantomPro/Pro+、Mavic2Pro/Zoom等型号产品搭载了双目视觉系统，通过图像测距来感知障碍物。3D视觉感知行业即将迎来快速增长时期。

总的来说，3D视觉感知行业经过数十年的发展，由早期的工业级成功向消费级拓展，且应用领域仍在不断拓宽，行业经历了起步、初级发展时期，即将迎来快速增长时期；为了满足越来越多应用领域需求，3D视觉感知技术也越来越丰富和全面；3D视觉感知产品也随着底层元器件及核心算法的发展，向低成本、低功耗、小体积、高性能的方向发展。

（2）市场规模

随着2D成像逐步向3D视觉感知升级，3D视觉感知市场处于规模快速增长的爆发前期。根据法国市场研究与战略咨询公司Yole发布的全球3D成像和传感市场研究报告，年全球3D视觉感知市场规模为50亿美元，且市场规模将快速发展，预计在年达到亿美元，-年复合增长率约为20%。

3D视觉感知应用发展情况

3D视觉感知技术与产品经过多年的发展，目前已在生物识别、AIoT、消费电子（中期市场）、工业三维测量、汽车应用（长期市场）等多个领域实现了推广应用，并在国民经济中发挥着越来越重要的作用。

（1）生物识别领域应用

生物识别是一种通过计算机、光学、声学、生物传感器等多个技术领域密切结合，利用人体固有的生理特性，如指纹、人脸、虹膜等和行为特征如笔迹、声音、步态等进行个人身份鉴定的方法。随着对于身份识别和保密需求的日益增加，各类新兴生物识别的技术不断发展，通过3D视觉感知技术实现的生物识别方法逐渐落地于不同的应用场景。相较于指纹、虹膜、2D人脸识别及掌纹，3D人脸识别的特点如下：

目前，3D人脸识别技术主要有以下应用场景：

①3D刷脸支付

3D刷脸支付是继

转载请注明:http://www.aideyishus.com/lkzp/3194.html