雷锋网按：光场技术是目前最受追捧的下一代显示技术，谷歌、Facebook、MagicLeap等国内外大公司都在大力布局。然而目前国内对光场（LightField）技术的中文介绍十分匮乏，曹煊博士《Mars说光场》系列文章旨在对光场技术及其应用的科普介绍。

曹煊博士系腾讯优图实验室高级研究员。优图—腾讯旗下顶级的机器学习研发团队，专注于图像处理、模式识别、深度学习。在人脸识别、图像识别、医疗AI、OCR、哼唱识别、语音合成等领域都积累了领先的技术水平和完整解决方案。

《Mars说光场》系列文章目前已有5篇，包括：《Mars说光场（1）—为何巨头纷纷布局光场技术》、《Mars说光场（2）—光场与人眼立体成像机理》、《Mars说光场（3）—光场采集》、《Mars说光场（4）—光场显示》、《Mars说光场（5）—光场在三维人脸建模中的应用》,雷锋网经授权发布。

—三维建模是计算机视觉中的一个经典问题，其主要目标是得到物体/场景的三维信息（e.g.点云或深度图）。然而只有三维信息还不足以逼真的渲染重现真实世界，还需要表面反射场信息才能在视觉上以假乱真。本文主要介绍美国南加州大学ICTGraphicLab的PaulDebevec所引领开发的LightStage技术，该技术已经成功应用在好莱坞电影特效和年美国总统奥巴马的数字人脸建模等诸多应用中。

1、反射场在三维成/呈像中的重要性

三维建模可以得到物体的几何信息，例如点云、深度图等。但为了在视觉上逼真的重现三维物体，只有几何信息是不够的。不同物体表面在不同光照环境下会呈现出不同的反射效果，例如玉石会呈现出高光和半透明的反射效果、棉麻织物会呈现出漫反射的效果。即使是相同表面，在不同光照下也会呈现出不同的反射效果，例如图1中的精灵在魔法灯的照射下，脸上呈现出相应的颜色和阴影；阿凡达在发光水母的照射下脸上和身上也会呈现对应的反射效果，这就是Relighting所产生的效果。在现实生活中Relighting是一种再正常不过的现象了。然而当电影中Relighting的效果与实际不符时，人眼会感受到莫名的异常。

模拟出与真实物体表面一致的反射特性，对提高计算机渲染成/呈像的逼真度至关重要。在实际的拍摄中并不存在精灵和阿凡达，也不存在魔法灯和发光的水母，如何生成Photorealistic的图像呢？通过计算机模拟反射场（ReflectanceField）是目前好莱坞大片中惯用的方法。反射场是对所有反射特性的一个普适数学模型，物体表面不同位置(x,y,z)在时刻(t)向半球范围内不同角度(θ,Φ)发出波长为(λ)的光线，由R(x,y,z,θ,Φ,λ,t)七个维度构成的光线的集合就是反射场。关于光场和反射场的异同点参见《Mars说光场（1）—综述》。

图1.反射场Relighting示意图

2、USCLightStage介绍

LightStage是由美国南加州大学ICTGraphicLab的保罗德贝维奇（PaulDebevec）所领导开发的一个高保真的三维采集重建平台系统。该系统以高逼真度的3D人脸重建为主，并已经应用于好莱坞电影渲染中。从第一代系统LightStage1于年诞生，至今已经升级到LightStage6，最新的一代系统命名为LightStageX。

2.1LightStage1

如图2所示，LightStage1包括1个光源（strobelight）、2个相机（分辨率x）、1个投影仪，整个设备直径约3米[1]。光源可沿机械臂垂直移动，同时机械臂可带动光源水平旋转。整个采集过程包括两个阶段：第一阶段是以人脸为中心旋转光源，从而构成64x32个不同方向的等效光源入射到人脸上。与此同时，两个相机同步拍摄不同光照下的左侧脸和右侧脸，每个相机共拍摄张图片，如图3所示。需要说明的是光源和相机前分别覆盖了互相垂直的偏振片，用于分离散射和高光（separatediffuseandspecular）。第二阶段是投影仪与2个相机配合完成基于结构光的三维重建，如图4所示。整个采集过程耗时约1分钟，采集过程中人脸需要持续保持静止，这对演员保持静止的能力提出了极高的要求。

图2.LightStage1系统样机

LightStage1采集的图片样例如图3所示，第二行图片中亮点表示光源的位置，第一行图片表示对应光源照射下采集到的人脸图片，实际采集的反射场图片包括64x32光源位置下的张图片。采集三维几何模型通过结构光三维重建实现，如图4所示。

图3.LightStage1采集图片样例

图4.LightStage1基于结构光的三维重建

在进行Relighting渲染之前还需要通过SpecularBall/MirrorBall采集环境光照，如图5所示。通过MirrorBall采集的图片需要经过重采样得到离散的环境光照矩阵[2]，然后将环境光照应用在反射场图中，得到如图6中Relighting的渲染效果。图6中第二行图片为SpecularBall在不同环境下采集的环境光照展开图，第一行图片为对应光照下人脸渲染结果。需要说明的是，图6中人脸Relighting的渲染图片只限于固定视点，如果需要改变视点需要结合结构光采集的三维几何模型。

图5.SpecularBall采集环境光

图6.LightStage1人脸Relighting效果

2.2USCLightStage2

LightStage2在LightStage1的基础上增加了更多的光源，将23个白色光源分布于弧形机械臂上[3-5]。机械臂旋转到不同的经线位置，并依次点亮光源，最终形成42x23个不同方向的入射光源。采集时间从1分钟缩短到4秒，降低了演员维持静态表情的难度。如图7所示，右侧为LightStage2真机系统，左侧为采集过程中4秒长曝光拍摄图片。

图7.LightStage2采集示意图

2.3USCLightStage3

在不同的光照环境下，人脸会反射出不同的“脸色”，例如人脸在火炬前会被映红。通过改变环境光照而使物体表面呈现与之对应的反射状态称为“Relighting”。然而在电影拍摄中并不能把演员置身于任意真实的环境中，例如《指环王》中男主角佛罗多·巴金斯置身于火山岩中，又例如阿凡达置身于梦幻蓝色树丛中。LightStage3并不用于人脸建模，而是构建一个可控的彩色光照平台，从而可以实现人脸实时的Relighting[6-8]。

LightStage3的支撑结构为二十面体，包括42个顶点、条边、80个面，如图8所示。在每个顶点和每条边的中心放置一个彩色光源，一共可放置个彩色光源。由于球体底部5个顶点及其相应的边被移除用于演员站立，因此实际光源数量减少到个。光源型号为PhilipsColorKinetics，iColorMRgen3LEDLamp

转载请注明:http://www.aideyishus.com/lkzp/3144.html