一种光照参数的确定方法、装置、设备及存储介质制造方法及图纸

技术编号:20118998 阅读:29 留言:0更新日期:2019-01-16 12:17
本发明专利技术实施例公开了一种光照参数的确定方法、装置、设备及存储介质,所述方法包括:识别目标图片中人脸区域内的至少一个人脸采样点;通过几何法和/或训练集法,确定与所述人脸采样点匹配的反射系数集;根据与所述人脸采样点分别对应的像素信息以及所述反射系数集,计算与所述人脸采样点对应的光照系数集;根据与所述人脸采样点对应的所述光照系数集,确定与所述目标图片对应的光照参数。本发明专利技术实施例的技术方案对相关设备要求低,能够充分发掘图片的光照参数,满足对复杂光照的模拟效果,从而提高光照参数估计的准确性和通用性。

A Method, Device, Equipment and Storage Medium for Determining Illumination Parameters

The embodiment of the present invention discloses a method, device, device and storage medium for determining illumination parameters. The method includes: identifying at least one face sampling point in the face area of a target picture; determining the set of reflection coefficients matching the face sampling point by geometric method and/or training set method; and determining the corresponding pixel information and the said set of reflection coefficients according to the face sampling point respectively. The reflection coefficient set calculates the set of illumination coefficients corresponding to the face sampling point, and determines the illumination parameters corresponding to the target image according to the set of illumination coefficients corresponding to the face sampling point. The technical scheme of the embodiment of the present invention has low requirement for relevant equipment, can fully explore the illumination parameters of pictures, satisfy the simulation effect of complex illumination, and thus improve the accuracy and generality of illumination parameter estimation.

【技术实现步骤摘要】
一种光照参数的确定方法、装置、设备及存储介质
本专利技术实施例涉及图像处理
,尤其涉及一种光照参数的确定方法、装置、设备及存储介质。
技术介绍
光照参数估计(以下简称光照估计)就是从图片中获取光照信息,该光照信息可以应用于人脸识别或增强显示等
在光照参数已知的情况下,即可对虚拟物体打光,渲染虚拟物体表面的明暗变化及其阴影投射。因此,准确的光照参数估计对于定量描述视频或图片场景中的光照特征十分关键。现有光照估计技术可大致分为两类:使用非人脸探针的方法和使用人脸探针的方法,其中,使用非人脸探针的方法可主要分为以下几类:1)要求存在几何信息已知的探针物体:例如正立方体或镜面反射球。2)要求人工标定特殊的参照区域作为探针:如物体边界——法线在图像平面内的像素区域,或带阴影的图像中垂直物体与其平行阴影线位置。3)使用全景图采样图片进行光照估计:利用带光照标注(太阳位置)的全景图片作为训练样本,训练深度卷积神经网络来预测太阳的位置、大气浊度及摄像机位置等参数。4)对光源信息进行直接采集的方法:如利用额外的鱼眼镜头直接采集摄影棚内部光源位置等信息的方法。5)使用RGB-D摄像头同时采集深度信息:在同时完成定位和建图任务的同时检测镜面反射区域,估计离散光源位置和强度。6)简单估计环境光平均强度:使用像素平均亮度作为估计。使用人脸探针的方法主要包括以下两类:1)基于人脸正脸图片的方法:用带真实光照标注的正面人脸图片采样像素作为训练样本,训练以线性方程描述的光照参数模型。2)基于人脸深度信息的方法:用手机前置深度摄像头采集人脸3D模型数据,在带有人脸追踪的应用中能够支持对主要光源和环境光参数的简单估计。专利技术人在实现本专利技术的过程中,发现现有技术存在如下缺陷:要求存在几何信息已知的探针物体的方案,需要画面中必须存在该探针物体,对探针物体几何形态和表面反射特性有特殊要求,现实中很难满足。要求人工标定特殊的参照区域作为探针的方案,计算过程需要人工标定步骤,且此标定步骤目前暂无算法能够自动进行,使得整个方案难以自动化和大规模应用。需要使用全景图采样图片进行光照估计的方案,仅能用于室外场景,数据集获取成本高,且方法精度较低。对光源信息进行直接采集的方法,对已拍摄好的视频不适用,对采集设备要求高,需要进行硬件改造。需要使用RGB-D摄像头同时采集深度信息的方案,对设备要求高,对缺失深度信息的普通视频和非深度摄像头不适用。需要简单估计环境光平均强度的方案,无法满足对复杂光照的模拟效果,由于缺少对于光源的描述,甚至连简单的阴影都无法模拟和重建。基于人脸正脸图片的方法要求使用场景仅限于画面中存在人脸正脸的情况,人脸转动角度较大时模型失效。基于人脸深度信息的方法,对设备要求高,对缺失深度信息的普通视频和非深度摄像头不适用。
技术实现思路
本专利技术实施例提供一种光照参数的确定方法、装置、设备及存储介质,实现提高光照特征参数估计的准确性和通用性。第一方面,本专利技术实施例提供了一种光照参数的确定方法,包括:识别目标图片中人脸区域内的至少一个人脸采样点;通过几何法和/或训练集法,确定与所述人脸采样点匹配的反射系数集;根据与所述人脸采样点分别对应的像素信息以及所述反射系数集,计算与所述人脸采样点对应的光照系数集;根据与所述人脸采样点对应的所述光照系数集,确定与所述目标图片对应的光照参数。第二方面,本专利技术实施例还提供了一种光照参数的确定装置,包括:采样点识别模块,用于识别目标图片中人脸区域内的至少一个人脸采样点;反射系数集确定模块,用于通过几何法和/或训练集法,确定与所述人脸采样点匹配的反射系数集;光照系数集计算模块,用于根据与所述人脸采样点分别对应的像素信息以及所述反射系数集,计算与所述人脸采样点对应的光照系数集;光照参数确定模块,用于根据与所述人脸采样点对应的所述光照系数集,确定与所述目标图片对应的光照参数。第三方面,本专利技术实施例还提供了一种计算机设备,所述计算机设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本专利技术任意实施例所提供的光照参数的确定方法。第四方面,本专利技术实施例还提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现本专利技术任意实施例所提供的光照参数的确定方法。本专利技术实施例通过识别目标图片中人脸区域内的至少一个人脸采样点,采用几何法和/或训练集法,确定与人脸采样点匹配的反射系数集,再根据与人脸采样点分别对应的像素信息以及反射系数集,计算与人脸采样点对应的光照系数集,最后根据与人脸采样点对应的光照系数集确定与目标图片对应的光照参数,解决现有的光照参数估计方法中存在的难以满足光照模拟效果且成本高的问题,能够充分发掘图片的光照参数,对相关设备要求低,且满足对复杂光照的模拟效果,从而提高光照参数估计的准确性和通用性。附图说明图1是本专利技术实施例一提供的一种光照参数的确定方法的流程图;图2a是本专利技术实施例二提供的一种光照参数的确定方法的流程图;图2b是本专利技术实施例二提供的一种根据关键点获取人脸采样点的效果示意图;图2c是本专利技术实施例二提供的一种根据标准3D人脸模型获取人脸采样点的效果示意图;图2d是本专利技术实施例二提供的一种根据3D人脸采样点确定光照参数的效果示意图;图2e是本专利技术实施例二提供的一种基于确定的光照参数对图片中虚拟广告牌打光的效果示意图;图3是本专利技术实施例三提供的一种光照参数的确定装置的示意图;图4为本专利技术实施例四提供的一种计算机设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本专利技术,而非对本专利技术的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本专利技术相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。实施例一图1是本专利技术实施例一提供的一种光照参数的确定方法的流程图,本实施例可适用于准确确定图片中光照参数的情况,该方法可以由光照参数的确定装置来执行,该装置可以由软件和/或硬件的方式来实现,并一般可集成在计算机设备中。相应的,如图1所示,该方法包括如下操作:S110、识别目标图片中人脸区域内的至少一个人脸采样点。其中,目标图片即为需要确定光照参数的图片。可以理解的是,人脸是众多视频(尤其是短视频这种互联网上的新型内容形态)的核心要素之一。例如在各类美颜、虚拟试妆、自拍、主播视频以及影视剧作品等视频中,人脸的清晰度较高,可以作为理想的光照估计探针。尽管人脸几何形态非凸,且不同人脸的3D特征不尽相同。但在一定程度上可以假设人脸的整体3D特性变化方差不大。当给定光照参数时,其明暗阴影存在一定普遍规律,且这种规律可以通过建模来描述。相比于要求视频或场景中存在其他特定形式的已知物体(如满足镜面反射的标准球体、或颜色本文档来自技高网
...

【技术保护点】
1.一种光照参数的确定方法,其特征在于,包括:识别目标图片中人脸区域内的至少一个人脸采样点;通过几何法和/或训练集法,确定与所述人脸采样点匹配的反射系数集;根据与所述人脸采样点分别对应的像素信息以及所述反射系数集,计算与所述人脸采样点对应的光照系数集;根据与所述人脸采样点对应的所述光照系数集,确定与所述目标图片对应的光照参数。

【技术特征摘要】
1.一种光照参数的确定方法,其特征在于,包括:识别目标图片中人脸区域内的至少一个人脸采样点;通过几何法和/或训练集法,确定与所述人脸采样点匹配的反射系数集;根据与所述人脸采样点分别对应的像素信息以及所述反射系数集,计算与所述人脸采样点对应的光照系数集;根据与所述人脸采样点对应的所述光照系数集,确定与所述目标图片对应的光照参数。2.根据权利要求1所述的方法,其特征在于,识别目标图片中人脸区域内的至少一个人脸采样点,包括:将所述目标图片输入至人脸检测器,获取所述人脸检测器标记出的所述目标图片中人脸区域内的至少一个关键检测点;将相邻的三个关键检测点进行三角化处理,并在得到的三角形内部生成多个特征点作为所述人脸采样点。3.根据权利要求2所述的方法,其特征在于,在得到的三角形内部生成多个特征点作为所述人脸采样点,包括:确定所述三角形的重心点,并连接所述重心点与所述三角形各个顶点得到的多个新三角形,将所述新三角形的重心点以及所述三角形的重心点,作为所述人脸采样点。4.根据权利要求1所述的方法,其特征在于,通过几何法,确定与所述人脸采样点匹配的反射系数集,包括:获取3D人脸比对模型,并使用所述3D人脸比对模型与所述目标图片中的人脸区域进行对准,确定与所述人脸区域对应的人脸姿态信息;生成入射光线的多个入射方向;根据公式:分别计算在各所述入射光线ωi下,与人脸采样点x对应的反射函数R(x,ωi);其中,i∈[1,m],m为入射方向的总数量;ωi为第i个入射方向,nx为根据所述人脸姿态信息确定的x点的法线方向,dot()为向量的点乘运算,max()为取最大值运算,V(x,ωi)为ωi方向上的一点与x点之间的可见性,ρ为所述人脸的表面反照率;根据公式:Rj=∫SR(x,ωi)Yj(ωi),计算与x点匹配的各阶的反射系数Rj,构成所述反射系数集;其中,j∈[1,n],n为预设的展开总阶数,S为x点处由x点的法线确定的半球面,Yj(ωi)为ωi方向下的第j阶的球谐基函数。5.根据权利要求4所述的方法,其特征在于,所述3D人脸比对模型包括:预先建立的标准3D人脸模型,或者采用三维重建技术,根据所述目标图片中的人脸区域重建出的3D人脸模型。6.根据权利要求1所述的方法,其特征在于,通过训练集法,确定与所述人脸采样点匹配的反射系数集,包括:将所述人脸采样点输入至预先训练的反射系数集确定模型中,并获取所述反射系数集确定模型输...

【专利技术属性】
技术研发人员:董维山梁兴仑
申请(专利权)人:百度在线网络技术北京有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1