The embodiment of the present invention discloses a method, device, device and storage medium for determining illumination parameters. The method includes: identifying at least one face sampling point in the face area of a target picture; determining the set of reflection coefficients matching the face sampling point by geometric method and/or training set method; and determining the corresponding pixel information and the said set of reflection coefficients according to the face sampling point respectively. The reflection coefficient set calculates the set of illumination coefficients corresponding to the face sampling point, and determines the illumination parameters corresponding to the target image according to the set of illumination coefficients corresponding to the face sampling point. The technical scheme of the embodiment of the present invention has low requirement for relevant equipment, can fully explore the illumination parameters of pictures, satisfy the simulation effect of complex illumination, and thus improve the accuracy and generality of illumination parameter estimation.
【技术实现步骤摘要】
一种光照参数的确定方法、装置、设备及存储介质
本专利技术实施例涉及图像处理
,尤其涉及一种光照参数的确定方法、装置、设备及存储介质。
技术介绍
光照参数估计(以下简称光照估计)就是从图片中获取光照信息,该光照信息可以应用于人脸识别或增强显示等
在光照参数已知的情况下,即可对虚拟物体打光,渲染虚拟物体表面的明暗变化及其阴影投射。因此,准确的光照参数估计对于定量描述视频或图片场景中的光照特征十分关键。现有光照估计技术可大致分为两类:使用非人脸探针的方法和使用人脸探针的方法,其中,使用非人脸探针的方法可主要分为以下几类:1)要求存在几何信息已知的探针物体:例如正立方体或镜面反射球。2)要求人工标定特殊的参照区域作为探针:如物体边界——法线在图像平面内的像素区域,或带阴影的图像中垂直物体与其平行阴影线位置。3)使用全景图采样图片进行光照估计:利用带光照标注(太阳位置)的全景图片作为训练样本,训练深度卷积神经网络来预测太阳的位置、大气浊度及摄像机位置等参数。4)对光源信息进行直接采集的方法:如利用额外的鱼眼镜头直接采集摄影棚内部光源位置等信息的方法。5)使用RGB-D摄像头同时采集深度信息:在同时完成定位和建图任务的同时检测镜面反射区域,估计离散光源位置和强度。6)简单估计环境光平均强度:使用像素平均亮度作为估计。使用人脸探针的方法主要包括以下两类:1)基于人脸正脸图片的方法:用带真实光照标注的正面人脸图片采样像素作为训练样本,训练以线性方程描述的光照参数模型。2)基于人脸深度信息的方法:用手机前置深度摄像头采集人脸3D模型数据,在带有人脸追踪的应用中 ...
【技术保护点】
1.一种光照参数的确定方法,其特征在于,包括:识别目标图片中人脸区域内的至少一个人脸采样点;通过几何法和/或训练集法,确定与所述人脸采样点匹配的反射系数集;根据与所述人脸采样点分别对应的像素信息以及所述反射系数集,计算与所述人脸采样点对应的光照系数集;根据与所述人脸采样点对应的所述光照系数集,确定与所述目标图片对应的光照参数。
【技术特征摘要】
1.一种光照参数的确定方法,其特征在于,包括:识别目标图片中人脸区域内的至少一个人脸采样点;通过几何法和/或训练集法,确定与所述人脸采样点匹配的反射系数集;根据与所述人脸采样点分别对应的像素信息以及所述反射系数集,计算与所述人脸采样点对应的光照系数集;根据与所述人脸采样点对应的所述光照系数集,确定与所述目标图片对应的光照参数。2.根据权利要求1所述的方法,其特征在于,识别目标图片中人脸区域内的至少一个人脸采样点,包括:将所述目标图片输入至人脸检测器,获取所述人脸检测器标记出的所述目标图片中人脸区域内的至少一个关键检测点;将相邻的三个关键检测点进行三角化处理,并在得到的三角形内部生成多个特征点作为所述人脸采样点。3.根据权利要求2所述的方法,其特征在于,在得到的三角形内部生成多个特征点作为所述人脸采样点,包括:确定所述三角形的重心点,并连接所述重心点与所述三角形各个顶点得到的多个新三角形,将所述新三角形的重心点以及所述三角形的重心点,作为所述人脸采样点。4.根据权利要求1所述的方法,其特征在于,通过几何法,确定与所述人脸采样点匹配的反射系数集,包括:获取3D人脸比对模型,并使用所述3D人脸比对模型与所述目标图片中的人脸区域进行对准,确定与所述人脸区域对应的人脸姿态信息;生成入射光线的多个入射方向;根据公式:分别计算在各所述入射光线ωi下,与人脸采样点x对应的反射函数R(x,ωi);其中,i∈[1,m],m为入射方向的总数量;ωi为第i个入射方向,nx为根据所述人脸姿态信息确定的x点的法线方向,dot()为向量的点乘运算,max()为取最大值运算,V(x,ωi)为ωi方向上的一点与x点之间的可见性,ρ为所述人脸的表面反照率;根据公式:Rj=∫SR(x,ωi)Yj(ωi),计算与x点匹配的各阶的反射系数Rj,构成所述反射系数集;其中,j∈[1,n],n为预设的展开总阶数,S为x点处由x点的法线确定的半球面,Yj(ωi)为ωi方向下的第j阶的球谐基函数。5.根据权利要求4所述的方法,其特征在于,所述3D人脸比对模型包括:预先建立的标准3D人脸模型,或者采用三维重建技术,根据所述目标图片中的人脸区域重建出的3D人脸模型。6.根据权利要求1所述的方法,其特征在于,通过训练集法,确定与所述人脸采样点匹配的反射系数集,包括:将所述人脸采样点输入至预先训练的反射系数集确定模型中,并获取所述反射系数集确定模型输...
【专利技术属性】
技术研发人员:董维山,梁兴仑,
申请(专利权)人:百度在线网络技术北京有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。