基于深度信念网络的光场人脸识别方法技术

一种基于深度信念网络的光场人脸识别方法，包括如下步骤：a.基于光场相机所采集的人脸图像，重构人脸识别所需的4D光场子孔图像阵列，得到训练集；b.使用光场相机对识别对象进行人脸图像采集，基于识别对象的人脸图像重构4D光场子孔图像阵列，得到测试集；c.将所述训练集输入DBN分类器，对所述DBN分类器进行训练；d.将所述测试集输入经训练后的DBN分类器，由所述DBN分类器确定并输出识别结果。该方法在人脸识别上能够获得十分好的效果，并且具有2D人脸图像的易采集易操作等特性，有广阔的应用前景。

【技术实现步骤摘要】
基于深度信念网络的光场人脸识别方法
本专利技术涉及图像处理
，特别是涉及一种基于深度信念网络(DeepBeliefNetworks，简称DBN)的光场人脸识别方法。
技术介绍
很多现代人脸识别方法基于图像的局部二值特征、SIFT特征等图像特征，与其说尝试去寻找新的图像特征，不如应用机器学习的相关方法自动学习相关特征。近些年，深度学习在二维人脸识别上的研究取得了一定成果。但是，目前三维人脸识别方面进展相对落后。
技术实现思路
本专利技术的主要目的在于针对现有技术的不足，提供一种基于深度信念网络的光场人脸识别方法。为实现上述目的，本专利技术采用以下技术方案：一种基于深度信念网络的光场人脸识别方法，包括如下步骤：a.基于光场相机所采集的人脸图像，重构人脸识别所需的4D光场子孔图像阵列，得到训练集；b.使用光场相机对识别对象进行人脸图像采集，基于识别对象的人脸图像重构4D光场子孔图像阵列，得到测试集；c.将所述训练集输入DBN分类器，对所述DBN分类器进行训练；d.将所述测试集输入经训练后的DBN分类器，由所述DBN分类器确定并输出识别结果；步骤a和步骤b中，重构4D光场子孔图像阵列的过程包括：对于从光场相机采集的人脸图像所得的微透镜图像阵列，确定阵列中各个微透镜图像的中心位置，并根据微透镜图像的中心位置坐标的小数部分数值(0.fx,0.fy)，给予呈方形阵列的相邻四个像素对应的权重，重构像素值P＝waPt+wbPr+wcPl+wdPd，其中P为提取的像素值，Pt、Pr、Pl、Pd为微透镜图像的中心位置对应的相邻四个像素值，wa、wb、wc、wd为四个像素值依据微透镜图像的中心位置所确定的权重，wa+wb+wc+wd＝1，由此提取出重构的像素，并基于所提取的这些像素合成各子孔图像，以构成4D光场子孔图像阵列。根据优选的实施例，本专利技术的技术方案还可能包括以下一些技术特征：在构成4D光场子孔图像阵列之前还包括以下步骤：对于各子孔图像，偶数行的像素用相邻的像素进行线性插值得到中间像素，而奇数行的像素不操作，基于线性插值的结果将呈菱形的像素排列恢复成正常的像素排列。微透镜图像的中心位置的确定包括以下步骤：通过检测光场相机采集的源图像的水平梯度图和垂直梯度图，得到梯度峰值点；进行水平线性拟合与垂直拟合，得到每个水平直线与垂直直线交叉点的位置；利用交叉点的坐标，得到每个微透镜图像的中心坐标以及中心坐标之间距离的参数信息。步骤a包括使用光场相机进行人脸图像采集。步骤a和步骤b还包括对4D光场子孔图像阵列中的每幅子孔图像进行人脸位置的检测和提取。步骤a中，对于每个4D光场子孔图像阵列，选取覆盖范围小于整个子孔图像阵列、处在中央区域的子孔图像子阵列用作DBN分类器的训练输入。步骤b中，只重构微透镜图像的中心位置上像素所合成的一个子孔图像，用作经训练后的DBN分类器的识别输入。步骤a中，所采集的人脸图像包括不同光照条件和/或不同姿态和/或不同遮挡程度下采集的图像。在确定微透镜图像阵列中各个微透镜图像的中心位置之前，包括对光场相机采集的源图像进行源文件解析、去除马赛克以及对齐微透镜图像阵列的步骤。在重构4D光场子孔图像阵列之后，还包括对4D光场子孔图像阵列进行颜色修正的步骤。本专利技术的有益效果：本专利技术基于DBN的光场人脸识别方法，使用光场相机作为图像采集工具，且能够对人脸的光场相机数据作出快速、准确的处理分析，精确获得微透镜位置，其所实现的4D光场重构以及利用DBN分类器深度学习的优点使其在人脸识别上能够获得十分好的效果，并且具有2D人脸图像的易采集易操作等特性，有广阔的应用前景。附图说明图1本专利技术基于DBN的光场人脸识别方法实施例的流程图；图2本专利技术一种实施例中的4D光场重构过程的流程图；图3a-3c为获得每个微透镜图像的中心坐标参数信息的线性拟合示意图；图4为本专利技术一种实施例中对微透镜图像的中心位置提取相应像素的示意图；图5a和图5b为本专利技术一种实施例中提取像素之后的菱形的像素排列以及通过插值恢复的正常的像素排列；具体实施方式以下结合附图对本专利技术的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本专利技术的范围及其应用。根据本专利技术的实施例，如图1所示，基于DBN的光场人脸识别方法可以包括4个部分：光场相机图像采集、4D光场重构、图像预处理以及DBN分类器处理。一、光场相机图像采集该部分使用光场相机采集人脸数据，可以采集光线较强的情况下人的正脸、侧脸以及眼镜遮挡照等，也可以采集光线较暗情况下的正脸、侧脸和眼镜遮挡照，建立起人脸图像数据库。光场相机可以采用已知的Lytro相机。二、4D光场重构如图2所示，4D光场重构可以包括以下步骤：解析源文件、去马赛克、对齐、光场重构以及颜色修正。解析源文件：可以获取的文件只有光场相机提供的.lfp格式的源文件，其中的xxx.lfp文件包含了图像数据以及需要的所有元数据，通过解析该lfp源文件，获取图像数据，以及解码所需的相机参数信息metadata。.lfp文件格式如下表1。表1地址16进制数据00000000894c46500d0a1a0a000000010000000000000010894c46500d0a1a0a00000000000020c200000020736861312d61653164373034303561310000003063653862343033626261643338306664000000403365313761353161633630366400000000000050000000000000000000000000000000000000006000000000000000000000000000000000000000707b0a092266696c657322203a205b0a09.lfp文件首先有一个12字节的文件头部894C46500D0A1A0A00000001。然后是4字节空段，00000000，之后为数据内容表，用来描述后面的数据排列。之后为图像元信息，深度索引表，以及图像元数据等等。有关光场相机提供的数据已为本领域技术人员所知，更详细的可参考文献“TodorGeorgiev，Lytrocameratechnology:theory,algorithms,performanceanalysis”.去马赛克：通过对.lfp源文件的解析，得到Bayer模式的微透镜阵列图像。Bayer滤波器是一种彩色滤波阵列，由覆盖在感光器之前的RGB彩色滤波器完成，广泛应用在现代数码相机、摄像机、扫描仪中。彩色滤波阵列可由50％绿色、25％红色和25％蓝色组成，可为RGBG、GRGB或者RGGB模式。通过相机参数信息metadata，得到图片的bayer模式为RGGB，进而可应用梯度修正的双线性插值算法对原图进行彩色信息恢复。对齐：解析.lfp源文件之后得到的微透镜阵列图像可能有一定倾斜，可以用本步骤在光场重构处理之前进行重对齐。通过相机参数信息metadata，得到图片旋转角度，进行图像旋转对齐操作。光场重构处理：在重构4D光场之前，先定位每个微透镜图像的中心位置。在已知相机解码系统中，可以通过光场相机提供的白色图片中，提取图片参数。但是本文档来自技高网...

【技术保护点】
一种基于深度信念网络的光场人脸识别方法，其特征在于,包括如下步骤：a.基于光场相机所采集的人脸图像，重构人脸识别所需的4D光场子孔图像阵列，得到训练集；b.使用光场相机对识别对象进行人脸图像采集，基于识别对象的人脸图像重构4D光场子孔图像阵列，得到测试集；c.将所述训练集输入DBN分类器，对所述DBN分类器进行训练；d.将所述测试集输入经训练后的DBN分类器，由所述DBN分类器确定并输出识别结果；步骤a和步骤b中，重构4D光场子孔图像阵列的过程包括：对于从光场相机采集的人脸图像所得的微透镜图像阵列，确定阵列中各个微透镜图像的中心位置，并根据微透镜图像的中心位置坐标的小数部分数值(0.fx,0.fy)，给予呈方形阵列的相邻四个像素对应的权重，重构像素值P＝waPt+wbPr+wcPl+wdPd，其中P为提取的像素值，Pt、Pr、Pl、Pd为微透镜图像的中心位置对应的相邻四个像素值，wa、wb、wc、wd为四个像素值依据微透镜图像的中心位置所确定的权重，wa+wb+wc+wd＝1，由此提取出重构的像素，并基于所提取的这些像素合成各子孔图像，以构成4D光场子孔图像阵列。

【技术特征摘要】
1.一种基于深度信念网络的光场人脸识别方法，其特征在于,包括如下步骤：a.基于光场相机所采集的人脸图像，重构人脸识别所需的4D光场子孔图像阵列，得到训练集；b.使用光场相机对识别对象进行人脸图像采集，基于识别对象的人脸图像重构4D光场子孔图像阵列，得到测试集；c.将所述训练集输入DBN分类器，对所述DBN分类器进行训练；d.将所述测试集输入经训练后的DBN分类器，由所述DBN分类器确定并输出识别结果；步骤a和步骤b中，重构4D光场子孔图像阵列的过程包括：对于从光场相机采集的人脸图像所得的微透镜图像阵列，确定阵列中各个微透镜图像的中心位置，并根据微透镜图像的中心位置坐标的小数部分数值(0.fx,0.fy)，给予呈方形阵列的相邻四个像素对应的权重，重构像素值P＝waPt+wbPr+wcPl+wdPd，其中P为提取的像素值，Pt、Pr、Pl、Pd为微透镜图像的中心位置对应的相邻四个像素值，wa、wb、wc、wd为四个像素值依据微透镜图像的中心位置所确定的权重，wa+wb+wc+wd＝1，由此提取出重构的像素，并基于所提取的这些像素合成各子孔图像，以构成4D光场子孔图像阵列。2.如权利要求1所述的光场人脸识别方法，其特征在于,在构成4D光场子孔图像阵列之前还包括以下步骤：对于各子孔图像，偶数行的像素用相邻的像素进行线性插值得到中间像素，而奇数行的像素不操作，基于线性插值的结果将呈菱形的像素排列恢复成正常的像素排列。3.如权利要求1所述的光场人脸识别方法，其特征在于,微透镜图像的中心位置的确定包括以下步...

【专利技术属性】
技术研发人员：袁春，顾兵，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东;44