【技术实现步骤摘要】
本专利技术涉及图像处理领域，尤其涉及一种人脸图像复原方法、人脸图像退化方法和装置。
技术介绍
1、屏下摄像头(under display camera，udc)技术是一种新兴且日趋流行的移动设备摄像头解决方案，通过设置udc，能够将摄像头集成到屏幕下方，从而提高屏占比，实现真正意义上的全面屏设计。但由于udc在摄影摄像中获取图像时，光线会先穿过屏幕再到达摄像头，期间会发生折射、散射等光学现象，继而造成滤色、衍射、光减和模糊等图像质量衰减退化问题。
2、针对udc成像的图像退化问题，现有技术中通常采用以下几种方法对udc成像进行校正和补偿：(1)基于物理方法的校正和补偿。通过研发新型屏幕材料、改进摄像头区域的屏幕的像素排列方式或提高图像传感器的灵敏度，减少对摄像头进光量的影响，降低udc成像干扰，减少udc图像的退化；(2)利用图像重建、复原算法进行校正和补偿。通过深度学习算法训练模型用于识别和补偿，从而进行udc图像复原，降低udc图像退化程度。但现有技术中基于深度学习的udc人脸图像复原算法存在以下缺点：(1)现有算法通常只针对一般场景，对于复杂场景中udc人脸图像的复杂退化的复原程度不高；(2)现有算法并没有考虑udc图像的退化特性进行设计，导致复原程度不高；(3)现有算法直接应用于udc人脸图像，恢复时可能存在丧失原有细节且恢复的人脸细节丰富度较低的可能性；(4)现有算法所使用的数据集均从真实场景中人工获取，数据获取难度大，且数据量小。因此，如何在udc人脸图像复原过程中保持人脸图像细节仍是目前亟待解决的问题。
技术实现思路
1、本专利技术提供了一种人脸图像复原方法、人脸图像退化方法和装置，以解决现有技术中udc人脸图像复原时难以保持udc人脸图像细节的技术问题。
2、第一方面，本申请提供了一种人脸图像复原方法，包括：
3、获取待复原的第一人脸图像；
4、基于预设的特征提取卷积方法，对所述第一人脸图像进行特征提取并进行逐像素卷积和逐深度卷积，得到第一人脸特征；
5、基于预设的高质量面部分量字典，根据预设的字典引导恢复方法对第一人脸特征进行迭代，得到第二人脸特征；
6、基于预设的第一卷积恢复方法，对所述第二人脸特征进行逐元素卷积和逐深度卷积，得到并输出复原后的第二人脸图像。
7、这样先获取待复原的udc人脸图像并进行特征提取和逐像素卷积和逐深度卷积得到第一人脸特征，能够通过逐像素卷积和逐深度卷积操作实现初步的udc人脸图像复原，再基于高质量面部分量字典对第一人脸特征进行迭代的字典引导恢复，得到第二人脸特征，能够在udc人脸图像复原过程中提供高质量的面部细节，进而通过对第二人脸特征进行逐元素卷积和逐深度卷积的卷积恢复方法得到复原后的udc人脸图像。这样在udc人脸图像复原时先进行初步复原，再通过高质量面部分量字典提供高质量的面部细节，能够实现细粒度的udc人脸图像复原，提高udc人脸图像复原的水平，并保持udc人脸图像的细节。
8、进一步地，所述基于预设的特征提取卷积方法，对所述第一人脸图像进行特征提取并进行逐像素卷积和逐深度卷积，得到第一人脸特征，具体包括：
9、基于预设的特征提取卷积方法，对所述第一人脸图像进行特征提取，得到人脸特征向量；
10、基于预设的特征提取卷积方法，对所述人脸特征向量进行逐像素卷积和逐深度卷积，得到第一人脸特征。
11、进一步地，所述基于预设的特征提取卷积方法，对所述人脸特征向量进行逐像素卷积和逐深度卷积，得到第一人脸特征，具体包括：
12、将所述人脸特征向量输入多个预设的卷积恢复块中，通过逐像素卷积和逐深度卷积，得到第一人脸特征；
13、其中，多个所述卷积恢复块为首尾相连，前一个卷积恢复块的输出作为后一个卷积恢复块的输入，始端卷积恢复块的输入为所述人脸特征向量，末端卷积恢复块的输出为第一人脸特征；每个卷积恢复块中，先对输入作像素级卷积和深度级卷积得到局部查询集，同时对输入进行跨通道自注意力得到全局隐式注意力图，并将局部查询集作逐像素卷积和逐深度卷积得到的局部特征和全局隐式注意力图作逐像素卷积得到的全局特征的逐元素乘积结果作为当前卷积恢复块的输出结果。
14、这样先进行特征提取，再通过逐元素卷积和逐深度卷积获取udc人脸特征向量的局部特征信息和全局特征信息，并综合局部特征信息和全局特征信息完成初步的udc人脸图像复原，这样考虑到了udc人脸图像的特性，提高了udc人脸图像复原的水平。
15、进一步地，所述基于预设的高质量面部分量字典，根据预设的字典引导恢复方法对第一人脸特征进行迭代，得到第二人脸特征之前，还包括：
16、根据预设的第一关键点检测方法，对所述第一人脸图像进行关键点检测，得到人脸关键点序列。
17、进一步地，所述基于预设的高质量面部分量字典，根据预设的字典引导恢复方法对第一人脸特征进行迭代，得到第二人脸特征，具体包括：
18、根据所述第一人脸特征和所述人脸关键点序列，计算得到面部分量坐标；
19、根据所述字典引导恢复方法，对所述第一人脸特征进行迭代处理，迭代时基于所述面部分量坐标和所述高质量面部分量字典，更新所述第一人脸特征，直到迭代次数达到预设值；
20、其中，每次迭代中，根据与当前迭代次数相关的预设参数，从所述面部分量坐标中获取当前的第一分量特征，通过所述第一分量特征查询所述高质量面部分量字典，得到第二分量特征，并将所述第一分量特征与所述第二分量特征进行融合，得到融合分量特征，根据所述融合分量特征更新所述第一人脸特征；
21、将最后一次迭代后得到的第一人脸特征作为第二人脸特征输出。
22、这样先获取人脸关键点序列，并根据人脸关键点序列计算面部分量坐标，再根据高质量面部分量字典和面部分量坐标，迭代地对第一人脸特征进行字典引导恢复，能够获取高质量面部分量字典中高质量的面部细节并依据面部分量坐标更新第一人脸特征，进而实现细粒度的udc人脸图像复原，提高了udc人脸图像复原的水平，并通过高质量面部分量字典保持了udc人脸图像的细节。
23、第二方面，本申请提供了一种人脸图像退化方法，包括：
24、获取待退化的第一人脸图像；
25、将所述第一人脸图像输入预设的人脸退化模型，得到并输出退化完成的第二人脸图像；其中，所述人脸退化模型是在预设的初始模型上通过通道退化、空间退化和对抗优化而训练得到的。
26、这样先通过通道退化、空间退化和对抗优化训练初始模型而得到人脸退化模型，从而基于人脸退化模型对待退化的人脸图像进行退化处理，这样能够提高对正常人脸图像的退化精度，并为各种人脸图像复原模型的数据集提供了大批量自动生成的退化人脸图像，减小了数据获取难度，提高了数据量。
27、进一步地，所述人脸退化模型是在预设的初始模型上通过通道退化、空间退化和对抗优化而训练得到的，具体包括本文档来自技高网...
【技术保护点】
1.一种人脸图像复原方法，其特征在于，包括：
2.根据权利要求1所述的一种人脸图像复原方法，其特征在于，所述基于预设的特征提取卷积方法，对所述第一人脸图像进行特征提取并进行逐像素卷积和逐深度卷积，得到第一人脸特征，具体包括：
3.根据权利要求2所述的一种人脸图像复原方法，其特征在于，所述基于预设的特征提取卷积方法，对所述人脸特征向量进行逐像素卷积和逐深度卷积，得到第一人脸特征，具体包括：
4.根据权利要求1所述的一种人脸图像复原方法，其特征在于，所述基于预设的高质量面部分量字典，根据预设的字典引导恢复方法对第一人脸特征进行迭代，得到第二人脸特征之前，还包括：
5.根据权利要求4所述的一种人脸图像复原方法，其特征在于，所述基于预设的高质量面部分量字典，根据预设的字典引导恢复方法对第一人脸特征进行迭代，得到第二人脸特征，具体包括：
6.一种人脸图像退化方法，其特征在于，包括：
7.根据权利要求6所述的一种人脸图像退化方法，其特征在于，所述人脸退化模型是在预设的初始模型上通过通道退化、空间退化和对抗优化而训练得到的
8.根据权利要求7所述的一种人脸图像退化方法，其特征在于，所述基于预设的第一退化方法，对所述多个真实人脸特征进行迭代，迭代时进行通道退化和空间退化，得到多个生成人脸特征，具体包括：
9.根据权利要求8所述的一种人脸图像退化方法，其特征在于，所述对所述当前真实人脸特征进行迭代处理，迭代时对所述当前真实人脸特征进行通道退化，得到第一退化人脸特征，具体包括：
10.根据权利要求9所述的一种人脸图像退化方法，其特征在于，所述对所述当前真实人脸特征进行迭代处理，迭代时对所述当前真实人脸特征进行通道退化，得到第一退化人脸特征之后，还包括：
11.根据权利要求10所述的一种人脸图像退化方法，其特征在于，所述对所述退化融合人脸特征进行迭代处理，迭代时对所述退化融合人脸特征进行空间退化，得到第二退化人脸特征，具体包括：
12.根据权利要求7所述的一种人脸图像退化方法，其特征在于，所述基于预设的对抗优化方法，根据所述第二人脸图像数据集的多个第二退化人脸和所述多个生成人脸特征，计算并更新模型参数，具体包括：
13.一种人脸图像复原装置，其特征在于，包括数据获取模块、特征提取卷积模块、字典引导恢复模块和复原输出模块；
14.根据权利要求13所述的一种人脸图像复原装置，其特征在于，所述特征提取卷积模块包括特征提取子模块和卷积计算子模块；
15.根据权利要求14所述的一种人脸图像复原装置，其特征在于，所述卷积计算子模块包括卷积计算单元；
16.根据权利要求13所述的一种人脸图像复原装置，其特征在于，还包括人脸关键点检测模块；
17.根据权利要求16所述的一种人脸图像复原装置，其特征在于，所述字典引导恢复模块包括面部分量计算子模块、字典引导恢复子模块和人脸特征输出子模块；
18.一种人脸图像退化装置，其特征在于，包括待退化图像获取模块和图像退化输出模块；
19.根据权利要求18所述的一种人脸图像退化装置，其特征在于，所述图像退化输出模块包括模型训练子模块；所述模型训练子模块包括训练数据获取单元、模型迭代训练单元；
20.根据权利要求19所述的一种人脸图像退化装置，其特征在于，所述模型迭代训练单元包括特征选取子单元、通道退化子单元、第一融合子单元、空间退化子单元、第二融合子单元和整合输出子单元；
21.根据权利要求20所述的一种人脸图像退化装置，其特征在于，所述通道退化子单元包括通道退化组件；
22.根据权利要求21所述的一种人脸图像退化装置，其特征在于，所述模型迭代训练单元还包括迭代特征获取子单元；
23.根据权利要求22所述的一种人脸图像退化装置，其特征在于，所述空间退化子单元包括空间退化组件；
24.根据权利要求19所述的一种人脸图像退化装置，其特征在于，所述模型迭代训练单元还包括特征还原子单元、数据组合子单元、损失鉴别子单元和参数更新子单元；
...【技术特征摘要】
1.一种人脸图像复原方法，其特征在于，包括：
2.根据权利要求1所述的一种人脸图像复原方法，其特征在于，所述基于预设的特征提取卷积方法，对所述第一人脸图像进行特征提取并进行逐像素卷积和逐深度卷积，得到第一人脸特征，具体包括：
3.根据权利要求2所述的一种人脸图像复原方法，其特征在于，所述基于预设的特征提取卷积方法，对所述人脸特征向量进行逐像素卷积和逐深度卷积，得到第一人脸特征，具体包括：
4.根据权利要求1所述的一种人脸图像复原方法，其特征在于，所述基于预设的高质量面部分量字典，根据预设的字典引导恢复方法对第一人脸特征进行迭代，得到第二人脸特征之前，还包括：
5.根据权利要求4所述的一种人脸图像复原方法，其特征在于，所述基于预设的高质量面部分量字典，根据预设的字典引导恢复方法对第一人脸特征进行迭代，得到第二人脸特征，具体包括：
6.一种人脸图像退化方法，其特征在于，包括：
7.根据权利要求6所述的一种人脸图像退化方法，其特征在于，所述人脸退化模型是在预设的初始模型上通过通道退化、空间退化和对抗优化而训练得到的，具体包括：
8.根据权利要求7所述的一种人脸图像退化方法，其特征在于，所述基于预设的第一退化方法，对所述多个真实人脸特征进行迭代，迭代时进行通道退化和空间退化，得到多个生成人脸特征，具体包括：
9.根据权利要求8所述的一种人脸图像退化方法，其特征在于，所述对所述当前真实人脸特征进行迭代处理，迭代时对所述当前真实人脸特征进行通道退化，得到第一退化人脸特征，具体包括：
10.根据权利要求9所述的一种人脸图像退化方法，其特征在于，所述对所述当前真实人脸特征进行迭代处理，迭代时对所述当前真实人脸特征进行通道退化，得到第一退化人脸特征之后，还包括：
11.根据权利要求10所述的一种人脸图像退化方法，其特征在于，所述对所述退化融合人脸特征进行迭代处理，迭代时对所述退化融合人脸特征进行空间退化，得到第二退化人脸特征，具体包括：
12....
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。