使用隐编码库对模糊人脸图像去模糊方法技术

本发明专利技术公开了一种使用隐编码库对模糊人脸图像去模糊方法，包括：1)对输入的模糊人脸图像进行下采样，每次下采样提取对应分辨率图像的特征图以及隐编码，最终得到隐编码矩阵和不同分辨率的特征图；2)将得到的隐编码矩阵和不同分辨率的特征图，分层传入隐编码库；3)隐编码库将最终下采样得到的特征图作为原始输入，不断进行向上采样及针对隐编码风格应用和对应分辨率特征图的卷积，实现图像重建；4)完成隐编码库的图像重建，形成与输入的模糊人脸图像有高相似度的人脸高分辨率图像。本发明专利技术能够强化退化图像的特征提取及其在重建过程的表达能力，对退化特征的提取进行了层次化解耦以便于在重建过程中的层次迭代中不断解耦地应用对应尺度的特征。应用对应尺度的特征。应用对应尺度的特征。

【技术实现步骤摘要】
使用隐编码库对模糊人脸图像去模糊方法


[0001]本专利技术涉及图像去模糊、图像重建和人脸去模糊的
，尤其是指一种使用隐编码库对模糊人脸图像去模糊方法。

技术介绍

[0002]图像去模糊是指将由于运动模糊产生导致退化后的图像进行清晰化和复原重建的操作，在计算机视觉任务中发挥了重要的作用。而去模糊操作中最重要的是对模糊图像的可用特征进行提取后进行重建。
[0003]在实验室场景中，图像去模糊通常是通过基于数学方法对模糊图像的卷积核进行模拟后逆操作完成，这种方法具有图像梯度分布的先验知识来进行理论支撑，但由于运动模糊的随机性和不确定性导致要求过高的迭代次数和卷积核数量精度，导致在实际操作中，该方法有较强的误差产生人工痕迹。在此之后有一种新的去模糊思路得到了发展即通过提取模糊图像所有的特征后，通过特征进行图像重建。重建后的图像理论上具有所有模糊图像的特征的同时，利用图像先验知识对仍模糊的图像进行特征的细节化填充。但该方法的重建效果依赖于训练集提供的先验知识以及退化图像在复原图像中的特征表达能力。导致图像重建在图像去模糊中由于特征的表达和训练集特征的覆盖度而有着与原图较大的差异，复原精度仍需提升。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺点与不足，提出了一种使用隐编码库对模糊人脸图像去模糊方法，该方法能够强化退化图像的特征提取及其在重建过程的表达能力，同时对退化特征的提取进行了层次化解耦以便于在重建过程中的层次迭代中不断解耦地应用对应尺度的特征，这样即提高了原图的特征表达，也使得在重建过程中不同特征的表达更具独立性而非互相影响表达效果。
[0005]为实现上述目的，本专利技术所提供的技术方案为：使用隐编码库对模糊人脸图像去模糊方法，包括以下步骤：
[0006]1)对输入的模糊人脸图像进行下采样，每次下采样提取对应分辨率图像的特征图以及隐编码，最终得到隐编码矩阵和不同分辨率的特征图；
[0007]2)将得到的隐编码矩阵和不同分辨率的特征图，分层传入隐编码库；
[0008]3)隐编码库将最终下采样得到的特征图作为原始输入，不断进行向上采样及针对隐编码风格应用和对应分辨率特征图的卷积，实现图像重建；
[0009]4)完成隐编码库的图像重建，形成与输入的模糊人脸图像有高相似度的人脸高分辨率图像。
[0010]进一步，在步骤1)中，通过编码器对输入的模糊人脸图像进行N层次下采样，首先，通过RRDBNet对模糊人脸图像的输入进行特征图提取，然后通过以下公式逐渐降低特征的分辨率：f
i
＝E
i
(f
i
‑1),i＝1,2,3,...,N，其中f
i
为第i层通过RRDBNet提取的特征图；f
i
‑1为第
i
‑
1层通过RRDBNet提取的特征图，分辨率为f
i
的2*2倍；E
i
表示一个步长为2的卷积与步长为1的卷积的堆栈，为RRDBNet一个单独的下采样层表示，最后，通过卷积和全连接层来生成隐编码矩阵，隐编码矩阵表示为：C＝E
N+1
(f
N
)，其中f
N
为第N层所得到的特征图，E
N+1
为最后一层即第N+1个下采样层，步骤1)最终产生了不同分辨率的特征图f
i
和隐编码矩阵C。
[0011]进一步，在步骤2)中，隐编码矩阵为C＝(c0,c1,c2,...,c
p
,...,c
N
),p＝0,1,2,3,...,N，其中c
p
代表C中的第p列经过N
‑
p次下采样所提取的隐编码，是对应分辨率图像信息的降维表示，为隐编码库提供了特征和风格的高维度信息，帮助其在图像重建过程中恢复纹理的特征信息；f
i
为输入的模糊人脸图像原尺寸到经过i层下采样中每一个分辨率的多尺度卷积特征图；f
i
包含模糊人脸图像本身的特征信息，用于监督和修正图像在重建过程中的特征表达，隐编码库的结构层数与步骤1)中下采样次数相同，每层需要对应分辨率的特征图f
i
和对应分辨率提取的隐编码c
p
作为图像的特征信息输入。
[0012]进一步，在步骤3)中，f
N
为第N层所得到的特征图，具体为输入的模糊人脸图像尺寸经过N层下采样后的最小分辨率的卷积特征图，其作为隐编码库的初始输入，隐编码库的结构操作表示为：
[0013][0014]式中，S
i
表示对从第1层开始到第N层的隐编码库网络结构，该网络结构以基于风格的对抗生成网络为基础；该网络结构的层级关系与步骤1)的层次结构相对应；每个层级包含以下四步操作：
[0015]第一步，上采样操作：
[0016]k(x,y)＝k(i+u,j+v)
[0017]k(i+u,j+v)＝(1
‑
u)*(1
‑
v)*k(i,j)+(1
‑
u)*v*k(i,j+1)+u*(1
‑
v)*k(i+1,j)+u*v*k(i+1,j+1)
[0018]式中，k(x,y)代表上采样后单通道位于坐标(x,y)的像素值；(i,j)为上采样操作前的原始坐标；u和v为插值上采样法的横向、纵向步长；该步骤最终得到分辨率为原始人脸图像两倍的特征；
[0019]第二步，使用风格应用模块AdaIN即实例归一化操作，对传入图像进行风格应用和特征应用操作，将相应层级隐编码所提取到的特征风格信息对上采样后的图像进行应用，最终得到具有相应层级分辨率下提取到隐编码所包含特征的特征图；
[0020]第三步，使用随机噪声添加模块对添加特征的图进行一次噪声添加，旨在提高特征表达的拟真度，减少特征表达在图像应用时所造成的人工痕迹；
[0021]第四步，对相应层级传入的特征图和风格应用后生成的特征图进行卷积操作，使用以下公式：
[0022][0023]式中，h[x,y]为卷积后的新图单通道位于(x,y)的像素值，g
i
‑1[x,y]为上一层级产生的特征图位于(x,y)的像素值，f
N
‑
i
[x,y]为当前层级输入的特征图位于(x,y)的像素值，n1,n2为单通道位于(x,y)周围进行偏移量的像素值；通过对输入的不同分辨率的模糊人脸
图像提取的特征图进行卷积，旨在监督图像的风格表达，对图像的基本姿态生成进行一次收束；
[0024]回到隐编码库网络结构表示，其中最初始接受输入的S0表示为第0层的网络结构，相比S
i
缺少上一个块所生成特征输入；隐编码库第0层使用c0作为输入，其中c0为隐编码矩阵C＝E
N+1
(f
N
)中的第0列，进行自适应实例归一化，同时增加随机噪声本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.使用隐编码库对模糊人脸图像去模糊方法，其特征在于，包括以下步骤：1)对输入的模糊人脸图像进行下采样，每次下采样提取对应分辨率图像的特征图以及隐编码，最终得到隐编码矩阵和不同分辨率的特征图；2)将得到的隐编码矩阵和不同分辨率的特征图，分层传入隐编码库；3)隐编码库将最终下采样得到的特征图作为原始输入，不断进行向上采样及针对隐编码风格应用和对应分辨率特征图的卷积，实现图像重建；4)完成隐编码库的图像重建，形成与输入的模糊人脸图像有高相似度的人脸高分辨率图像。2.根据权利要求1所述的使用隐编码库对模糊人脸图像去模糊方法，其特征在于，在步骤1)中，通过编码器对输入的模糊人脸图像进行N层次下采样，首先，通过RRDBNet对模糊人脸图像的输入进行特征图提取，然后通过以下公式逐渐降低特征的分辨率：f
i
＝E
i
(f
i
‑1),i＝1,2,3,...,N，其中f
i
为第i层通过RRDBNet提取的特征图；f
i
‑1为第i
‑
1层通过RRDBNet提取的特征图，分辨率为f
i
的2*2倍；E
i
表示一个步长为2的卷积与步长为1的卷积的堆栈，为RRDBNet一个单独的下采样层表示，最后，通过卷积和全连接层来生成隐编码矩阵，隐编码矩阵表示为：C＝E
N+1
(f
N
)，其中f
N
为第N层所得到的特征图，E
N+1
为最后一层即第N+1个下采样层，步骤1)最终产生了不同分辨率的特征图f
i
和隐编码矩阵C。3.根据权利要求2所述的使用隐编码库对模糊人脸图像去模糊方法，其特征在于，在步骤2)中，隐编码矩阵为C＝(c0,c1,c2,...,c
p
,...,c
N
),p＝0,1,2,3,...,N，其中c
p
代表C中的第p列经过N
‑
p次下采样所提取的隐编码，是对应分辨率图像信息的降维表示，为隐编码库提供了特征和风格的高维度信息，帮助其在图像重建过程中恢复纹理的特征信息；f
i
为输入的模糊人脸图像原尺寸到经过i层下采样中每一个分辨率的多尺度卷积特征图；f
i
包含模糊人脸图像本身的特征信息，用于监督和修正图像在重建过程中的特征表达，隐编码库的结构层数与步骤1)中下采样次数相同，每层需要对应分辨率的特征图f
i
和对应分辨率提取的隐编码c
p
作为图像的特征信息输入。4.根据权利要求3所述的使用隐编码库对模糊人脸图像去模糊方法，其特征在于，在步骤3)中，f
N
为第N层所得到的特征图，具体为输入的模糊人脸图像尺寸经过N层下采样后的最小分辨率的卷积特征图，其作为隐编码库的初始输入，隐编码库的结构操作表示为：式中，S
i
表示对从第1层开始到第N层的隐编码库网络结构，该网络结构以基于风格的对抗生成网络为基础；该网络结构的层级关系与步骤1)的层次结构相对应；每个层级包含以下四步操作：第一步，上采样操作：k(x,y)＝k(i+u,j+v)k(i+u,j+v)＝(1
‑
u)*(1
‑
v)*k(i,j)+(1
‑
u)*v*k(i...

【专利技术属性】
技术研发人员：何盛烽，姜雨馨，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：