一种图像风格化重建方法及装置制造方法及图纸

本发明专利技术提供了一种图像风格化重建方法及装置，该方法包括：获取待转换的输入图像的第一边缘图像，以及目标风格图像的第二边缘图像；获取第一边缘图像的每一第一图像块的相似图像块集合，该每一相似图像块集合中的元素为与该第一图像块相似的第二图像块；根据所有的第一图像块，获取输入图像字典以及稀疏分解的稀疏系数；根据所有第一图像块对应的相似图像块集合，获取目标图像字典；根据所述输入图像字典、目标图像字典、稀疏系数，获得重建出所述输入图像的目标风格的第三图像；将第三图像和预先生成的初始化风格图像融合，得到用于输出的所述输入图像的重建风格化图像。上述方法及装置用以解决现有技术中图像风格化重建时无外部训练集的问题。

【技术实现步骤摘要】

本专利技术涉及图像处理
，尤其涉及一种图像风格化重建方法及装置。
技术介绍
随着科技的发展，人们可以用于图像采集的设备越来越多样化，对图像本身的表现形式的需求也越来越多样化。例如，在司法取证过程中需要把多个嫌疑人的照片与画家根据目击证人描述画出的素描图像进行比对以找出犯人，如果直接在素描图像基础上生成嫌疑人照片将大大提高疑犯识别效率；日常拍摄的图像也常常需要转换为油画风格的图像以改善视觉效果。以上应用都旨在实现图像在不同表现形式之间的转换，即图像的风格化重建。图像风格化重建的任务是给定目标域的图像，如何将输入图像转换为与目标域一致的图像。例如，给定一张素描图像，如何将一张照片转换为对应的素描图。由于不同域上图像差异较大，即使是描述同一场景的图像也同样存在此差异，因此，如何挖掘不同域图像的内在联系是图像风格化重建的关键问题。目前，利用稀疏表示来学习这种映射关系式近年来较为热门的方法，它的基本模型是认为自然信号(包括图像)可以用一组事先定义的基信号(即字典)的线性组合紧致表达，其中线性系数是稀疏的，即系数中大多数元素为0。稀疏系数在满约束条件的同时还需要非零元素的个数尽可能少，也就是需要尽可能稀疏，这是对图像信号的先验约束。大多数现有算法依赖于从外部耦合数据库学习不同域图像的映射关系，例如，业内人士提出可以事先分别训练对应的高低分辨率的字典，将输入的低分辨率图像用低分辨率字典稀疏表示，然后将该稀疏系数与对应的高分辨率字典相乘即可得到高分辨率的图像。现有已经使用类似的方法训练耦合字典从而解决图像风格转换问题。然而，在实际应用中，这样的外部数据库非常有限，更多的情况是没有外部训练集的，即无源的，从而导致基于耦合数据库的跨域重建方法不再适用。为此，如何实现一种无源的图像风格化重建方法成为当前急需解决的技术问题。
技术实现思路
针对现有技术中的缺陷，本专利技术提供一种图像风格化重建方法及装置，用以解决现有技术中图像风格化重建时无外部训练集的问题。第一方面，本专利技术提供一种图像风格化重建方法，包括：获取待转换的输入图像的第一边缘图像，以及获取预定的目标风格图像的第二边缘图像；将第一边缘图像划分为r*r大小的第一图像块，以及将第二边缘图像划分为r*r大小的第二图像块，r为大于1的自然数；获取第一边缘图像的每一第一图像块的相似图像块集合，该每一相似图像块集合中的元素为与该第一图像块相似的第二图像块；根据所有的第一图像块，获取输入图像字典以及稀疏分解的稀疏系数；根据所有第一图像块对应的相似图像块集合，获取目标图像字典；根据所述输入图像字典、目标图像字典、稀疏分解的稀疏系数，获得重建出所述输入图像的目标风格的第三图像；采用纹理迁移方式，生成所述输入图像的初始化风格图像；将所述第三图像和所述初始化风格图像融合，得到用于输出的所述输入图像的重建风格化图像。可选地，所述获取待转换的输入图像的第一边缘图像，以及获取预定的目标风格图像的第二边缘图像，包括：根据下述公式一，获取所述输入图像的滤波输出图像以及所述目标风格图像的滤波输出图像；将所述输入图像减去所述输入图像的滤波输出图像，获得所述第一边缘图像，以及将所述目标风格图像减去所述目标风格图像的滤波输出图像，获得所述第二边缘图像；其中，hi＝ΣjWi,j(I)gj公式一g为待滤波的图像，h是滤波后的输出图像，I是引导图像，输出图像中i位置的像素值hi；i和j均为像素编号；Wi,j为核函数。可选地，获取第一边缘图像的每一第一图像块的相似图像块集合，包括：根据下述公式二，确定所述第一边缘图像中每一第一图像块的相似图像块集合；其中，Diff(p,q)=||p-q||22+η·||▿p-▿q||22]]>公式二Diff(p,q)表示p图像块和q图像块之间的相似性，p为所述第一边缘图像中的第一图像块的任一个，q为所述第二边缘图像中的第二图像块的任一个；是梯度算子，η为系统参数。可选地，根据所有的第一图像块，获取输入图像字典，包括：根据公式三，获取所述输入图像字典；其中，Dp=argminDp{P-DpΓ本文档来自技高网...

【技术保护点】
一种图像风格化重建方法，其特征在于，包括：获取待转换的输入图像的第一边缘图像，以及获取预定的目标风格图像的第二边缘图像；将第一边缘图像划分为r*r大小的第一图像块，以及将第二边缘图像划分为r*r大小的第二图像块，r为大于1的自然数；获取第一边缘图像的每一第一图像块的相似图像块集合，该每一相似图像块集合中的元素为与该第一图像块相似的第二图像块；根据所有的第一图像块，获取输入图像字典以及稀疏分解的稀疏系数；根据所有第一图像块对应的相似图像块集合，获取目标图像字典；根据所述输入图像字典、目标图像字典、稀疏分解的稀疏系数，获得重建出所述输入图像的目标风格的第三图像；采用纹理迁移方式，生成所述输入图像的初始化风格图像；将所述第三图像和所述初始化风格图像融合，得到用于输出的所述输入图像的重建风格化图像。

【技术特征摘要】
1.一种图像风格化重建方法，其特征在于，包括：获取待转换的输入图像的第一边缘图像，以及获取预定的目标风格图像的第二边缘图像；将第一边缘图像划分为r*r大小的第一图像块，以及将第二边缘图像划分为r*r大小的第二图像块，r为大于1的自然数；获取第一边缘图像的每一第一图像块的相似图像块集合，该每一相似图像块集合中的元素为与该第一图像块相似的第二图像块；根据所有的第一图像块，获取输入图像字典以及稀疏分解的稀疏系数；根据所有第一图像块对应的相似图像块集合，获取目标图像字典；根据所述输入图像字典、目标图像字典、稀疏分解的稀疏系数，获得重建出所述输入图像的目标风格的第三图像；采用纹理迁移方式，生成所述输入图像的初始化风格图像；将所述第三图像和所述初始化风格图像融合，得到用于输出的所述输入图像的重建风格化图像。2.根据权利要求1所述的方法，其特征在于，所述获取待转换的输入图像的第一边缘图像，以及获取预定的目标风格图像的第二边缘图像，包括：根据下述公式一，获取所述输入图像的滤波输出图像以及所述目标风格图像的滤波输出图像；将所述输入图像减去所述...

【专利技术属性】
技术研发人员：白蔚，刘家瑛，杨帅，郭宗明，
申请(专利权)人：北京大学，北大方正集团有限公司，北京北大方正电子有限公司，
类型：发明
国别省市：北京;11