一种图像修复方法技术

一种图像修复方法，由用户选择出图像上待修复的区域后进行自动修复过程，自动修复过程以边缘面片作为一次迭代填充的单位，重复下面四步，直到填满整个待修复区域：第一步，计算边缘上所有面片的优先级；第二步，根据优先级和相似度准则确定本次迭代将填充的边缘面片；第三步，采用纹理合成方法，同时扩展已知的纹理和结构信息；第四步，更新本次迭代处理的面片内被合成的像素确信度值。实验结果表明，本发明专利技术的修复结果优于当前同类修复方法所生成的结果，修复过程更接近于手工修复过程，鲁棒性高，有效地防止了错误信息的连续扩展，已成功地应用于多种具有复杂纹理和结构特征的真实照片或合成图像的修复。此外，本发明专利技术也应用于数字博物馆中古字画的修复。

【技术实现步骤摘要】

本专利技术属于计算机虚拟现实和计算机图形学
，具体地说，是一种图像修复技术——受损图像的重构和图像上物体的移除。
技术介绍
一般地，图像修复本身是一种艺术。早在文艺复兴时期，古代雕塑就已经出现断头少臂的现象，因而，雕塑家不仅自身要创作作品，同时也要修复古代的雕塑，其主要是填补美术品上所出现的裂痕或沟，如文献1的G.Emile-Male.“The Restorer’s Handbook of Easel Painting”.Van NostrandReinhold，New York，1976介绍的。我国是个文物大国，为了对宝贵的文物资源进行永久保护，重现古字画或者旧照片的原貌。我国古字画上面经常印有收藏家的印章，或者因折叠年代久远而产生的褶痕；另一方面，真实场景的照片或者合成的图像，经常需要移除照片上一些多余的大块对象，悬浮的文字等，特别是一些旧照片上的褶痕需要修复。因此，我们需要寻找一种自动化的图像修复方法。图像的受损部分和移除部分都可看作是丢失的信息形成的空洞，因此，图像修复技术主要解决的问题是如何填充这些空洞。以前，有两种典型的图像修复方法纹理合成领域中的约束合成(constrained synthesis)，如文献2的A.Efros and T.Leung，“Texture synthesis by nonparametricsampling，”in Proc.Int.Conf.Computer Vision，Kerkyra，Greece，Sept.1999，pp.1033-1038和L.Liang，C.Liu，Y.-Q.Xu，B.Guo，and H.-Y.Shum，“Real-time texture synthesis by patch-based sampling，”in ACMTrans.Graphics，2001介绍的和数学计算的数字图像修复(imageinpainting)方法，如文献3的Bertalmio，M，Sapiro，G.，Caselles，V.，Ballester，C.“lmage lnpainting”.SIGGRAPH 2000，pages 417-424。前一种，基于样图的纹理合成方法中的约束纹理合成方法是基于马科夫随机场(Markov Random Field，MRF)模型，即利用纹理图像的重复性和随机性特征，根据周围已知图像信息填充丢失的信息。以待填充区域边缘上一点为中心的正方形面片(Patch)(尺寸由用户定义)为匹配窗口，利用该窗口中包括的已知部分，在已知的图像中查找最匹配的面片，来填充该窗口中的未知部分。该方法适合于修复面积较大的受损区域。但是该方法的修复对象局限于纹理图像，对于线形结构较强的图像就显得无能为力。后一种，数学计算的数字图像修复方法是一种基于物理热流偏微分方程(partial differential equations)的数字图像修复方法。已知的颜色信息(RGB三个通道)沿着等照度线(isophote)方向(垂直于颜色梯度向量)向待修复区域渗透扩展(利用微分方程)。从而实现了保存边缘信息的同时向内扩展已知信息。二维Laplacian变换用来实现颜色的局部平滑变化过渡，并且沿着等照度线方向扩展。在每一重修复处理之后，都要对所修复的区域进行平滑处理。该方法能有效地保持原图像的线形结构，适合于修复旧照片上裂痕、悬浮的文字等细长的区域。但是在修复较大区域的时候，采用渗透扩展的方法会丢失内部细节，而出现明显的模糊现象。后来，基于样图的图像修复(exemplar-based image inpainting)方法，文献5的M.K.Leung and Y-H.Yang.First sighta human body outlinelabeling system.IEEE Trans.Pattern Analysis and Machine Intelligence，(17)4359-377，1995有效地结合了上述两种方法的优点，利用纹理合成方法同时复制纹理和结构性信息，而结构性特征信息的扩展依赖于填充的顺序。修复方法的核心思想是利用等照度线(isophote)控制图像采样过程，具体过程如下(a)计算所有边缘面片的优先级优先级决定填充顺序，是纹理合成方法能实现线性结构信息扩展的关键因素。(b)纹理和结构信息的扩展首先，选择优先级最高的面片作为本次迭代内将填充的边缘面片；接着，类似于一般的纹理合成方法，颜色空间内两个面片之间的距离作为相似性的度量准则，在原图像的整个已知区域内，查找与其最匹配(距离最小)的面片；最后，该边缘面片内的未知像素颜色值直接复制相应的匹配块内的颜色值。(c)本次迭代中所有合成像素的确信度(confidence)值更新为该边缘面片的确信度值。待修复区域内像素的确信度值的扩展方式近似于数学计算的数字图像修复过程中已知颜色信息的扩展方式；而该区域内像素的实际颜色通过基于样图的纹理合成方法获取。该方法修复的效果更好，但是也存在一些问题第一，在步骤(b)中，单纯利用颜色信息来衡量相似度；第二，在步骤(b)中，填充顺序只是简单地根据优先级来确定，而忽略了相似性原则；第三，在步骤(c)中，像素确信度计算中没有考虑匹配误差的影响。这些问题影响到了该方法的鲁棒性和最终的修复效果，因为不能有效地防止纹理合成过程中普遍存在的一个问题——错误信息的蔓延。
技术实现思路
本专利技术的技术解决问题克服现有技术的不足，提供一种鲁棒性高、修复效果好的图像修复方法，用户只需要指定待修复区域，该方法能够自动修复具有复杂纹理和结构特征的真实照片、合成图像和数字博物馆中的古字画。本专利技术的技术解决方案，在基于样图的图像修复(exemplar-based image inpainting)思想的基础上，其特点在于用户选择出图像上待修复的区域，并且确定局部源区域的范围，即以边缘面片为中心的样图采样区域窗口大小后进行自动修复过程，自动修复过程以边缘面片作为一次迭代填充的单位，重复下面四步，直到填满整个待修复区域第一步，计算边缘上所有面片的优先级；第二步，根据优先级和相似度准则确定本次迭代将填充的边缘面片；第三步，采用纹理合成方法，同时扩展已知的纹理和结构信息；第四步，更新本次迭代处理的面片内被合成的像素确信度值。本专利技术的图像修复方法与现有修复方法相比的优点在于修复的效果好，修复过程更接近于手工修复过程，鲁棒性高，有效地防止了错误信息的连续扩展，已成功地应用于多种具有复杂纹理和结构特征的真实照片或合成图像的修复。此外，本专利技术也应用于数字博物馆中古字画的修复。附图说明图1示出本专利技术中所涉及到的符号定义；图2示出受限纹理合成过程；图3示出某一次迭代过程中根据优先级和相似度准则确定待填充边缘面片的流程图；图4示出本专利技术中提出的填充顺序调整策略的重要性；图5示出本专利技术在相似性判断准则中引入梯度信息的必要性。具体实施例方式首先，定义一些符号，如图1所示待修复图像I；区域Ω为待修复区域(待填充区域)，称为目标区域，由用户指定，形状不受任何限制；Ω是指当前未填充区域的边缘线，随着修复的进行，Ω不停地改变；Φ是图像中的已知部分(I-Ω)，是填充Ω区域的采样空间，称为源区域；P、Q是本文档来自技高网...

【技术保护点】
一种图像修复方法，其特征在于包括以下步骤：（１）用户选择出图像上待修复的区域；（２）自动修复过程，该自动修复过程是以边缘面片作为一次迭代填充的单位，重复下面四步，直到填满整个被修复区域内所有的像素，其步骤如下：第一步 ，计算边缘上所有面片的优先级；第二步，根据优先级和相似度准则确定本次迭代将填充的边缘面片；第三步，采用纹理合成方法，同时扩展已知的纹理和结构信息；第四步，更新本次迭代处理的面片内被合成的像素确信度值。

【技术特征摘要】

【专利技术属性】
技术研发人员：赵沁平，齐越，沈旭昆，李便茹，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：11[中国|北京]