结合自适应梯度分块和等距变换的改进Criminisi图像修复方法技术

本发明专利技术提供一种结合自适应梯度分块和等距变换的改进Criminisi图像修复方法，在该发明专利技术中，首先对待修复图像的已知和修复区域进行标记，对落入已知区域的所有像素点计算梯度直方图，从而将已知区域像素点划分为平滑、纹理和边缘三种类型；其次结合块分类的改进优先权函数增强对边缘纹理部分的辨别能力，以克服传统方法所导致的纹理延伸问题；再次通过判断待修复块中的已知梯度信息判断待修复块所属的块类型，并通过建立自适应块大小函数来保证不同类型采用不同大小的块进行修复，并且只在对应的类型中进行匹配来提高匹配效率；最后通过引入等距变换来提高匹配精度。同现有方法相比，本发明专利技术较好地克服了纹理延伸，时间复杂度高等问题，提高了修复质量。

【技术实现步骤摘要】

本专利技术属于图像信号处理领域，涉及一种数字图像修复方法，特别涉及一种结合自适应梯度分块和等距变换的改进Criminisi图像修复方法。
技术介绍
图像修复是对图像缺失信息区域进行信息填充，其目的是使填充后的图像接近或达到一定的视觉质量。图像修复技术是目前计算图形学和视觉计算中的研究热点，在文物保护，破损图像修补和复原，目标障碍物剔除以及高分辨率图像再现上有着重大的应用和研究价值。基于变分PDE的图像修补技术和基于纹理合成的图像修复技术是两种主要的图像修复策略。其中，变分PDE(PartialDifferentialEquation,PDE)的图像修补方法主体思想是利用物理学中的热扩散方程，将待修补区域周围的有效信息扩散到待修补区域。其中，比较典型的方法包括基于3阶PDE模拟平滑的BSCB(BertalmioSpairoCasellesandBellester)方法(BertalmioM.,SapiroG.,CasellesV.,etal.Imageinpainting[C]//Proceedingsofthe27thannualconferenceonComputergraphicsandinteractivetechniques.ACMPress/Addison-WesleyPublishingCo.,2000:417-424.)模型、整体变分(TV,TotalVariation)模型(ChanT.F,ShenJ.MathematicalModelsforLocalNontextureInpaintings.[J].SiamJournalonAppliedMathematics,2002,62(3):1019-1043.)和结合三阶PDE的CDD(CurvatureDrivenDiffusions)方法(ChanT.Non-textureinpaintingbycurvaturedrivendiffusion[J].J.visualComm.imageRep,2001,12:436-449.)。这些方法能很好地保留图像线性结构，在修复小尺度破损图像有较好的修复效果，然而上述方法是在有界变差空间上对图像建模，采用分段平滑函数将破损区域周围信息扩散到破损区域，导致对大范围破损或富纹理缺失区域的修复质量则整体欠佳。针对变分PDE图像修补方法存在的不足，一些学者提出了基于纹理合成的图像修复方法。比较典型的方法是Criminisi图像修复方法(CriminisiA.,PérezP.,ToyamaK.Regionfillingandobjectremovalbyexemplar-basedimageinpainting[J].IEEETransactionsonImageProcessing,2004,13(9):1200-1212.)，该方法主要由修复区域优先权计算、修复块全局匹配搜索和匹配块填充3步组成，其主体思想是从待修补区域边界上选取修复优先权最高的像素点，以该点为中心建立待修复块，利用待修复块中的已知信息在已知信息区域内寻找与该块纹理最相近的块来填充待修补区域。尽管Criminisi方法能够对大范围缺失信息图像进行较高质量的图像修复，但仍然存在很多不足：①Criminisi方法的优先权模型被设计为置信项和数据项的乘积，随着修补填充的不断进行，置信项在迭代多次后急剧下降且趋于零值，但是数据项保持平稳变化，这就导致数据项受制于趋于零值的置信项，使得优先权计算变得不可靠，因此导致错误的填充顺序，从而影响图像修复质量；②Criminisi方法在修复时并未对待修复块信息进行具体分析，导致优先权可能计算不可靠，易将纹理部分误认为边缘部分，造成本来属于纹理部分的图像块先修复，从而出现纹理延伸影响最终图像修复质量；③Criminisi方法在整个图像已知信息的所有区域寻找合适的匹配块，而忽视自然图像自身的局部自相似性，这将带来高昂的匹配计算代价；④Criminisi方法仅采用块与块之间的Euclidean距离直接匹配存在欠缺，会导致相似性度量不准确，造成直接匹配的目标块不是最佳目标块，从而影响图像修复质量。针对问题①，文献(ChengW.H.,HsiehC.W.,LinS.K,etal.Robustalgorithmforexemplar-basedimageinpainting[C]//TheInternationalConferenceonComputerGraphics,ImagingandVision(CGIV2005).2005:64-69.)将标准Criminisi方法中优先权计算模型的置信项与数据项乘积改为两项之和，并对数据项与置信项赋予简单的权重，以保证图像结构和纹理填充的正确顺序。文献(ZhouY.,LiL.,XiaK..Researchonweightedpriorityofexemplar-basedimageinpainting[J].JournalofElectronics,2012,29(1):166-170.)则在此基础上，对优先权公式进一步设置，通过增加数据项的权重来提高结构信息对于优先权的贡献度，使得所提策略在修复结构边缘图像时有着良好性能，但与此同时对非结构边缘图像修复时则会降低视觉质量，同时该方法需根据不同图像，手动选择不同的优先权模型，适用范围十分有限。文献(林云莉,赵俊红,朱学峰,等.改进的纹理合成图像修复算法[J].计算机应用与软件,2010,27(10):11-12.)则在优先权计算模型中引入补偿因子和加权系数，根据图像纹理结构信息来动态调节补偿因子和加权系数，使得不同图像对应着不同的优先权计算方法，但是并没有解决优先权的自动计算问题。文献(刘业妃，王福龙，奚祥艳.改进的Criminisi图像修复算法[J].小型微型计算机系统,2014,35(12):2754-2758.)在修改优先权模型时通过将置信项改为指数函数的形式，使得置信项的变化趋势相比原始方法更为平滑合理，但根据不同图像结构纹理信息丰富程度人为的选取权重因子来控制置信项与数据项的比例，同样存在优先权的自动计算问题。针对问题②，文献(任澍,唐向宏,康佳伦.利用纹理和边缘特征的Criminisi改进算法[J].中国图象图形学报,2012,17(9):1085-1091.)通过对待修复块已知像素点求其均值和方差，利用其法线方向对待修复块进行分割，采用均值差差值和方差差值两个因素来对图像待修复块进行纹理边缘区分，进而引入差别因子改进优先权模型，克服了修复过程中的纹理延伸，但仍然不能解本文档来自技高网...

【技术保护点】
结合自适应梯度分块和等距变换的改进Criminisi图像修复方法，其特征在于包括以下步骤：第1步：记G＝(gi,j＝‑1)m×n为待修复图像A＝(ai,j)m×n的梯度图，记Ω为待修复区域，由标记矩阵B＝(bi,j)m×n中bi,j＝0的元素进行标记，Φ为已知区域；由标记矩阵B＝(bi,j)m×n中最开始bi,j＝1的元素进行标记，Φ′为已修复区域；初始化Φ′＝Φ，为待修复区域边界，对即bi,j＝1中的元素，计算图像像素ai,j对应的梯度值gi,j，即gi,j＝Grad(ai,j,(i,j))；第2步：对G中每个gi,j≠‑1的元素按其对应的梯度值进行统计形成梯度直方图HG＝(hk)L，其中hk表示梯度值为k的G中元素发生次数，L为梯度直方图中梯度阶数；第3步：对梯度直方图中的每个梯度阶k＝0,1,…,L‑1，统计每个梯度值的发生概率Pk,k＝0,1,…,L‑1；第4步：将落入已修复区域Φ′中的每个像素划分成平滑、纹理和边缘区域像素；第5步：对计算p点对应的优先权Pp；第6步：确定优先权Pp最大的点自适应地确定当前待修复像素块的边长第7步：判断梯度项的块类型，在图像已知区域Φ中寻找和相匹配的的最优目标块的位置及其所对应的等距变换类型第8步：利用最优目标块和最优目标块所对应的等距变换类型将变换为并将当前待修复像素块中被bi,j＝0标记的像素由中的对应位置像素进行填充，然后将所有当前待修复像素块被填充像素的标记值由 bi,j＝0调整为bi,j＝1；第9步：反复执行第5步至第8步，直到图像中待修复区域Ω中所有像素点修复完毕，即B＝(bi,j)m×n中所有元素都调整成bi,j＝1，修复结束。...

【技术特征摘要】
1.结合自适应梯度分块和等距变换的改进Criminisi图像修复方法，其特征在于包括
以下步骤：
第1步：记G＝(gi,j＝-1)m×n为待修复图像A＝(ai,j)m×n的梯度图，记Ω为待修复区域，由
标记矩阵B＝(bi,j)m×n中bi,j＝0的元素进行标记，Φ为已知区域；由标记矩阵B＝(bi,j)m×n中
最开始bi,j＝1的元素进行标记，Φ′为已修复区域；初始化Φ′＝Φ，为待修复区域
边界，对即bi,j＝1中的元素，计算图像像素ai,j对应的梯度值gi,j，即gi,j＝Grad
(ai,j,(i,j))；
第2步：对G中每个gi,j≠-1的元素按其对应的梯度值进行统计形成梯度直方图HG＝
(hk)L，其中hk表示梯度值为k的G中元素发生次数，L为梯度直方图中梯度阶数；
第3步：对梯度直方图中的每个梯度阶k＝0,1,…,L-1，统计每个梯度值的发生概率Pk,k
＝0,1,…,L-1；
第4步：将落入已修复区域Φ′中的每个像素划分成平滑、纹理和边缘区域像素；
第5步：对计算p点对应的优先权Pp；
第6步：确定优先权Pp最大的点自适应地确定当前待修复像素块的边长第7步：判断梯度项的块类型，在图像已知区域Φ中寻找和相匹配的的最优目标块的位置及其所对应的等距变换类型第8步：利用最优目标块和最优目标块所对应的等距变换类型将变换为
并将当前待修复像素块中被bi,j＝0标记的像素由中的对应位置像素进行填充，
然后将所有当前待修复像素块被填充像素的标记值由bi,j＝0调整为bi,j＝1；
第9步：反复执行第5步至第8步，直到图像中待修复区域Ω中所有像素点修复完毕，即B
＝(bi,j)m×n中所有元素都调整成bi,j＝1，修复结束。
2.如权利要求1所述的结合自适应梯度分块和等距变换的改进Criminisi图像修复方
法，其特征在于：第1步中计算图像像素ai,j对应的梯度值gi,j,即gi,j＝Grad(ai,j,(i,j))的
具体方法为使用式(1)：
式(1)中，gx和gy是像素ai,j的x方向和y方向梯度，分别按式(2)和式(3)进行计算：
gx＝ai,j+1-ai,j-1(2)
gy＝ai+1,j-ai-1,j(3)
式(2)和式(3)中，若且ax,y∈Ω，即bx,y＝0则用ai,j替代
ax,y，从而保证每个落入已修补区域的元素ai,j∈Φ′在G中都有对应的梯度值。
3.如权利要求1所述的结合自适应梯度分块和等距变换的改进Criminisi图像修复方
法，其特征在于：第3步中统计每个梯度值的发生概率Pk,k＝0,1,…,L-1的具体方法为式
(4)：
Pk＝hk/Ncount(4)
式(4)中，Ncount是梯度直方图中所有梯度值的总数，按式(5)进行计算；
第4步中将落入Φ′中的每个...

【专利技术属性】
技术研发人员：邵利平，张从飞，师军，
申请(专利权)人：陕西师范大学，
类型：发明
国别省市：陕西;61