基于格子波尔兹曼模型的视频图像瑕疵修复方法技术

本发明专利技术公开了一种基于格子波尔兹曼模型的视频图像瑕疵修复方法。该方法的操作步骤为：1）输入待修复对象；2）判断修复对象的格式，若是图像则转入步骤5）进行修复，否则进入步骤3）；3）判断输入的视频信号格式，若是模拟视频则先通过视频采集卡转化为数字视频，再进入步骤4），否则直接转入步骤4）；4）将视频分解成帧；5）、对分解的每帧图像使用提出的格子波尔兹曼方法修复；6）、判断所需输出格式，若有需要合成视频，否则直接输出图像。格子波尔兹曼修复方法通过碰撞和迁移过程对模型中各节点粒子密度进行更新，若达到迭代次数或满足阈值条件则输出。该修复方法实现简单且并行性好，在保持较好修复质量的同时能够提高修复效率。

【技术实现步骤摘要】

本专利技术属于视频图像处理领域，提出一种基于格子波模型的视频图像瑕疵修复方法。
技术介绍
随着数字化技术的发展，数字视频的保存和修复已成为老档案，老照片，旧影视资料等保存和修复的重要手段。数字视频的修复即利用视频帧的空间结构信息或视频各帧之间的连续性来实现视频内指定破损区域的修复和填充，使视频具有空间平滑性和时间连续性，提高视频的可观赏性，被广泛应用于多种情况，如在场景中去除多余的目标、旧影视资料中斑点或划痕的修复，以及解决老胶片在播放过程中产生闪烁的问题等。视频修复技术是对数字图像修复技术的延展，目前主要的视频修复技术与图像修复技术类似，而针对图像修复问题国内外主要采用基于偏微分方程(Partial Differential Equation, PDE）的方法和基于纹理合成的方法。基于偏微分方程的修复方法最早是仿照人工修复的原理，利用图像破损区域的周围信息沿着等照度线方向逐渐向破损区域扩散的方式达到平滑修复的效果，该方法针对较小尺度以及不具有复杂纹理结构的破损图像，能够得到较好的修复效果。Chan和Shen提出全变分模型（TV模型）用于修复，（Chan T,Shen J.2002.Mathematical models for local non-texture inpainting[J].SIAM Journal on Applied Mathematics,62(3):1019-1043.）TV修复方法通过对能量泛函求最小值得。TV模型在修复较大区域时会出现不连续的问题，破坏了视觉连通性原则，曲率驱动扩散模型（Curvature Driven Diffusion，CDD）用于修复时（T. Chan, J. Shen. Non-Texture Inpaintings by Curvature-Driven Diffusions [C].JVCIR,2001, 12(4):436-449）不会出现不连续的问题，将曲率嵌入到扩散系数中。CDD模型能够实现较大破损区域的修复，当修复区域处于边缘部分时，能够得到较好的修复效果。TV模型和CDD模型均能够实现较好的修复效果，但从计算效率来看，对于偏微分方程的求解需要数值的计算，算法实现较复杂，所花费时间较长，实现效率低。基于纹理合成的图像修复方式即图像补全技术是利用待修边界以外的信息，对破损区域边界利用搜索匹配块的方式来逐渐复制填充破损区域边界（张红英,彭启琮.数字图像修复技术综述[J].中国图像图形学报,2007,12(1): 1-10）。    这种修复方法能够实现较大区域破损的修复，以及通过匹配填充能够得到较好的纹理特性。但这类方法在修复区域内部易产生明显的颜色与结构的不一致性，修复效果不够理想，并且其本身的计算比较耗时，导致图像修复的效率低下。而格子波尔兹曼模型具有清晰的物理思想，简单边界处理和快速并行计算的优点，并且它是离散的空间模型，特别适合于数字图像处理。从格子波尔兹曼模型的微观模型，设计格子波尔兹曼模型演化方程，最后可以得到满足图像处理要求的宏观偏微分方程。因此格子波尔兹曼模型方法为实现图像处理的快速高效和准确性提供了实现途径。
技术实现思路
本专利技术的目的在于针对影像中存在的有瑕疵而失真的问题而提出一种新颖快速跨平台的基于格子波尔兹曼模型的修复实现方案，以解决现有技术中修复区域不连续，图像修复效率不高的问题，该方法旨在于保持较好修复效果的同时能得到较好的修复效率，可用于修复影像中的各种瑕疵，如斑点、划痕和目标物的去除等等。并且以该修复方法为核心，开发了可在多种软硬平台上运行的修复系统，使得该方法得到更为广泛的应用。为了实现上述目的，本专利技术采用如下技术方案：本专利技术提出一种基于格子波尔兹曼模型的修复实现方案，可在包括PC和服务器的硬件计算平台，和包括Android、Linux、Mac、Windows在内的多种软件操作系统上运行。其主要步骤如下：1）、输入含有瑕疵的图像 ；2）、判断修复对象的格式，若是图像修复则转至步骤5）进行修复，否则进入步骤3）；3）、判断输入的是数字视频还是模拟视频，若是模拟视频则先通过视频采集卡转换为数字视频，再进入步骤4），否则，直接进入步骤4）；4）、将视频分解成帧如25帧/秒；5）、对分解的每帧图像使用提出的格子波尔兹曼模型进行修复；6）、判断所需输出格式，若所需输出为视频，则合成视频，否则直接输出图像。针对上文提到的格子波尔兹曼模型修复，本专利技术提出一种各向异性扩散格子波尔兹曼模型（D2Q9模型），并利用该模型实现瑕疵修复是利用待修复区域以及周围信息的梯度或曲率等几何信息来设计扩散系数，根据图像本身的几何特性来控制粒子的扩散演化速度从而实现平滑修复的过程。由于各类视频均可分解成图像，不失一般性，本专利技术以修复bmp格式的斑点和划痕图像为例，在装有Windows操作系统的PC机上进行实验，修复结果见图9，10，数据记录见图12、图13。修复的主要流程图如图3所示，本专利技术是结合TV模型和CDD模型宏观方程中的扩散系数特点，针对图像和视频中出现的斑点和划痕瑕疵设计应用于格子波尔兹曼模型中的扩散系数，从而在保持较好修复效果的同时提高修复效率。对于已经读入的含有瑕疵的图像，其主要步骤如下：1)、判断检测破损区域，并对检测到的区域进行膨胀得到，预处理得图像；2)、建立格子波尔兹曼模型，设置初始平衡态分布函数；3)、确立格子波尔兹曼模型演化方程的迭代次数，以及迭代终止条件和迭代终止阈值；4)、设计格子波尔兹曼模型演化方程的扩散系数；5)、根据格子波尔兹曼模型中的D2Q9模型，更新格子波尔兹曼模型演化方程中的平衡态分布函数；6)、计算格子波尔兹曼模型中的迁移过程： ；7)、计算格子波尔兹曼模型中的碰撞过程：   8)、更新模型各节点处粒子密度，及待修复区域的外围信息；9)、判断是否满足迭代终止条件，如果不满足迭代停止条件则进入步骤10），否则修复结束；10)、判断迭代次数是否达到N，如果没有达到迭代次数N则转至步骤4），并重复步骤4)-9)，直到达到迭代次数N后结束修复；上述步骤3）中，提出利用迭代终止条件来判断是否停止格子波尔兹曼模型演化方程的迭代，常用的迭代终止条件为：其中，为预先设定的阈值，而为输入图像的破损区域像素个数。本专利技术对上述迭代终止条件进行了优化，将每次迭代前后待修复区域像素差值的绝对值分为5段，并为每一段分配一个权重，这里称作差值权重，如图5所示。在每次迭代前后，像素差值越大所需要继续迭代的机会越大，所以差值权重表示了在演化过程中像素差值处像素点演化的重要性。这里差值权重设为，而本专利技术提出的迭代终止条件为：其中，会根据不同的待修复图像以及对修复质量的要求进行预先设置。上述步骤4）中，提出对格子波尔兹曼模型演化方程的扩散系数进行设计。在TV模型和CDD模型中，其扩散系数分别为：和其中，为待修复图像的梯度，为曲率函数。在斑点失真本文档来自技高网...

【技术保护点】
一种快速新颖跨平台的基于格子波尔兹曼模型的视频图像瑕疵修复方法，其特征在于视频图像瑕疵修复的操作步骤如下：1)、输入含有瑕疵的图像；2）、判断修复对象的格式，若是图像修复则转入步骤5）进行修复，否则进入步骤3）；3）、判断输入的是数字视频还是模拟视频，若是模拟视频则先通过视频采集卡转化为数字视频，再转入步骤4），否则，直接进入步骤4）；4）、将视频分解成帧；5）、对分解的每帧图像使用提出的格子波尔兹曼方法进行修复；6）、判断所需输出格式，若所需输出为视频，则合成视频，否则直接输出图像。

【技术特征摘要】
1.一种快速新颖跨平台的基于格子波尔兹曼模型的视频图像瑕疵修复方法，其特征在于视频图像瑕疵修复的操作步骤如下：
1)、输入含有瑕疵的图像                                                ；
2）、判断修复对象的格式，若是图像修复则转入步骤5）进行修复，否则进入步骤3）；
3）、判断输入的是数字视频还是模拟视频，若是模拟视频则先通过视频采集卡转化为数字视频，再转入步骤4），否则，直接进入步骤4）；
4）、将视频分解成帧；
5）、对分解的每帧图像使用提出的格子波尔兹曼方法进行修复；
6）、判断所需输出格式，若所需输出为视频，则合成视频，否则直接输出图像。
2.根据权利1所述基于格子波尔兹曼模型的视频图像瑕疵修复方法，其特征在于：
所述的视频包含MPEG-1、MPEG-4、AVI、RM、ASF、WMV、MOV或MKV格式的数字或模拟视频；所述的图像包括各类遥感成像、或者医学仪器成像得到的模拟或数字图像，其格式包括bmp、jpg、gif、或png；所述的瑕疵来源包括成像设备故障造成的色彩失真，老照片的褪色、折痕，胶片的老化造成的播放闪烁，旧影视资料的斑点、划痕。
3.根据权利要求1所述基于格子波尔兹曼模型的视频图像瑕疵修复方法，其特征在于：
所述格子波尔兹曼模型：通过把图像的边缘截止函数嵌入到格子波尔兹曼模型的松弛因子中求解扩散方程得以实现，常用的二维格子波尔兹曼模型包括D2Q5——二维5个方向扩散,D2Q9，三维的格子波尔兹曼模型包括D3Q7,D3Q15。
4.根据权利要求1所述基于格子波尔兹曼模型的视频图像瑕疵修复方法，其特征在于：
所...

【专利技术属性】
技术研发人员：严壮志，吴冰晶，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海;31