使用GPU渲染进行高性能图片杂物消除的方法和装置制造方法及图纸

本申请涉及一种使用GPU渲染进行高性能图片杂物消除的方法和装置，该方法包括通过获取原图像和杂物标记二值图像，结合基于GPU渲染的图像修复算法，对图像中的杂物区域进行修复，达到图像杂物消除的效果，解决了现有技术中，在对图像杂物就行消除的过程中，会出现大块突兀色块，或存在把图片中其他像素点错误移植的情况，消除效果差的问题。消除效果差的问题。消除效果差的问题。

【技术实现步骤摘要】
使用GPU渲染进行高性能图片杂物消除的方法和装置


[0001]本申请涉及图像处理领域
，尤其涉及一种使用GPU渲染进行高性能图片杂物消除的方法和装置。

技术介绍

[0002]由于移动终端应用的日益广泛，用户习惯了随时随地进行拍照留念，但拍照时，往往会遇到照片中不小心拍到了其他路人，或者其他杂物的情况，用户希望能够去掉图像中的这些意外事物。传统的实现方式，都是由用户手动绘制出一个区域，通过Opencv去寻找图片附近的像素点来填补这个区域，以达到消除区域里面事物的目的。有些算法还会辅以模糊等功能，使修补的区域更加贴合原图，不至于太过突兀。但这些方式，依然无法避免图像中出现大块突兀色块，或把图片中其他像素点错误移植过来的情况。另一方面，由于Opencv计算量庞大，对移动设备要求过高，需要较高的内存运行条件，很多中低性能配置的移动终端，无法运行这些算法，使得用户无法使用。

技术实现思路

[0003]本申请提供一种使用GPU渲染进行高性能图片杂物消除的方法和装置，以解决现有技术中，图像杂物消除中，消除效果差的问题。
[0004]本申请的上述目的是通过以下技术方案实现的：
[0005]本申请实施例提供一种使用GPU渲染进行高性能图片杂物消除的方法，包括：
[0006]获取并解码用户输入的原图像和杂物标记二值图，加载得到适用于OpenGL渲染的原图纹理和杂物标记二值图纹理；
[0007]对所述杂物标记二值图纹理进行向下采样，直到采样图像纹理数据中无杂物，得到多个分别对应每次采样的图像纹理，并将每次采样得到的图像纹理作为一层数据，组成图像纹理金字塔；其中，所述图像纹理金字塔最低层的图像纹理对应原图尺寸；
[0008]对所述原图纹理进行向下采样，得到尺寸与所述图像纹理金字塔最顶层尺寸相同的目标纹理，并建立所述尺寸的存储有所述目标纹理中每个像素所在块对应的原图纹理中的相似匹配块位置信息的位置纹理，和所述尺寸的存储有所述目标纹理中每个像素所在块和对应原图纹理中的相似匹配块距离信息的距离纹理；
[0009]从所述图像纹理金字塔最顶层到最底层，基于每层尺寸，执行如下循环，得到尺寸与原图纹理尺寸相同，并且基于每个像素所在块的最小距离相似匹配块信息更新后的最终目标纹理：
[0010]确定所述目标纹理中每个像素所在块在所述原图纹理中对应的距离最小的相似匹配块；
[0011]基于所述距离最小的相似匹配块信息，更新所述位置纹理和所述距离纹理；
[0012]基于更新后的所述位置纹理和所述距离纹理，更新所述目标纹理；
[0013]将所述图像纹理金字塔层数改变为当前层数的下一层，得到新的尺寸，在所述原
图纹理中，对所述目标纹理重新进行向上采样，得到新尺寸的目标纹理，以及对所述位置纹理和所述距离纹理均进行向上采样，得到所述新尺寸的位置纹理和所述新尺寸的距离纹理；
[0014]根据所述循环得到的最终目标纹理，编码生成目标图像文件。
[0015]进一步的，所述对所述杂物标记二值图纹理进行向下采样，直到采样图像纹理数据中无杂物，包括：
[0016]基于所述原图纹理尺寸对所述杂物标记二值图纹理进行采样，得到图像纹理；
[0017]判断所述图像纹理中是否含有杂物；
[0018]若有，将采样尺寸减半后继续向下采样；
[0019]若无，停止采样。
[0020]进一步的，所述像素所在块为：
[0021]以该像素为中心点，半径为预设数值的区域块。
[0022]进一步的，所述建立所述尺寸的存储有所述目标纹理中每个像素所在块对应的原图纹理中的相似匹配块位置信息的位置纹理，和所述尺寸的存储有所述目标纹理中每个像素所在块和对应原图纹理中的相似匹配块距离信息的距离纹理，包括：
[0023]建立图像纹理金字塔最顶层图像纹理尺寸的位置纹理和距离纹理；
[0024]针对所述目标纹理中的每一个像素所在块随机生成一个相似匹配块；
[0025]将所述原图纹理中，对应所述目标纹理中每一个像素所在块的相似匹配块的位置信息存储至所述位置纹理中；
[0026]将所述目标纹理中，每一个像素所在块，与所述原图纹理中与该像素所在块对应的相似匹配块之间的距离信息，存储在所述距离纹理中。
[0027]进一步的，所述确定所述目标纹理中每个像素所在块在所述原图纹理中对应的距离最小的相似匹配块，包括：
[0028]定义窗口尺寸为所述目标纹理尺寸的二分之一；
[0029]以目标纹理中的每一个像素点为中心点，以所述窗口尺寸为半径，得到包括所述像素点的位置点在内的九个窗口位置点；
[0030]在所述位置纹理中对九个所述窗口位置点进行采样，得到分别与九个所述窗口位置点对应的九个相似匹配块位置点；
[0031]分别计算所述目标纹理中该像素所述在块，与所述原图纹理中所述九个所述窗口位置点和九个所述相似匹配块位置点之间的距离，确定距离最小的位置点；
[0032]确定所述距离最小的位置点在所述原图纹理中对应的块，为该像素所在块对应的所述原图纹理中距离最小的相似匹配块。
[0033]进一步的，所述确定所述目标纹理中每个像素所在块在所述原图纹理中对应的距离最小的相似匹配块，还包括：
[0034]将所述窗口尺寸减半，得到新的窗口尺寸；
[0035]基于新的窗口尺寸，重新确定最小相似匹配块。
[0036]进一步的，所述基于更新后的所述位置纹理和所述距离纹理，更新所述目标纹理，包括：
[0037]以所述目标纹理中每个目标像素为中心点，预设尺寸为半径创建计算区域；
[0038]基于所述位置纹理和所述距离纹理，获取所述计算区域内的每一个像素点的相似匹配块的位置信息和距离信息；
[0039]基于所述图像纹理数据、所述位置信息和所述距离信息对所述计算区域内的每一个像素点对应的相似匹配块位置颜色值进行加权求和，得到该目标像素位置的颜色值，并将该颜色值更新至所述目标纹理中。
[0040]进一步的，所述将所述图像纹理金字塔层数改变为当前层数的下一层，得到新的尺寸，在所述原图纹理中，对所述目标纹理重新进行向上采样，得到新尺寸的目标纹理，以及对所述位置纹理和所述距离纹理均进行向上采样，得到所述新尺寸的位置纹理和所述新尺寸的距离纹理，包括：
[0041]将所述图像纹理金字塔层数改变为当前层数的下一层，得到新尺寸；
[0042]基于所述新尺寸，通过线性过滤的方式进行向上采样，得到所述新尺寸的目标纹理；
[0043]基于所述新尺寸，通过线性过滤的方式进行向上采样，得到所述新尺寸的位置纹理；
[0044]基于所述新尺寸，和所述新尺寸的位置纹理，得到新尺寸的距离纹理。
[0045]第二方面，本申请实施例还提供一种使用GPU渲染进行高性能图片杂物消除的装置，包括：
[0046]解码加载模块，用于获取并解码用户输入的原图像和杂物标记二值图，加载本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种使用GPU渲染进行高性能图片杂物消除的方法，其特征在于，包括：获取并解码用户输入的原图像和杂物标记二值图，加载得到适用于OpenGL渲染的原图纹理和杂物标记二值图纹理；对所述杂物标记二值图纹理进行向下采样，直到采样图像纹理数据中无杂物，得到多个分别对应每次采样的图像纹理，并将每次采样得到的图像纹理作为一层数据，组成图像纹理金字塔；其中，所述图像纹理金字塔最低层的图像纹理对应原图尺寸；对所述原图纹理进行向下采样，得到尺寸与所述图像纹理金字塔最顶层尺寸相同的目标纹理，并建立所述尺寸的存储有所述目标纹理中每个像素所在块对应的原图纹理中的相似匹配块位置信息的位置纹理，和所述尺寸的存储有所述目标纹理中每个像素所在块和对应原图纹理中的相似匹配块距离信息的距离纹理；从所述图像纹理金字塔最顶层到最底层，基于每层尺寸，执行如下循环，得到尺寸与原图纹理尺寸相同，并且基于每个像素所在块的最小距离相似匹配块信息更新后的最终目标纹理：确定所述目标纹理中每个像素所在块在所述原图纹理中对应的距离最小的相似匹配块；基于所述距离最小的相似匹配块信息，更新所述位置纹理和所述距离纹理；基于更新后的所述位置纹理和所述距离纹理，更新所述目标纹理；将所述图像纹理金字塔层数改变为当前层数的下一层，得到新的尺寸，在所述原图纹理中，对所述目标纹理重新进行向上采样，得到新尺寸的目标纹理，以及对所述位置纹理和所述距离纹理均进行向上采样，得到所述新尺寸的位置纹理和所述新尺寸的距离纹理；根据所述循环得到的最终目标纹理，编码生成目标图像文件。2.根据权利要求1所述的使用GPU渲染进行高性能图片杂物消除的方法，其特征在于，所述对所述杂物标记二值图纹理进行向下采样，直到采样图像纹理数据中无杂物，包括：基于所述原图纹理尺寸对所述杂物标记二值图纹理进行采样，得到图像纹理；判断所述图像纹理中是否含有杂物；若有，将采样尺寸减半后继续向下采样；若无，停止采样。3.根据权利要求1所述的使用GPU渲染进行高性能图片杂物消除的方法，其特征在于，所述像素所在块为：以该像素为中心点，半径为预设数值的区域块。4.根据权利要求1所述的使用GPU渲染进行高性能图片杂物消除的方法，其特征在于，所述建立所述尺寸的存储有所述目标纹理中每个像素所在块对应的原图纹理中的相似匹配块位置信息的位置纹理，和所述尺寸的存储有所述目标纹理中每个像素所在块和对应原图纹理中的相似匹配块距离信息的距离纹理，包括：建立图像纹理金字塔最顶层图像纹理尺寸的位置纹理和距离纹理；针对所述目标纹理中的每一个像素所在块随机生成一个相似匹配块；将所述原图纹理中，对应所述目标纹理中每一个像素所在块的相似匹配块的位置信息存储至所述位置纹理中；将所述目标纹理中，每一个像素所在块，与所述原图纹理中与该像素所在块对应的相
似匹配块之间的距离信息，存储在所述距离纹理中。5.根据权利要求1所述的使用GPU渲染进行高性能图片杂物消除的方法，其特征在于，所述确定所...

【专利技术属性】
技术研发人员：林青山，
申请(专利权)人：广州光锥元信息科技有限公司，
类型：发明
国别省市：