一种文档图像配准数据合成方法、系统、装置及介质制造方法及图纸

本发明专利技术公开了一种文档图像配准数据合成方法、系统、装置及介质，其中方法包括：获取不包含几何形变退化、光照退化的第一文档图像；生成随机非刚性形变的偏移场；根据生成的偏移场对第一文档图像进行几何形变，得到第二文档图像；获取阴影图；根据阴影图对第一文档图像和/或第二文档图像进行退化处理，获得退化图像。本发明专利技术可以合成针对文档图像配准的数据，包括两张内容相同但相互之间含有非刚性形变的文档图像以及这两张文档图像之间的偏移场，合成的数据还可以模拟真实场景中拍摄文档图像含有的阴影、光照变化等退化；该合成方法可以有效地缓解现有文档图像配准任务中训练数据欠缺的问题。本发明专利技术可广泛应用于模式识别与人工智能技术领域。人工智能技术领域。人工智能技术领域。

【技术实现步骤摘要】
一种文档图像配准数据合成方法、系统、装置及介质


[0001]本专利技术涉及模式识别与人工智能
，尤其涉及一种文档图像配准数据合成方法、系统、装置及介质。

技术介绍

[0002]图像配准/对齐/密集映射任务旨在将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、对齐、叠加。其在医学图像处理、遥感图像处理等领域有大量应用，可以实现自动医学诊断、遥感图像拼接、基于多光谱数据的遥感图像增强等。文档图像的配准可以实现自动化信息抽取，从而实现办公自动化。基于深度学习的图像配准方法取得了很好的效果，但其通常需要大量带标注(偏移场)的数据进行训练学习。自然场景配准任务可以通过施加仿射变化来合成带标注的数据，但文档图像间往往存在一些非刚性形变，无法用仿射变换简单合成。此外，随着移动设备内置摄像头的普及，文档图像越来越多地以拍摄的方式获得，合成数据需要模拟拍照过程中引入的阴影、光照变化等退化。目前仍然缺少针对文档图像配准任务的数据合成方法。

技术实现思路

[0003]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种文档图像配准数据合成方法、系统、装置及介质。
[0004]本专利技术所采用的技术方案是：
[0005]一种文档图像配准数据合成方法，包括以下步骤：
[0006]获取不包含几何形变退化、光照退化的第一文档图像；
[0007]生成随机非刚性形变的偏移场；
[0008]根据生成的所述偏移场对所述第一文档图像进行几何形变，得到第二文档图像；
[0009]获取阴影图；
[0010]根据所述阴影图对所述第一文档图像和/或所述第二文档图像进行退化处理，获得退化图像。
[0011]进一步地，所述偏移场是一个长宽等于第一文档图像、通道数为2的矩阵，该矩阵中每一个2维向量为所述第一文档图像对应位置的像素指定2维平面上的偏移方向以及偏移距离。
[0012]进一步地，给定待配准图像I1和I2，对图像I1进行偏移采样处理，获得图像I3，偏移采样过程表示如下：
[0013]I3＝I1(x+f(x))
[0014]其中x为像素位置，f为偏移场，最终图像I3与I2对齐。
[0015]进一步地，所述生成随机非刚性形变的偏移场，包括：
[0016]为第一文档图像的每个像素位置指定一个在预设取值范围内的随机2维向量，再进行平滑滤波处理，获得平滑的偏移场。
[0017]进一步地，所述获取阴影图，包括：
[0018]选取各种纹理的浅色背景，在各种光照环境、拍摄角度下，利用各种移动摄像头进行拍摄，得到阴影图。
[0019]进一步地，对文档图像进行退化处理的表示式为：
[0020][0021]其中R为文档图像，S为阴影图，I为退化后文档图像，代表逐像素相乘。
[0022]进一步地，所述文档图像配准数据合成方法还包括以下步骤：
[0023]在获得的退化图像中加入模糊噪声、压缩噪声或椒盐噪声中至少一种噪声，获得带噪声的退化图像。
[0024]本专利技术所采用的另一技术方案是：
[0025]一种文档图像配准数据合成系统，包括：
[0026]图像获取模块，用于获取不包含几何形变退化、光照退化的第一文档图像；
[0027]偏移生成模块，用于生成随机非刚性形变的偏移场；
[0028]图像形变模块，用于根据生成的所述偏移场对所述第一文档图像进行几何形变，得到第二文档图像；
[0029]阴影获取模块，用于获取阴影图；
[0030]退化处理模块，用于根据所述阴影图对所述第一文档图像和/或所述第二文档图像进行退化处理，获得退化图像。
[0031]本专利技术所采用的另一技术方案是：
[0032]一种文档图像配准数据合成装置，包括：
[0033]至少一个处理器；
[0034]至少一个存储器，用于存储至少一个程序；
[0035]当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
[0036]本专利技术所采用的另一技术方案是：
[0037]一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
[0038]本专利技术的有益效果是：本专利技术可以合成针对文档图像配准的数据，包括两张内容相同但相互之间含有非刚性形变的文档图像以及这两张文档图像之间的偏移场，合成的数据还可以模拟真实场景中拍摄文档图像含有的阴影、光照变化等退化。该合成方法可以有效地缓解现有文档图像配准任务中训练数据欠缺的问题。
附图说明
[0039]为了更清楚地说明本专利技术实施例或者现有技术中的技术方案，下面对本专利技术实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本专利技术的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
[0040]图1是本专利技术实施例中一种文档图像配准数据的合成方法的总体流程图；
[0041]图2是本专利技术实施例中部分第一文档图像和第二文档图像样例示意图；
[0042]图3是本专利技术实施例中采集到的部分阴影图样例示意图。
具体实施方式
[0043]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0044]在本专利技术的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。
[0045]在本专利技术的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
[0046]本专利技术的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属
技术人员可以结合技术方案的具体内容合理确定上述词语在本专利技术中的具体含义。
[0047]如图1所示，本实施例提供一种文档图像配准数据合成方法，包括以下步骤：
[0048]S1、获取不包含几何形变退化、光照退化的第一文档图像。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文档图像配准数据合成方法，其特征在于，包括以下步骤：获取不包含几何形变退化、光照退化的第一文档图像；生成随机非刚性形变的偏移场；根据生成的所述偏移场对所述第一文档图像进行几何形变，得到第二文档图像；获取阴影图；根据所述阴影图对所述第一文档图像和/或所述第二文档图像进行退化处理，获得退化图像。2.根据权利要求1所述的一种文档图像配准数据合成方法，其特征在于，所述偏移场是一个长宽等于第一文档图像、通道数为2的矩阵，该矩阵中每一个2维向量为所述第一文档图像的像素指定2维平面上的偏移方向以及偏移距离。3.根据权利要求2所述的一种文档图像配准数据合成方法，其特征在于，给定待配准图像I1和I2，对图像I1进行偏移采样处理，获得图像I3，偏移采样过程表示如下：I3＝I1(x+f(x))其中x为像素位置，f为偏移场，最终图像I3与I2对齐。4.根据权利要求2所述的一种文档图像配准数据合成方法，其特征在于，所述生成随机非刚性形变的偏移场，包括：为第一文档图像的每个像素位置指定一个在预设取值范围内的随机2维向量，再进行平滑滤波处理，获得平滑的偏移场。5.根据权利要求1所述的一种文档图像配准数据合成方法，其特征在于，所述获取阴影图，包括：选取各种纹理的浅色背景，在各种光照环境、拍摄角度下，利用各种移动摄像头进行拍摄，得到阴影图。6.根据权利要求1所述的一...

【专利技术属性】
技术研发人员：金连文，张家鑫，陈邦栋，郑晓怡，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：