图片矫正方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本公开提供了图片矫正方法、装置、电子设备及计算机可读存储介质，涉及自然语言处理、深度学习及计算机视觉等人工智能领域，其中的方法可包括：对待处理的原始图片进行文字检测，得到检测出的文字框；根据文字框生成文本行；确定出文本行中的关键点，并根据关键点对预定参数进行更新；根据更新后的预定参数对原始图片进行重映射，得到矫正后的图片。本公开所述方案具有普遍适用性，并确保了处理结果的准确性。

【技术实现步骤摘要】
图片矫正方法、装置、电子设备及计算机可读存储介质
本公开涉及人工智能
，特别涉及自然语言处理、深度学习及计算机视觉等领域的图片矫正方法、装置、电子设备及计算机可读存储介质。
技术介绍
在对表格图片进行光学字符识别(OCR，OpticalCharacterRecognition)时，对识别结果影响较大的一个因素即是由于拍照角度等导致的图片的扭曲或歪斜等。为提升识别结果的准确性，可先对表格图片进行矫正。目前，通常采用基于深度学习的图片矫正方式。这种方式需要进行深度学习模型的训练，但对于训练得到的深度学习模型，通常仅对和训练集类似的图片具有较好的矫正效果，而对于其它图片的矫正效果则较差，即不具有普遍适用性。
技术实现思路
本公开提供了图片矫正方法、装置、电子设备及计算机可读存储介质。根据本公开的一个方面，提供了一种图片矫正方法，包括：对待处理的原始图片进行文字检测，得到检测出的文字框；根据所述文字框生成文本行；确定出所述文本行中的关键点，并根据所述关键点对预定参数进行更新；根据更新后的预定参数对所述原始图片进行重映射，得到矫正后的图片。根据本公开的一个方面，提供了一种图片矫正装置，包括：检测模块、生成模块、优化模块以及重映射模块；所述检测模块，用于对待处理的原始图片进行文字检测，得到检测出的文字框；所述生成模块，用于根据所述文字框生成文本行；所述优化模块，用于确定出所述文本行中的关键点，并根据所述关键点对预定参数进行更新；所述重映射模块，用于根据更新后的预定参数对所述原始图片进行重映射，得到矫正后的图片。根据本公开的一个方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。根据本公开的一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。根据本公开的一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如以上所述的方法。上述公开中的一个实施例具有如下优点或有益效果：无需借助于深度学习模型来实现图片矫正，对于各种情况均有较好的适用性，并确保了处理结果的准确性。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本公开的限定。其中：图1为本公开图片矫正方法实施例的流程图；图2为本公开根据获取到的关键点对预定参数进行更新的方法实施例的流程图；图3为本公开对原始图片进行重映射的方法实施例的流程图；图4为本公开图片矫正装置实施例400的组成结构示意图；图5示出了可以用来实施本公开的实施例的电子设备500的示意性框图。具体实施方式以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。另外，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。图1为本公开图片矫正方法实施例的流程图。如图1所示，包括以下具体实现步骤。在步骤101中，对待处理的原始图片进行文字检测，得到检测出的文字框(contours)。在步骤102中，根据检测出的文字框生成文本行(span)。在步骤103中，确定出文本行中的关键点，并根据关键点对预定参数进行更新。在步骤104中，根据更新后的预定参数对原始图片进行重映射，得到矫正后的图片。上述方法实施例所述方案中，无需借助于深度学习模型来实现图片矫正，对于各种情况均有较好的适用性，并确保了处理结果的准确性等。另外，本公开所述原始图片可为表格图片，也可为其它类型的图片，对于不同类型的图片均可适用。针对原始图片，可首先对其进行文字检测，从而得到检测出的文字框。如何对原始图片进行文字检测不作限制，比如，可采用预先训练得到的检测模型来对原始图片进行文字检测。所述文字框通常为包围单一文字的最小矩形框。根据检测出的文字框，可进一步生成文本行。需要说明的是，本公开所述的“文本行”是一个相对的概念，比如，文字以列的形式呈现，那么每一列则是一个文本行。具体地，可首先按预定方式对检测出的各文字框进行排序，之后可针对排序后的每两个相邻的文字框，分别将其作为一个组合，并可确定组合中的两个文字框是否为相匹配的文字框，进而可结合各组合的确定结果生成文本行。其中，可按照各文字框中的预定顶点坐标中的指定坐标轴数值从小到大的顺序，对各文字框进行排序，预定顶点可包括：左上角顶点、左下角顶点、右上角顶点或右下角顶点。可选地，指定坐标轴可以是y轴，如可根据各文字框中的左上角顶点坐标中的y值，按照从小到大的顺序对各文字框进行排序。举例说明：假设共检测出10个文字框，为便于表述，将排序后的各文字框分别称为文字框1～文字框10，那么，可将文字框1和文字框2作为一个组合，将文字框2和文字框3作为一个组合，将文字框3和文字框4作为一个组合，以此类推。针对每个组合，可分别判断其中的两个文字框是否为相匹配的文字框。具体地，针对任一组合，可分别获取组合中的两个文字框投影到指定坐标轴上的投影结果之间的重合区域、两个文字框之间的距离以及两个文字框之间的角度(夹角)，并可分别将获取到的重合区域、距离以及角度与对应的阈值进行比较，根据比较结果确定出组合中的两个文字框是否为相匹配的文字框。比如，若重合区域大于第一阈值、距离小于第二阈值且角度小于第三阈值，则可确定组合中的两个文字框为相匹配的文字框。以指定坐标轴为y轴为例，如何将文字框投影到y轴上为相关技术。通常来说，如果两个文字框在一个文本行(即一行)中，两个文字框投影到y轴上的投影结果之间的重合区域会较大，反之，则较小甚至不存在重合区域。两个文字框之间的距离可以是指两个文字框的左上角顶点坐标中的x值之间的距离等。可将获取到的重合区域、距离和角度分别与对应的第一阈值、第二阈值和第三阈值进行比较，第一阈值、第二阈值和第三阈值的具体取值均可根据实际需要而定，若重合区域大于第一阈值，距离小于第二阈值，并且角度小于第三阈值，则可确定组合中的两个文字框为相匹配的文字框，否则，可确定组合中的本文档来自技高网...

【技术保护点】
1.一种图片矫正方法，包括：/n对待处理的原始图片进行文字检测，得到检测出的文字框；/n根据所述文字框生成文本行；/n确定出所述文本行中的关键点，并根据所述关键点对预定参数进行更新；/n根据更新后的预定参数对所述原始图片进行重映射，得到矫正后的图片。/n

【技术特征摘要】
1.一种图片矫正方法，包括：
对待处理的原始图片进行文字检测，得到检测出的文字框；
根据所述文字框生成文本行；
确定出所述文本行中的关键点，并根据所述关键点对预定参数进行更新；
根据更新后的预定参数对所述原始图片进行重映射，得到矫正后的图片。


2.根据权利要求1所述的方法，其中，所述根据所述文字框生成文本行包括：
对检测出的各文字框进行排序；
针对排序后的每两个相邻的文字框，分别将其作为一个组合，并确定所述组合中的两个文字框是否为相匹配的文字框；
根据各组合的确定结果生成所述文本行。


3.根据权利要求2所述的方法，其中，
所述对检测出的各文字框进行排序包括：按各文字框中的预定顶点坐标中的指定坐标轴数值从小到大的顺序，对各文字框进行排序，所述预定顶点包括：左上角顶点、左下角顶点、右上角顶点或右下角顶点；
所述确定所述组合中的两个文字框是否为相匹配的文字框包括：分别获取所述组合中的两个文字框投影到所述指定坐标轴上的投影结果之间的重合区域、两个文字框之间的距离以及两个文字框之间的角度，分别将所述重合区域、所述距离以及所述角度与对应的阈值进行比较，根据比较结果确定出所述组合中的两个文字框是否为相匹配的文字框。


4.根据权利要求2或3所述的方法，其中，所述根据各组合的确定结果生成所述文本行包括：
将排序后处于第一位的文字框作为待处理的文字框，针对所述待处理的文字框，执行以下预定处理：
确定相邻文字框与所述待处理的文字框是否为相匹配的文字框，所述相邻文字框为排序后处于所述待处理的文字框下一位的文字框；
若是，则将所述相邻文字框加入到所述待处理的文字框所在的文字框集合中，并将所述相邻文字框作为所述待处理的文字框，重复执行所述预定处理；
若否，则利用所述待处理的文字框所在的文字框集合中的文字框组成一个文本行，将所述相邻文字框加入新的文字框集合，并将所述相邻文字框作为所述待处理的文字框，重复执行所述预定处理。


5.根据权利要求1所述的方法，其中，所述根据所述关键点对预定参数进行更新包括：
针对任一关键点，分别进行以下处理：获取所述关键点的修正后的二维坐标；根据所述修正后的二维坐标以及所述预定参数确定出所述关键点的三维坐标；将所述关键点的三维坐标映射到二维空间，得到所述关键点的映射后的二维坐标；
根据各关键点在所述原始图片中的二维坐标及映射后的二维坐标，利用预定的优化算法确定出更新后的预定参数。


6.根据权利要求5所述的方法，其中，所述获取所述关键点的修正后的二维坐标包括：
分别获取各文本行的主轴方向向量；
将获取到的各主轴方向向量进行加权求和，得到第一方向信息，并按照预设规则对所述第一方向信息进行变换，得到第二方向信息；
根据所述关键点在所述原始图片中的二维坐标以及所述第一方向信息和所述第二方向信息，确定出所述关键点的修正后的二维坐标。


7.根据权利要求5所述的方法，其中，
所述预定参数包括：多项式参数；
所述根据所述修正后的二维坐标以及所述预定参数确定出所述关键点的三维坐标包括：
根据所述修正后的二维坐标以及所述多项式参数，通过多项式运算确定出所述关键点的三维坐标。


8.根据权利要求6所述的方法，其中，所述将所述关键点的三维坐标映射到二维空间包括：
通过以下方式确定旋转矩阵和平移矩阵：
从所述原始图片中选定四个点，所述四个点构成一个矩形框，所述矩形框的宽度小于所述原始图片的宽度，所述矩形框的高度小于所述原始图片的高度；
根据所述四个点在所述原始图片中的二维坐标以及所述第一方向信息和所述第二方向信息，确定出所述四个点的修正后的二维坐标；
根据所述四个点的修正后的二维坐标确定出修正后的所述矩形框的宽度和高度；
根据修正后的所述矩形框的宽度和高度构建出所述四个点的三维坐标，并根据所述四个点的三维坐标以及所述四个点的修正后的二维坐标确定出所述旋转矩阵以及所述平移矩阵；
根据所述旋转矩阵以及所述平移矩阵，将所述关键点的三维坐标映射到二维空间。


9.根据权利要求1～8中任一项所述的方法，其中，所述根据更新后的预定参数对所述原始图片进行重映射包括：
获取所述原始图片对应的网格点坐标矩阵；
根据所述更新后的预定参数，分别获取所述网格点坐标矩阵中的各网格点的三维坐标；
将各网格点的三维坐标映射到二维空间，得到各网格点的映射后的二维坐标；
根据所述原始图片以及各网格点的映射后的二维坐标进行重映射，得到所述矫正后的图片。


10.一种图片矫正装置，包括：检测模块、生成模块、优化模块以及重映射模块；
所述检测模块，用于对待处理的原始图片进行文字检测，得到检测出的文字框；
所述生成模块，用...

【专利技术属性】
技术研发人员：韩光耀，姜泽青，陈禹燊，李治平，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11