表格结构提取方法、装置、电子设备及存储介质制造方法及图纸

本说明书实施例提供一种表格结构提取方法、装置、电子设备及存储介质。方法包括：利用多尺度图像超分网络对原始图像进行预处理得到具有不同尺度特征的特征图，并利用预定的级联表格检测网络对特征图进行检测，得到每个特征图中目标框的位置以及置信度评分；基于目标框对应的位置以及置信度评分，分别对每个特征图中的目标框执行裁剪操作，得到每个特征图对应的表格图像；将表格图像作为输入，利用预定的表格内部结构提取算法，对表格图像中的文字执行去除操作，并对去除文字后的表格图像进行处理得到表格内部轮廓，基于表格内部轮廓进行恢复得到表格结构。本公开能够降低表格结构提取的成本，显著的提升表格识别精度、识别准确率以及识别效率。率以及识别效率。率以及识别效率。

【技术实现步骤摘要】
表格结构提取方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种表格结构提取方法、装置、电子设备及存储介质。

技术介绍

[0002]现实生活中，文档图像中往往具有很多表格，也有很多表格以图像的形式存在，为了将图片形式的表格还原为能够结构化存储的数据格式，如excel表格。首先需要对文档图像中的表格结构进行提取，因此，表格结构提取算法的识别精度和准确率，对表格还原为结构化数据具有重要意义。
[0003]传统的表格结构提取方式中，例如以提取证书文件中的表格数据为例，通常只能通过人工的方式进行手动录入，对于结构和数据比较简单的表格来说，这种传统方式也能够比较准确的提取表格结构。但是当表格结构比较复杂且单元格密集的情况下，传统提取方式很容易出现误识别和漏识别的问题，导致传统提取方式存在识别准确率低，识别精度差，识别效率低等问题。
[0004]鉴于以上现有技术中的问题，需要提供一种能够降低人工成本，既保证表格结构提取的效率，还能兼顾识别精度和准确率的表格结构提取方法。

技术实现思路

[0005]有鉴于此，本公开实施例提供了一种表格结构提取方法、装置、电子设备及存储介质，以解决现有技术存在的表格结构提取的人工成本高，算法识别准确率低，识别精度差，识别效率低的问题。
[0006]本公开实施例的第一方面，提供了一种表格结构提取方法，包括：获取原始图像，利用预定的多尺度图像超分网络对原始图像进行预处理得到具有不同尺度特征的特征图，以便将原始图像重构为清晰图像；将特征图作为输入，利用预定的级联表格检测网络对特征图进行检测，得到每个特征图中目标框的位置以及置信度评分，目标框中包含表格；基于目标框对应的位置以及置信度评分，分别对每个特征图中的目标框执行裁剪操作，得到每个特征图对应的表格图像；将表格图像作为输入，利用预定的表格内部结构提取算法，对表格图像中的文字执行去除操作，并对去除文字后的表格图像进行处理得到表格内部轮廓，基于表格内部轮廓执行恢复操作，得到表格对应的表格结构。
[0007]本公开实施例的第二方面，提供了一种表格结构提取装置，包括：处理模块，被配置为获取原始图像，利用预定的多尺度图像超分网络对原始图像进行预处理得到具有不同尺度特征的特征图，以便将原始图像重构为清晰图像；检测模块，被配置为将特征图作为输入，利用预定的级联表格检测网络对特征图进行检测，得到每个特征图中目标框的位置以及置信度评分，目标框中包含表格；裁剪模块，被配置为基于目标框对应的位置以及置信度评分，分别对每个特征图中的目标框执行裁剪操作，得到每个特征图对应的表格图像；提取模块，被配置为将表格图像作为输入，利用预定的表格内部结构提取算法，对表格图像中的
文字执行去除操作，并对去除文字后的表格图像进行处理得到表格内部轮廓，基于表格内部轮廓执行恢复操作，得到表格对应的表格结构。
[0008]本公开实施例的第三方面，提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述方法的步骤。
[0009]本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
[0010]本公开实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0011]通过获取原始图像，利用预定的多尺度图像超分网络对原始图像进行预处理得到具有不同尺度特征的特征图，以便将原始图像重构为清晰图像；将特征图作为输入，利用预定的级联表格检测网络对特征图进行检测，得到每个特征图中目标框的位置以及置信度评分，目标框中包含表格；基于目标框对应的位置以及置信度评分，分别对每个特征图中的目标框执行裁剪操作，得到每个特征图对应的表格图像；将表格图像作为输入，利用预定的表格内部结构提取算法，对表格图像中的文字执行去除操作，并对去除文字后的表格图像进行处理得到表格内部轮廓，基于表格内部轮廓执行恢复操作，得到表格对应的表格结构。本公开不仅能够降低表格结构提取的人工成本，还能够提升识别准确率，提高识别精度和识别效率。
附图说明
[0012]为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0013]图1是本公开实施例提供的表格结构提取方法的流程示意图；
[0014]图2是本公开实施例提供的表格结构提取装置的结构示意图；
[0015]图3是本公开实施例提供的电子设备的结构示意图。
具体实施方式
[0016]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
[0017]如前文所述，现实生活中，大量的文档以图像的形式进行保存，而文档图像中通常又包含了大量的表格，因此，表格实际上是以图像的形式进行存储。而实际工作中，需要将图片形式的表格还原为能够结构化存储的数据格式，如excel表格，而表格还原的重要组成部分是对文档图像中的表格结构进行提取，即从文档图像中识别出有哪些表格以及表格中的单元格的具体位置等。下面以提取证书文件中的表格结构为例，对传统的表格结构提取方式存在的问题进行详细说明，具体可以包括以下内容：
[0018]传统的提取方式中，一种是通过手工录入的方式进行提取，另一种是采用基于传统视觉的表格框线提取方法来还原表格结构。对于第一种方式，通过人工的方式进行手动
录入，对于结构和数据比较简单的表格来说，这种传统方式也可以比较准确的提取表格结构，但是当表格结构比较复杂且单元格密集的情况下，传统提取方式很容易出现误识别和漏识别的问题。对于第二种方式，采用基于传统视觉的表格框线提取方法还原表格结构，这种方式对于单元格线条比较清晰的图像具有一定的提取精度，但是对于单元格线条的清晰度比较差的图像，则无法准确识别其中的单元格。因此，无论上述哪种方式，都无法很好的满足表格结构比较复杂的场景下的表格提取，无法准确识别出表格结构中的单元格，导致识别准确率低，识别精度差，识别效率低等问题。
[0019]因此，鉴于以上现有技术问题，为了降低人工成本和提高识别准确率，本公开提出了一种基于OpenCV和神经网络的表格结构提取算法，该提取算法流程可以包括预处理、表格检测、表格结构提取、表格文本识别和表格信息重建的步骤，下面结合具体实施例对本公开技术方案进行详细说明。
[0020]图1是本公开实施例提供的表格结构提取方法的流程示意图。图1的表格结构提取方法可以由服务器执行。如图1所示，该表格结构提取方法具体可以包括：...

【技术保护点】

【技术特征摘要】
1.一种表格结构提取方法，其特征在于，包括：获取原始图像，利用预定的多尺度图像超分网络对所述原始图像进行预处理得到具有不同尺度特征的特征图，以便将所述原始图像重构为清晰图像；将所述特征图作为输入，利用预定的级联表格检测网络对所述特征图进行检测，得到每个所述特征图中目标框的位置以及置信度评分，所述目标框中包含表格；基于所述目标框对应的位置以及置信度评分，分别对每个所述特征图中的所述目标框执行裁剪操作，得到每个所述特征图对应的表格图像；将所述表格图像作为输入，利用预定的表格内部结构提取算法，对所述表格图像中的文字执行去除操作，并对去除文字后的表格图像进行处理得到表格内部轮廓，基于所述表格内部轮廓执行恢复操作，得到所述表格对应的表格结构。2.根据权利要求1所述的方法，其特征在于，所述利用预定的多尺度图像超分网络对所述原始图像进行预处理得到具有不同尺度特征的特征图，包括：利用所述多尺度图像超分网络中的主干网络，对所述原始图像执行卷积操作，得到第一特征图，分别将所述第一特征图输入到多个第一残差网络中，多个所述第一残差网络分别对应不同的尺度特征提取分支，利用所述尺度特征提取分支，提取出包含不同尺度信息的第二特征图；对多个所述第二特征图执行加权融合操作，得到第三特征图，并利用第二残差网络对所述第三特征图中的不同尺度特征进行提取，得到第四特征图，利用所述尺度特征提取分支对所述第四特征图进行处理，得到多个具有不同尺度特征的特征图。3.根据权利要求1所述的方法，其特征在于，所述级联表格检测网络中包含特征提取网络、多层级信息融合网络、区域生成网络和预测网络；所述利用预定的级联表格检测网络对所述特征图进行检测，得到每个所述特征图中目标框的位置以及置信度评分，包括：利用所述特征提取网络对所述特征图进行处理，得到多个第五特征图，所述特征提取网络中包含可变形卷积网络，所述可变形卷积网络用于学习偏移值，利用所述偏移值进行卷积计算；利用所述多层级信息融合网络将所述第五特征图中的低层信息传递给高层信息，并对所述第五特征图进行信息融合，得到第六特征图；利用所述区域生成网络对所述第六特征图中的所述目标框进行提取，并将提取出的所述目标框映射到所述第六特征图中；利用所述预测网络对所述目标框的位置进行修正，并对所述目标框进行置信度评分，将修正后的所述目标框的位置以及所述置信度评分作为所述级联表格检测网络的输出。4.根据权利要求1所述的方法，其特征在于，所述预定的表格内部结构提取算法为基于OpenCV的表格内部结构提取算法，所述利用预定的表格内部结构提取算法，对所述表格图像中的文字执行去除操作，包...

【专利技术属性】
技术研发人员：蒋召，黄泽元，杨战波，祁晓婷，
申请(专利权)人：深圳集智数字科技有限公司，
类型：发明
国别省市：