表格识别方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种表格识别方法、装置、电子设备及存储介质，其中，该方法包括：获取目标文档图像；对目标文档图像中的目标表格进行单元格检测，确定各个单元格在目标表格中的坐标信息；以及对目标文档图像进行文字检测，确定目标表格中各个单元格对应的文字内容；基于各个单元格在目标表格中的坐标信息，确定各个单元格之间的排列关系；按照排列关系将对应单元格的文字内容进行组合，得到针对目标文档图像的表格识别结果。本公开基于单元格这一最小识别维度进行表格识别，可以确保所识别表格的完整性，与此同时，由于重构出的表格识别结果是依照排列关系产生的，从而更具标准规范化。从而更具标准规范化。从而更具标准规范化。

【技术实现步骤摘要】
表格识别方法、装置、电子设备及存储介质


[0001]本公开涉及图像识别
，具体而言，涉及一种表格识别方法、装置、电子设备及存储介质。

技术介绍

[0002]表格作为文档中常见且极为重要的一种表达方式，它能够将复杂的文档信息切分成多个单元格的组成部分，将单元格组织成标准的对应关系，从而方便信息的快速查找。因此表格识别是文档版面理解领域的重要任务。
[0003]一般地，可以通过人工录入或者传统简单规则来处理表格，例如，可以通过预先配置的表格模板获取表格特定位置的感兴趣区域，进而对感兴趣区域进行实时处理。
[0004]然而，在实际应用中，表格的格式和内容千差万别，不管是人工录入还是通过人工配置模板的方法进行识别，均会带来较大的工作量，且无法确保较高的识别准确率。

技术实现思路

[0005]本公开实施例至少提供一种表格识别方法、装置、电子设备及存储介质。
[0006]第一方面，本公开实施例提供了一种表格识别方法，包括：
[0007]获取目标文档图像；
[0008]对所述目标文档图像中的目标表格进行单元格检测，确定各个单元格在所述目标表格中的坐标信息；以及对所述目标文档图像进行文字检测，确定所述目标表格中各个单元格对应的文字内容；
[0009]基于所述各个单元格在所述目标表格中的坐标信息，确定所述各个单元格之间的排列关系；
[0010]按照所述排列关系将对应单元格的文字内容进行组合，得到针对所述目标文档图像的表格识别结果。
[0011]采用上述表格识别方法，在获取到目标文档图像的情况下，一方面可以对目标文档图像中的目标表格进行单元格间隔，另一方面可以对目标文档图像进行文字检测，这样，在基于各个单元格在目标表格中的坐标信息，确定各个单元格之间的排列关系的情况下，可以按照排列关系进行单元格文字内容的组合，从而可以得到表格识别结果。本公开基于单元格这一最小识别维度进行表格识别，可以确保所识别表格的完整性，与此同时，在基于各个单元格之间的排列关系进行表格重构的过程中，由于排列关系是基于单元格的坐标信息来确定的，这使得各单元格的排列位置的准确性得以保证，且重构出的表格识别结果是依照排列关系产生的，从而更具标准规范化。
[0012]在一种可能的实施方式中，在所述对所述目标文档图像中的目标表格进行单元格检测之前，所述方法还包括：
[0013]基于所述目标文档图像进行角点检测，确定目标表格包括的多个角点在所述目标文档图像中的图像位置信息以及所述各个角点之间的角点顺序信息；
[0014]基于所述多个角点在所述目标文档图像中的图像位置信息以及所述各个角点之间的角点顺序信息对所述目标表格进行矫正处理，得到处理后的目标表格对应的表格图像区域在所述目标文档图像中的图像位置范围信息。
[0015]这里，在对目标表格进行单元格检测之前，首先可以结合角点检测和矫正处理，得到目标表格对应的表格图像区域在目标文档图像中的图像位置范围信息，从而便于后续从目标文档图像中提取出目标表格。
[0016]在一种可能的实施方式中，所述对所述目标文档图像中的目标表格进行单元格检测，确定各个单元格在所述目标表格中的坐标信息，包括：
[0017]基于所述图像位置范围信息，从所述目标文档图像中提取出所述目标表格对应的表格图像区域；
[0018]对所述目标表格对应的表格图像区域进行单元格检测，确定各个单元格在所述表格图像区域中的图像位置信息；
[0019]将所述各个单元格在所述表格图像区域中的图像位置信息，确定为所述各个单元格在所述目标表格中的坐标信息。
[0020]这里，利用表格图像区域的单元格检测方法可以确定出各个单元格的坐标信息，检测准确度和检测效率均较高。
[0021]在一种可能的实施方式中，所述对所述目标表格对应的表格图像区域进行单元格检测，确定各个单元格在所述表格图像区域中的图像位置信息，包括：
[0022]利用训练好的单元格检测神经网络对所述目标表格对应的表格图像区域进行单元格检测，确定各个单元格在所述表格图像区域中的图像位置信息；
[0023]其中，所述单元格检测神经网络是由图像样本以及针对所述图像样本中的不同单元格进行位置标注所得到的位置标注结果训练得到的。
[0024]这里的单元格检测可以是基于训练好的单元格检测神经网络实现的，由于单元格检测神经网络可以挖掘出更为深层次的图像特征，这在确保检测效率的前提下，进一步提升了检测准确度。
[0025]在一种可能的实施方式中，按照如下步骤训练所述单元格检测神经网络：
[0026]获取图像样本；
[0027]将所述图像样本输入到待训练的单元格检测神经网络包括的多层级特征提取层，确定每个层级特征提取层输出的单元格特征信息；每个层级特征提取层对应提取一个尺寸范围内的单元格的特征信息；
[0028]将所述单元格特征信息输入到对应层级特征提取层所连接的预测层，确定所述预测层输出的预测结果，并将所述预测结果与对应层级特征提取层所对应的单元格的位置标注结果进行匹配；
[0029]响应于所述预测结果与对应层级特征提取层所对应的单元格的位置标注结果不匹配，对所述单元格检测神经网络的网络参数值进行调整，直至所述预测结果与对应层级特征提取层所对应的单元格的位置标注结果相匹配。
[0030]这里的单元格检测神经网络可以利用不同层级特征提取层提取不同尺寸范围内的单元格的特征信息，也即，可以将不同尺寸范围内的单元格分配到不同层级的特征提取层上进行特征提取，这样所提取到的特征可以更为有利于检测不同尺寸的单元格，防止单
元格漏检的问题，进一步确保了检测的准确率。
[0031]在一种可能的实施方式中，所述基于所述目标文档图像进行角点检测，确定目标表格包括的多个角点在所述目标文档图像中的图像位置信息，包括：
[0032]对所述目标文档图像进行表格检测，确定所述目标表格所在的候选矩形区域；所述候选矩形区域是由多个候选角点所构成的矩形区域；
[0033]基于训练好的偏移量检测神经网络对所述候选矩形区域进行角点检测，确定所述目标表格包括的多个角点中每个角点与对应候选角点之间的偏移量；
[0034]针对所述目标表格包括的多个角点中的每个角点，基于所述角点与对应候选角点之间的偏移量以及所述候选角点在所述目标文档图像中的图像位置信息，确定所述角点在所述目标文档图像中的图像位置信息。
[0035]这里，可以结合表格检测和角点检测确定目标表格包括的每个角点所对应的偏移量，该偏移量一方面用于指示目标表格相对候选矩形区域的偏差情况，从而便于基于候选矩形区域对应的图像位置信息确定目标表格对应的图像位置信息，另一方面用于指示需要表格矫正的程度大小，例如，在偏移量比较大的情况下，需要较大程度的矫正，从而更佳便于后续的表格矫正。
[0036]在一种可能的实施方式中，所述基于所述各个单元格在所述目标表格中的坐标信息，确定所述各个单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表格识别方法，其特征在于，包括：获取目标文档图像；对所述目标文档图像中的目标表格进行单元格检测，确定各个单元格在所述目标表格中的坐标信息；以及对所述目标文档图像进行文字检测，确定所述目标表格中各个单元格对应的文字内容；基于所述各个单元格在所述目标表格中的坐标信息，确定所述各个单元格之间的排列关系；按照所述排列关系将对应单元格的文字内容进行组合，得到针对所述目标文档图像的表格识别结果。2.根据权利要求1所述的方法，其特征在于，在所述对所述目标文档图像中的目标表格进行单元格检测之前，所述方法还包括：基于所述目标文档图像进行角点检测，确定目标表格包括的多个角点在所述目标文档图像中的图像位置信息以及所述各个角点之间的角点顺序信息；基于所述多个角点在所述目标文档图像中的图像位置信息以及所述各个角点之间的角点顺序信息对所述目标表格进行矫正处理，得到处理后的目标表格对应的表格图像区域在所述目标文档图像中的图像位置范围信息。3.根据权利要求2所述的方法，其特征在于，所述对所述目标文档图像中的目标表格进行单元格检测，确定各个单元格在所述目标表格中的坐标信息，包括：基于所述图像位置范围信息，从所述目标文档图像中提取出所述目标表格对应的表格图像区域；对所述目标表格对应的表格图像区域进行单元格检测，确定各个单元格在所述表格图像区域中的图像位置信息；将所述各个单元格在所述表格图像区域中的图像位置信息，确定为所述各个单元格在所述目标表格中的坐标信息。4.根据权利要求3所述的方法，其特征在于，所述对所述目标表格对应的表格图像区域进行单元格检测，确定各个单元格在所述表格图像区域中的图像位置信息，包括：利用训练好的单元格检测神经网络对所述目标表格对应的表格图像区域进行单元格检测，确定各个单元格在所述表格图像区域中的图像位置信息；其中，所述单元格检测神经网络是由图像样本以及针对所述图像样本中的不同单元格进行位置标注所得到的位置标注结果训练得到的。5.根据权利要求4所述的方法，其特征在于，按照如下步骤训练所述单元格检测神经网络：获取图像样本；将所述图像样本输入到待训练的单元格检测神经网络包括的多层级特征提取层，确定每个层级特征提取层输出的单元格特征信息；每个层级特征提取层对应提取一个尺寸范围内的单元格的特征信息；将所述单元格特征信息输入到对应层级特征提取层所连接的预测层，确定所述预测层输出的预测结果，并将所述预测结果与对应层级特征提取层所对应的单元格的位置标注结果进行匹配；
响应于所述预测结果与对应层级特征提取层所对应的单元格的位置标注结果不匹配，对所述单元格检测神经网络的网络参数值进行调整，直至所述预测结果与对应层级特征提取层所对应的单元格的位置标注结果相匹配。6.根据权利要求2至5任一所述的方法，其特征在于，所述基于所述目标文档图像进行角点检测，确定目标表格包括的多个角点在所述目标文档图像中的图像位置信息，包括：对所述目标文档图像进行表格检测，确定所述目标表格所在的候选矩形区域；所述候选矩形区域是由多...

【专利技术属性】
技术研发人员：程龙，梁鼎，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：