【技术实现步骤摘要】
本申请涉及表格识别，尤其涉及一种表格生成方法、装置、设备及存储介质。
技术介绍
1、光学字符识别（optical character recognition，ocr）是指对文本资料的图像文件进行分析识别处理，获取文字及版面信息的过程。随着应用需求的不断挖掘和深入，表格识别作为ocr的分支也愈发重要。但由于表格大小、种类和样式复杂多样，例如表格中存在不同的背景填充，不同的行列合并方法，不同的内容文本类型等，并且现有文档既包括现代的、电子的文档，也有历史的、扫描的手写文档，它们的文档样式、所处光照环境以及纹理等都有比较大的差异，在一定程度反映出表格识别一直是文档识别领域的研究难点。
2、目前常见的表格识别方法为基于目标检测的深度学习方法，例如采用yolo等深度学习算法在图片中定位出表格的位置，包括表格的左上顶点和右下顶点的坐标等，但由于并不支持任意四边形表格单元格的情况，并不能带来良好的表格构建效果。
技术实现思路
1、有鉴于此，本申请的主要目的在于提供一种表格生成方法、装置、设备及存储介质，目的在于实现任意四边形单元格的识别，以提高表格构建效果。
2、本申请第一方面提供了一种表格生成方法，该方法包括：
3、获取表格图片数据；
4、通过表格识别网络模型对表格图片数据进行预测，以得到以下预测结果，预测结果包括：各单元格中心点坐标、各单元格中心点偏置值、各单元格高度与宽度值、各单元格的各角点偏置值以及各单元格与相邻单元格的中心点偏置值；>
5、基于各单元格中心点坐标、各单元格中心点偏置值、各单元格高度与宽度值、各单元格的各角点偏置值以及各单元格与相邻单元格的中心点偏置值，进行目标表格的生成。
6、在本申请第一方面的一些实现方式中，表格识别网络模型的网络结构包括：骨干backbone网络、特征金字塔fpn网络以及头部head网络；
7、backbone网络的输出连接fpn网络的输入，fpn网络的输出连接head网络的输入。
8、在本申请第一方面的一些实现方式中，通过表格识别网络模型对表格图片数据进行预测，包括：
9、预处理表格图片数据；
10、将预处理后的表格图片数据输入至backbone网络，以得到backbone网络输出的第一特征值图；
11、将第一特征值图输入至fpn网络，以得到fpn网络输出的第二特征值图；
12、将第二特征值图输入至head网络，通过head网络的中心点热力图分支输出各单元格中心点坐标，通过head网络的中心点偏置回归分支输出各单元格中心点偏置值，通过head网络的单元格宽与高回归分支输出各单元格高度与宽度值，通过head网络的单元格角点偏置回归分支输出各单元格的各角点偏置值，通过head网络的单元格相邻偏置回归分支输出各单元格与相邻单元格的中心点偏置值。
13、在本申请第一方面的一些实现方式中，预处理表格图片数据，包括：
14、对表格图片数据进行大小对齐处理以及像素值归一化处理。
15、在本申请第一方面的一些实现方式中，基于各单元格中心点坐标、各单元格中心点偏置值、各单元格高度与宽度值、各单元的各角点偏置值以及各单元格与相邻单元格的中心点偏置值，进行目标表格的生成，包括：
16、基于各单元格中心点坐标以及各单元格中心点偏置值，确定目标表格的各单元格中心点；
17、基于目标表格的各单元格中心点、各单元格高度与宽度值以及各单元格的各角点偏置值，确定目标表格的各单元格的各角点坐标；
18、基于各单元格与相邻单元格的中心点偏置值，构建单元格相邻关系有向图；
19、通过遍历单元格相邻关系有向图，确定各合并单元格的合并参数，并生成下向单元格链表以及至少一个右向单元格链表，合并单元格至少在一个方向上有至少两个相邻单元格；
20、基于各合并单元格的合并参数、下向单元格链表、至少一个右向单元格链表、目标表格的各单元格中心点以及目标表格的各单元格的各角点坐标，进行目标表格的生成。
21、在本申请第一方面的一些实现方式中，通过遍历单元格相邻关系有向图，确定各合并单元格的合并参数，并生成下向单元格链表以及至少一个右向单元格链表，包括：
22、确定单元格相邻关系有向图中代表根单元格的节点；
23、确定单元格相邻关系有向图中代表合并单元格的节点以及合并单元格参数，以得到各合并单元格的合并参数；
24、从代表根单元格的节点开始，通过遍历单元格相邻关系有向图中代表根单元格的节点向下的节点，生成下向单元格链表；
25、从下向单元格链表中的根单元格开始，通过执行以下步骤直至完成下向单元格链表的遍历，以生成至少一个右向单元格链表：从代表当前遍历位置的单元格的节点开始，通过遍历单元格向量关系有向图中代表当前遍历位置的单元格的节点向右的节点，生成右向单元格链表。
26、本申请第二方面提供了一种表格生成装置，该装置包括：
27、图片获取模块，用于获取表格图片数据；
28、模型预测模块，用于通过表格识别网络模型对表格图片数据进行预测，以得到以下预测结果：各单元格中心点坐标、各单元格中心点偏置值、各单元格高度与宽度值、各单元格的各角点偏置值以及各单元格与相邻单元格的中心点偏置值；
29、表格生成模块，用于基于各单元格中心点坐标、各单元格中心点偏置值、各单元格高度与宽度值、各单元格的各角点偏置值以及各单元格与相邻单元格的中心点偏置值，进行目标表格的生成。
30、在本申请第二方面的一些实现方式中，表格生成模块，包括：
31、中心点确定模块，用于基于各单元格中心点坐标以及各单元格中心点偏置值，确定目标表格的各单元格中心点；
32、角点确定模块，用于基于目标表格的各单元格中心点、各单元格高度与宽度值以及各单元格的各角点偏置值，确定目标表格的各单元格的各角点坐标；
33、有向图构建模块，用于基于各单元格与相邻单元格的中心点偏置值，构建单元格相邻关系有向图；
34、有向图遍历模块，用于通过遍历单元格相邻关系有向图，确定各合并单元格的合并参数，并生成下向单元格链表以及至少一个右向单元格链表；
35、目标表格生成模块，用于基于各合并单元格的合并参数、下向单元格链表、至少一个右向单元格链表、目标表格的各单元格中心点以及目标表格的各单元格的各角点坐标，进行目标表格的生成。
36、本申请第三方面提供了一种表格生成设备，该设备包括：包括存储器和处理器，处理器用于执行存储器中存储的程序，运行如本申请第一方面所提供的任一项表格生成方法。
37、本申请第四方面提供了一种可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时，实现如本申请第一方面所提供的表格生成方法的各个步骤。
38、本申请所提供的技术方案本文档来自技高网...
【技术保护点】
1.一种表格生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述表格识别网络模型的网络结构包括：骨干backbone网络、特征金字塔FPN网络以及头部Head网络；
3.根据权利要求2所述的方法，其特征在于，所述通过表格识别网络模型对所述表格图片数据进行预测，包括：
4.根据权利要求3所述的方法，其特征在于，所述预处理所述表格图片数据，包括：
5.根据权利要求1所述的方法，其特征在于，所述通过遍历所述单元格相邻关系有向图，确定各合并单元格的合并参数，并生成下向单元格链表以及至少一个右向单元格链表，包括：
6.一种表格生成装置，其特征在于，所述装置包括：
7.一种表格生成设备，其特征在于，所述设备包括：包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序，运行如权利要求1至5任一项所述的表格生成方法。
8.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至5中任一项所述的表格生成方法的各个步骤。
【技术特征摘要】
1.一种表格生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述表格识别网络模型的网络结构包括：骨干backbone网络、特征金字塔fpn网络以及头部head网络；
3.根据权利要求2所述的方法，其特征在于，所述通过表格识别网络模型对所述表格图片数据进行预测，包括：
4.根据权利要求3所述的方法，其特征在于，所述预处理所述表格图片数据，包括：
5.根据权利要求1所述的方法，其特征在于，所述通过遍历所述单元格...
【专利技术属性】
技术研发人员：王怀照，欧阳晔，
申请(专利权)人：广州亚信技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。