表格重建模型的训练、表格重建方法及电子设备技术

本发明专利技术涉及表格重建技术领域，具体涉及表格重建模型的训练、表格重建方法及电子设备，该训练方法包括获取样本表格图像、样本表格图像的目标结构以及样本表格图像中各个单元格的目标分割图；将样本表格图像输入初始表格重建模型的特征提取模块中，得到表格特征；将表格特征分别输入初始表格重建模型的结构分支以及分割图分支，得到样本表格图像的预测结构以及各个单元格的预测分割图；基于目标结构以及预测结构确定结构损失，并基于各个单元格的目标分割图以及预测分割图确定分割损失；基于结构损失以及分割损失更新初始表格重建模型的参数，以确定目标表格重建模型。采用对各个单元格进行预测分割图的确定，能够保证目标表格重建模型的准确性。格重建模型的准确性。格重建模型的准确性。

【技术实现步骤摘要】
表格重建模型的训练、表格重建方法及电子设备


[0001]本专利技术涉及表格重建
，具体涉及表格重建模型的训练、表格重建方法及电子设备。

技术介绍

[0002]表格是一类结构化的数据，它以紧凑的结构表达出丰富的信息。然而，表格内容电子化一直是一个难题，以往都是人工按照已有的表格在电脑上重新制定表格，并在每一个单元格将内容输入。这种方式费时费力，急需改善。
[0003]随着科技的发展，一些表格重建的技术也逐渐出现。它们或采用分割的方式将表格线检测出来，或使用角点检测算法将表格线的交点检测出来，然后重建表格结构。但这些方式都要求复杂的后处理算法将表格的结构和内容的一一对应，导致表格重建的准确率较低。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供了一种表格重建模型的训练方法、装置及电子设备，以解决表格重建的准确率较低的问题。
[0005]根据第一方面，本专利技术实施例提供了一种表格重建模型的训练、表格重建方法及电子设备，包括：
[0006]获取样本表格图像、所述样本表格图像的目标结构以及所述样本表格图像中各个单元格的目标分割图；
[0007]将所述样本表格图像输入初始表格重建模型的特征提取模块中，得到表格特征；
[0008]将所述表格特征分别输入所述初始表格重建模型的结构分支以及分割图分支，得到所述样本表格图像的预测结构以及所述各个单元格的预测分割图；
[0009]基于所述目标结构以及所述预测结构确定结构损失，并基于所述各个单元格的目标分割图以及所述预测分割图确定分割损失；
[0010]基于所述结构损失以及所述分割损失更新所述初始表格重建模型的参数，以确定目标表格重建模型。
[0011]本专利技术实施例提供的表格重建模型的训练方法，在训练过程中采用对各个单元格进行预测分割图的确定，通过预测分割图确定各个单元格的位置，使得该方法更能够适用于变形单元格，更为准确地定位单元格的边框，能够保证所训练得到的目标表格重建模型的准确性。
[0012]结合第一方面，在第一方面第一实施方式中，所述基于所述各个单元格的目标分割图以及所述预测分割图确定分割损失，包括：
[0013]将所述各个单元格的目标分割图进行合并，确定目标合并图；
[0014]将所述各个单元格的预测分割图进行合并，确定预测合并图；
[0015]基于所述目标合并图以及所述预测合并图进行损失计算，确定所述分割损失。
[0016]本专利技术实施例提供的表格重建模型的训练方法，通过将各个预测分割图进行合并后再进行损失计算，能够减少计算量，提高模型的重建效率。
[0017]结合第一方面第一实施方式，在第一方面第二实施方式中，所述基于所述目标合并图以及所述预测合并图进行损失计算，确定所述分割损失，包括：
[0018]基于所述目标合并图以及所述预测合并图进行损失计算，确定第一损失；
[0019]基于各个所述目标分割图与对应的所述预测分割图进行损失计算，确定第二损失；
[0020]基于所述第一损失以及所述第二损失确定所述分割损失。
[0021]本专利技术实施例提供的表格重建模型的训练方法，分别利用合并前后的图像进行损失计算，即分割损失包括两部分损失，能够进一步提高分割损失的准确性，从而保证训练得到的模型的准确性。
[0022]结合第一方面，在第一方面第三实施方式中，所述基于所述各个单元格的目标分割图以及所述预测分割图确定分割损失，包括：
[0023]基于各个所述目标分割图与对应的所述预测分割图进行损失计算，确定所述分割损失。
[0024]本专利技术实施例提供的表格重建模型的训练方法，分别利用目标分割图与预测分割图进行损失计算，保证了所确定出的分割损失的准确性，进而提高了训练得到的模型的准确性。
[0025]结合第一方面或第一方面第一实施方式至第三实施方式中任一项，在第一方面第四实施方式中，获取所述样本表格图像中各个单元格的目标分割图，包括：
[0026]获取所述样本表格图像的标注信息，所述标注信息包括所述各个单元格的位置信息；
[0027]基于所述各个单元格的位置信息从所述样本表格图像中确定对应的目标分割图。
[0028]本专利技术实施例提供的表格重建模型的训练方法，在标注信息中包括各个单元格的位置信息，从而准确地确定出目标分割图，使得后续的模型能够学习到分割图的特征，能够更准确地定位到各个单元格的边界。
[0029]根据第二方面，本专利技术实施例还提供了一种表格重建方法，包括：
[0030]获取目标表格图像；
[0031]将所述目标表格图像输入所述目标表格重建模型中，确定所述目标表格图像的结构以及所述目标表格图像中各个单元格的分割图，所述目标表格重建模型是根据本专利技术第一方面，或第一方面任一项实施方式中所述的表格重建模型的训练方法训练得到的；
[0032]基于所述各个单元格的分割图进行单元格内容的提取，确定提取结果；
[0033]对所述提取结果进行文字识别，确定所述单元格内容；
[0034]将所述单元格内容插入所述目标表格图像的结构的对应位置，确定所述目标表格图像的表格重建结果。
[0035]本专利技术实施例提供的表格重建方法，在利用目标表格重建模型确定出各个单元格的分割图之后，利用该分割图能够准确地得到各个单元格的位置信息，从而准确地确定出单元格内容，再将单元格内容插入到目标表格图像的结构的对应位置，提高了表格重建结果的准确性。
[0036]结合第二方面，在第二方面第一实施方式中，所述基于所述各个单元格的分割图进行单元格内容的提取，确定提取结果，包括：
[0037]基于所述各个单元格的分割图确定所述分割图的边界；
[0038]基于所述边界从所述目标表格图像中裁剪出内容区域，确定所述提取结果。
[0039]本专利技术实施例提供的表格重建方法，各个单元格的分割图的边界为内容区域的边界，利用边界裁剪出内容区域，保证提取结果的可靠性。
[0040]结合第二方面，在第二方面第二实施方式中，所述将所述单元格内容插入所述目标表格图像的结构的对应位置，确定所述目标表格图像的表格重建结果，包括：
[0041]查询所述结构中成对的目标字符串；
[0042]基于所述各个单元格的顺序将对应的单元格内容插入所述成对的目标字符串之间，以确定所述表格重建结果。
[0043]本专利技术实施例提供的表格重建方法，在成对的目标字符串之间插入对应的单元格内容，提高了表格重建结果的准确性。
[0044]根据第三方面，本专利技术实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的表格重建模型的训练方法，或者，执行第二方面或第二方面的任意一种实施方式中所述的表格重建方法。
[0045]根据第四方面，本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表格重建模型的训练方法，其特征在于，包括：获取样本表格图像、所述样本表格图像的目标结构以及所述样本表格图像中各个单元格的目标分割图；将所述样本表格图像输入初始表格重建模型的特征提取模块中，得到表格特征；将所述表格特征分别输入所述初始表格重建模型的结构分支以及分割图分支，得到所述样本表格图像的预测结构以及所述各个单元格的预测分割图；基于所述目标结构以及所述预测结构确定结构损失，并基于所述各个单元格的目标分割图以及所述预测分割图确定分割损失；基于所述结构损失以及所述分割损失更新所述初始表格重建模型的参数，以确定目标表格重建模型。2.根据权利要求1所述的方法，其特征在于，所述基于所述各个单元格的目标分割图以及所述预测分割图确定分割损失，包括：将所述各个单元格的目标分割图进行合并，确定目标合并图；将所述各个单元格的预测分割图进行合并，确定预测合并图；基于所述目标合并图以及所述预测合并图进行损失计算，确定所述分割损失。3.根据权利要求2所述的方法，其特征在于，所述基于所述目标合并图以及所述预测合并图进行损失计算，确定所述分割损失，包括：基于所述目标合并图以及所述预测合并图进行损失计算，确定第一损失；基于各个所述目标分割图与对应的所述预测分割图进行损失计算，确定第二损失；基于所述第一损失以及所述第二损失确定所述分割损失。4.根据权利要求1所述的方法，其特征在于，所述基于所述各个单元格的目标分割图以及所述预测分割图确定分割损失，包括：基于各个所述目标分割图与对应的所述预测分割图进行损失计算，确定所述分割损失。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，获取所述样本表格图像中各个单元格的目标分割图，包括：获取所述样本表格图像的标注信息，所述标注信息包括所述各个单元格的位置信息；基于所述各个单元格的位置信息从所述样本表格图像中确定对应的目标分割图。6....

【专利技术属性】
技术研发人员：吴增程，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：