数据关系识别方法和数据关系识别的数据处理方法技术

本说明书实施例提供数据关系识别方法和数据关系识别的数据处理方法，其中所述数据关系识别方法包括：获取待识别图像，对第一图像块的图像块信息和位置信息进行多模态编码，得到第一图像块的第一多模态特征，对第二图像块的图像块信息和位置信息进行多模态编码，得到第二图像块的第二多模态特征，基于第一多模态特征和第二多模态特征，确定第一图像块和第二图像块之间位置关系，基于位置关系，确定第一图像块和第二图像块之间的图像块关系，基于各图像块之间的图像块关系，确定各数据之间的数据关系。在利用了图像块自身的图像块信息基础上，结合了位置信息，充分利用图像块的相关信息，进行了全面准确的位置关系判断，提升了数据关系的识别准确度。据关系的识别准确度。据关系的识别准确度。

【技术实现步骤摘要】
数据关系识别方法和数据关系识别的数据处理方法


[0001]本说明书实施例涉及计算机
，特别涉及一种数据关系识别方法。

技术介绍

[0002]随着计算机技术的发展，表格表单、发票等富文本图像的广泛应用，极大方便了人们的生产生活，富文本图像在使用过程中，需要对其中的数据进行分析，而对富文本图像中的数据之间的对应关系进行识别，在富文本图像的数据分析中起到重要作用。
[0003]目前，对富文本图像中的数据之间的对应关系进行识别，依赖于富文本图像中各数据对应的图像块信息的提取和分析，例如，对图像块的图像信息、文本信息进行提取和分析，得到数据之间的对应关系。
[0004]然而，过分依赖于图像块中数据自身的图像块信息，在面对结构化数据的富文本图像时，没有充分利用图像块的相关信息，导致数据关系的识别准确度不足。因此，亟需一种高准确度的数据关系识别方法。

技术实现思路

[0005]有鉴于此，本说明书实施例提供了一种数据关系识别方法。本说明书一个或者多个实施例同时涉及另一种数据关系识别方法，一种数据关系识别的数据处理方法，一种数据关系识别装置，另一种数据关系识别装置，一种数据关系识别的数据处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0006]根据本说明书实施例的第一方面，提供了一种数据关系识别方法，包括：
[0007]获取待识别图像，其中，待识别图像包括至少两个图像块，各图像块包含对应的数据，图像块包括图像块信息和位置信息；<br/>[0008]对第一图像块的图像块信息和位置信息进行多模态编码，得到第一图像块的第一多模态特征，对第二图像块的图像块信息和位置信息进行多模态编码，得到第二图像块的第二多模态特征，其中，第一图像块和第二图像块为各图像块中任意两个；
[0009]基于第一多模态特征和第二多模态特征，确定第一图像块和第二图像块之间位置关系，基于位置关系，确定第一图像块和第二图像块之间的图像块关系，其中，位置关系包括距离关系、方向关系和连线关系中至少一种；
[0010]基于各图像块之间的图像块关系，确定各数据之间的数据关系。
[0011]根据本说明书实施例的第二方面，提供了一种数据关系识别方法，应用于云侧设备，包括：
[0012]接收端侧设备发送的待识别图像，其中，待识别图像包括至少两个图像块，各图像块包含对应的数据，图像块包括图像块信息和位置信息；
[0013]对第一图像块的图像块信息和位置信息进行多模态编码，得到第一图像块的第一多模态特征，对第二图像块的图像块信息和位置信息进行多模态编码，得到第二图像块的第二多模态特征，其中，第一图像块和第二图像块为各图像块中任意两个；
[0014]基于第一多模态特征和第二多模态特征，确定第一图像块和第二图像块之间位置关系，基于位置关系，确定第一图像块和第二图像块之间的图像块关系，其中，位置关系包括距离关系、方向关系和连线关系中至少一种；
[0015]基于各图像块之间的图像块关系，确定各数据之间的数据关系；
[0016]将数据关系发送至端侧设备。
[0017]根据本说明书实施例的第三方面，提供了一种数据关系识别的数据处理方法，应用于云侧设备，包括：
[0018]获取样本图像，其中，样本图像包括至少两个样本图像块，各样本图像块包含对应的样本数据，至少两个样本图像块标注有标签图像块关系，样本图像块包括样本图像块信息和样本位置信息；
[0019]从各样本图像块中，确定第一样本图像块和第二样本图像块，其中，第一样本图像块和第二样本图像块为各样本图像块中任意两个；
[0020]利用关系识别模型的编码器，对第一样本图像块的样本图像块信息和样本位置信息进行多模态编码，得到第一样本图像块的第一样本多模态特征，对第二样本图像块的样本图像块信息和样本位置信息进行多模态编码，得到第二样本图像块的第二样本多模态特征；
[0021]利用关系识别模型的关系识别器，基于第一样本多模态特征和第二样本多模态特征，确定第一样本图像块和第二样本图像块之间位置关系，基于位置关系，确定第一样本图像块和第二样本图像块之间的预测图像块关系，其中，位置关系包括距离关系、方向关系和连线关系中至少一种；
[0022]基于预测图像块关系，以及第一样本图像块和第二样本图像块之间的标签图像块关系，计算得到损失值；
[0023]基于损失值，调整编码器和关系识别器的参数，在达到预设训练结束条件的情况下，得到训练完成的关系识别模型；
[0024]将训练完成的关系识别模型的参数发送至端侧设备。
[0025]根据本说明书实施例的第四方面，提供了一种计算设备，包括：
[0026]存储器和处理器；
[0027]所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述第一方面、第二方面或者第三方面方法的步骤。
[0028]根据本说明书实施例的第五方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述第一方面、第二方面或者第三方面方法的步骤。
[0029]根据本说明书实施例的第六方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述第一方面、第二方面或者第三方面方法的步骤。
[0030]本说明书一个或多个实施例中，获取待识别图像，其中，待识别图像包括至少两个图像块，各图像块包含对应的数据，图像块包括图像块信息和位置信息；对第一图像块的图像块信息和位置信息进行多模态编码，得到第一图像块的第一多模态特征，对第二图像块的图像块信息和位置信息进行多模态编码，得到第二图像块的第二多模态特征，其中，第一
图像块和第二图像块为各图像块中任意两个；基于第一多模态特征和第二多模态特征，确定第一图像块和第二图像块之间位置关系，基于位置关系，确定第一图像块和第二图像块之间的图像块关系，其中，位置关系包括距离关系、方向关系和连线关系中至少一种；基于各图像块之间的图像块关系，确定各数据之间的数据关系。基于数据的图像块在待识别图像中的位置信息，结合上图像块自身的图像块信息，进行多模态编码，得到多模态特征，基于多模态特征，确定图像块之间的距离、方向和/或共线的位置关系，进而确定图像块之间的对应关系，得到数据之间的对应关系，在利用了图像块自身的图像块信息的基础上，结合了位置信息，充分利用图像块的相关信息，进行了全面准确的位置关系判断，实现了更为准确的关系识别，提升了数据关系的识别准确度。
附图说明
[0031]图1是本说明书一个实施例提供的一种数据关系识别方法的流程图；
[0032]图2是本说明书一个实施例提供的另一种数据关系识别方法的流程图；
[0033]图3是本说明书一个实施例提供的一种数据关系识别的数据处理方法的流程图；
[0034]图4是本说明书一个实施例提供的一种数据关系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据关系识别方法，包括：获取待识别图像，其中，所述待识别图像包括至少两个图像块，各图像块包含对应的数据，图像块包括图像块信息和位置信息；对第一图像块的图像块信息和位置信息进行多模态编码，得到所述第一图像块的第一多模态特征，对第二图像块的图像块信息和位置信息进行多模态编码，得到所述第二图像块的第二多模态特征，其中，所述第一图像块和所述第二图像块为各图像块中任意两个；基于所述第一多模态特征和所述第二多模态特征，确定所述第一图像块和所述第二图像块之间位置关系，基于所述位置关系，确定所述第一图像块和所述第二图像块之间的图像块关系，其中，所述位置关系包括距离关系、方向关系和连线关系中至少一种；基于各图像块之间的图像块关系，确定各数据之间的数据关系。2.根据权利要求1所述的方法，所述对第一图像块的图像块信息和位置信息进行多模态编码，得到所述第一图像块的第一多模态特征，对第二图像块的图像块信息和位置信息进行多模态编码，得到所述第二图像块的第二多模态特征，包括：利用关系识别模型的编码器，对第一图像块的图像块信息和位置信息进行多模态编码，得到所述第一图像块的第一多模态特征，对第二图像块的图像块信息和位置信息进行多模态编码，得到所述第二图像块的第二多模态特征；所述基于所述第一多模态特征和所述第二多模态特征，确定所述第一图像块和所述第二图像块之间位置关系，基于所述位置关系，确定所述第一图像块和所述第二图像块之间的图像块关系，包括：利用所述关系识别模型的关系识别器，基于所述第一多模态特征和所述第二多模态特征，确定所述第一图像块和所述第二图像块之间位置关系，基于所述位置关系，确定所述第一图像块和所述第二图像块之间的图像块关系。3.根据权利要求2所述的方法，其中，所述图像块信息包括图像信息和文本信息，所述关系识别模型的编码器包括图像编码层、文本位置编码层和特征融合层；所述利用关系识别模型的编码器，对第一图像块的图像块信息和位置信息进行多模态编码，得到所述第一图像块的第一多模态特征，对第二图像块的图像块信息和位置信息进行多模态编码，得到所述第二图像块的第二多模态特征，包括：将所述待识别图像输入所述图像编码层，对第一图像块的图像信息进行编码，得到所述第一图像块的第一图像特征，对第二图像块的图像信息进行编码，得到所述第二图像块的第二图像特征；将所述第一图像块的文本信息和位置信息输入所述文本位置编码层，对所述第一图像块的文本信息和位置信息进行编码，得到所述第一图像块的第一文本位置特征；将所述第二图像块的文本信息和位置信息输入所述文本位置编码层，对所述第二图像块的文本信息和位置信息进行编码，得到所述第二图像块的第二文本位置特征；将所述第一图像特征和所述第一文本位置特征输入所述特征融合层，对所述第一图像特征和所述第一文本位置特征进行特征融合，得到所述第一图像块的第一多模态特征；将所述第二图像特征和所述第二文本位置特征输入所述特征融合层，对所述第二图像特征和所述第二文本位置特征进行特征融合，得到所述第二图像块的第二多模态特征。4.根据权利要求3所述的方法，所述将所述待识别图像输入所述图像编码层，对第一图
像块的图像信息进行编码，得到所述第一图像块的第一图像特征，对第二图像块的图像信息进行编码，得到所述第二图像块的第二图像特征，包括：将所述待识别图像输入所述图像编码层，对所述待识别图像的图像信息进行编码，得到全局图像特征；根据第一图像块的位置信息，对所述全局图像特征进行划分，得到所述第一图像块的第一图像特征，根据第二图像块的位置信息，对所述全局图像特征进行划分，得到所述第二图像块的第二图像特征。5.根据权利要求3所述的方法，所述将所述第一图像块的文本信息和位置信息输入所述文本位置编码层，对所述第一图像块的文本信息和位置信息进行编码，得到所述第一图像块的第一文本位置特征，包括：将所述第一图像块的文本信息和位置信息输入所述文本位置编码层的嵌入层，对所述第一图像块的文本信息和位置信息进行特征嵌入，得到所述第一图像块的第一文本位置嵌入特征；将所述第一文本位置嵌入特征输入所述文本位置编码层的编码层，对第一文本位置嵌入特征进行编码，得到所述第一图像块的第一文本位置特征；所述将所述第二图像块的文本信息和位置信息输入所述文本位置编码层，对所述第二图像块的文本信息和位置信息进行编码，得到所述第二图像块的第二文本位置特征，包括：将所述第二图像块的文本信息和位置信息输入所述嵌入层，对所述第二图像块的文本信息和位置信息进行特征嵌入，得到所述第二图像块的第二文本位置嵌入特征；将所述第二文本位置嵌入特征输入所述编码层，对第二文本位置嵌入特征进行编码，得到所述第二图像块的第二文本位置特征。6.根据权利要求3所述的方法，所述将所述第一图像特征和所述第一文本位置特征输入所述特征融合层，对所述第一图像特征和所述第一文本位置特征进行特征融合，得到所述第一图像块的第一多模态特征，包括：将所述第一图像特征和所述第一文本位置特征输入所述特征融合层，对所述第一图像特征和所述第一文本位置特征进行交叉注意力计算，得到所述第一图像块的第一融合图像特征和第一融合文本位置特征，对所述第一融合图像特征和所述第一融合文本位置特征进行拼接，得到所述第一图像块的第一多模态特征；所述将所述第二图像特征和所述第二文本位置特征输入所述特征融合层，对所述第二图像特征和所述第二文本位置特征进行特征融合，得到所述第二图像块的第二多模态特征，包括：将所述第二图像特征和所述第二文本位置特征输入所述特征融合层，对所述第二图像特征和所述第二文本位置特征进行交叉注意力计算，得到所述第二图像块的第二融合图像特征和第二融合文本位置特征，对所述第二融合图像特征和所述第二融合文本位置特征进行拼接，得到所述第二图像块的第二多模态特征。7.根据权利要求2所述的方法，所述基于所述位置关系，确定所述第一图像块和所述第二图像块之间的图像块关系，包括：在所述位置关系为距离关系的情况下，若所述距离关系为相邻，确定所述第一图像块和所述第二图像块之间的图像块关系为相关图像块；
...

【专利技术属性】
技术研发人员：罗楚威，程昌旭，郑琪，姚聪，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：