一种多模态数据关联方法和装置制造方法及图纸

本发明专利技术提供了一种多模态数据关联方法和装置，涉及数据处理的技术领域，包括：获取待处理数据，其中，待处理数据的类型包括：视频数据，图片数据和文本数据；构建待处理数据的语义图；利用图卷积网络计算语义图的表示向量；基于表示向量，确定待处理数据的数据关联结果，解决了现有数据关联方法的普适性较差，无法确定不同模态数据的数据关联的技术问题。

【技术实现步骤摘要】
一种多模态数据关联方法和装置
本专利技术涉及数据处理
，尤其是涉及一种多模态数据关联方法和装置。
技术介绍
在显现技术中，以图片标注技术为代表，现有多模态数据的处理通常采用编解码框架，基本都是针对特定的两种模态，当涉及到多种模态的时候，往往需要与数据种类成二次方关系数量的编解码结构，也就是说现在基本不存在简单直接的多模态数据处理方法。另外，在数据关联任务上，即使是只对两种模态进行处理，现有的方法也没有达到最理想的效果。以基于图片标注模型的图片和文本数据关联为例，其中的图片标注模型由卷积神经网络和循环神经网络组成，要训练出性能比较好的神经网络，需要大量的训练数据，而且如果应用时数据和训练数据的特点不一致，模型的性能就会大幅度下降，而这些困难在现实中进行多模态数据关联时是很常见的。另外，目前的图片标注生成模型大多倾向于只为图片生成一条高度概括的文本，这可能会使得系统忽略掉很多细节，从而导致在数据关联时无法匹配到相应的数据。更严重的是，如果训练数据和调参过程不理想，标注模型给出的语句的信息量会下降到无法用来进行数据关联的程度，比如图片标注模型为了使得生成的语句在形式上和训练文本相似，会在语句中加入很多无意义但又经常出现的虚词。最后，模型的性能和规模之间也存在着矛盾，图片标注模型中的卷积神经网络部分的参数量很大，训练需要的硬件与时间成本高，但如果减少参数量以缩减成本的话，模型的效果也会下降，归根结底是输入的图片数据空间太大，所以处理起来困难。针对上述问题，还未提出有效的解决方案。专利技术内容有鉴于此，本专利技术的目的在于提供一种多模态数据关联方法和装置，以缓解了现有技术中对数据关联方法的普适性较差，无法确定不同模态数据的进行数据关联的技术问题。第一方面，本专利技术实施例提供了一种多模态数据关联方法，包括：获取待处理数据，其中，所述待处理数据的类型包括：视频数据，图片数据和文本数据；构建所述待处理数据的语义图；利用图卷积网络计算所述语义图的表示向量；基于所述表示向量，确定所述待处理数据的数据关联结果。进一步地，若所述待处理数据为所述视频数据；构建所述待处理数据的语义图，包括：确定出所述待处理数据中的第一关键帧，其中，所述第一关键帧为包含语义的图片帧；基于所述第一关键帧的语义，确定出所述第一关键帧对应的预设语义节点符号，其中，所述预设语义节点符号包括：实体节点符号，关系节点符号，属性节点符号，属性节点符号，结构节点符号；利用所述预设语义节点符号的连接关系，构建所述第一关键帧的语义序列图；对所述第一关键帧的语义序列图进行合并，得到所述待处理数据的语义图。进一步地，对所述第一关键帧的语义序列图进行合并，得到所述待处理数据的语义图，包括：对所述语义序列图中的预设语义节点进行合并，得到所述待处理数据的语义图。进一步地，若所述待处理数据为所述图片数据；构建所述待处理数据的语义图，包括：将所述图片数据确定为第二关键帧；基于所述第二关键帧的语义，确定出所述第二关键帧对应的预设语义节点符号；利用所述预设语义节点符号的连接关系，构建所述第二关键帧的语义序列图；将所述第二关键帧的语义序列图确定为所述待处理数据的语义图。进一步地，若所述待处理数据为所述文本数据；构建所述待处理数据的语义图，包括：利用实体抽取和关系抽取，确定出所述待处理数据对应的预设语义节点符号；利用所述预设语义节点符号的连接关系，构建所述待处理数据的语义序列图；根据所述待处理数据的语义序列图，构建所述待处理数据的语义图。进一步地，利用图卷积网络计算所述语义图的表示向量，包括：构建所述语义图的嵌入矩阵，其中，所述嵌入矩阵包括：预设语义节点符号的嵌入矩阵，预设语义节点符号的连接关系的嵌入矩阵；利用所述嵌入矩阵和所述图卷积网络，对预设语义节点的表示向量进行预设次数迭代，得到预设语义节点的初始表示向量；确定出所述初始表示向量中目标表示向量，其中，所述目标表示向量为所述结构节点符号对应的初始表示向量；将所述目标表示向量确定为所述语义图的表示向量。进一步地，基于所述表示向量，确定所述待处理数据的数据关联结果，包括：计算每个目标表示向量与预设表示向量之间的相似度，得到多个相似度；确定出目标相似度，其中，所述目标相似度为所述多个相似度中相似度最高的预设数量个相似度；将所述目标相似度对应的语义图确定为所述待处理数据的数据关联结果。第二方面，本专利技术实施例提供了一种多模态数据关联装置，包括：获取单元，构建单元，计算单元和确定单元，其中，所述获取单元，用于获取待处理数据，其中，所述待处理数据的类型包括：视频数据，图片数据和文本数据；所述构建单元，用于构建所述待处理数据的语义图；所述计算单元，用于利用图卷积网络计算所述语义图的表示向量；所述确定单元，用于基于所述表示向量，确定所述待处理数据的数据关联结果。第三方面，本专利技术实施例还提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储支持处理器执行上述第一方面中所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行第一方面中所述方法的步骤。在本专利技术实施例中，以待处理数据为输入对象，并通过语义图表示输入的多模态数据，对于生成的语义图，使用图卷积神经网络将其映射为表示向量，最后，通过表示向量确定出多模态数据参照图，达到了通过语义图确定不同模态数据的进行数据关联的目的，进而解决了现有数据关联方法的普适性较差，无法确定不同模态数据的数据关联的技术问题，从而实现了能够确定不同模态数据的数据关联的技术效果。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种多模态数据关联方法的流程图；图2为本专利技术实施例提供的语义图的表示向量的计算方法的流程图；图3为本专利技术实施例提供的一种多模态数据关联装置的示意图；图4为本专利技术实施例提供的一种终端的示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。...

【技术保护点】
1.一种多模态数据关联方法，其特征在于，包括：/n获取待处理数据，其中，所述待处理数据的类型包括：视频数据，图片数据和文本数据；/n构建所述待处理数据的语义图；/n利用图卷积网络计算所述语义图的表示向量；/n基于所述表示向量，确定所述待处理数据的数据关联结果。/n

【技术特征摘要】
1.一种多模态数据关联方法，其特征在于，包括：
获取待处理数据，其中，所述待处理数据的类型包括：视频数据，图片数据和文本数据；
构建所述待处理数据的语义图；
利用图卷积网络计算所述语义图的表示向量；
基于所述表示向量，确定所述待处理数据的数据关联结果。


2.根据权利要求1所述的方法，其特征在于，若所述待处理数据为所述视频数据；构建所述待处理数据的语义图，包括：
确定出所述待处理数据中的第一关键帧，其中，所述第一关键帧为包含语义的图片帧；
基于所述第一关键帧的语义，确定出所述第一关键帧对应的预设语义节点符号，其中，所述预设语义节点符号包括：实体节点符号，关系节点符号，属性节点符号，属性节点符号，结构节点符号；
利用所述预设语义节点符号的连接关系，构建所述第一关键帧的语义序列图；
对所述第一关键帧的语义序列图进行合并，得到所述待处理数据的语义图。


3.根据权利要求2所述的方法，其特征在于，对所述第一关键帧的语义序列图进行合并，得到所述待处理数据的语义图，包括：
对所述语义序列图中的预设语义节点进行合并，得到所述待处理数据的语义图。


4.根据权利要求2所述的方法，其特征在于，若所述待处理数据为所述图片数据；构建所述待处理数据的语义图，包括：
将所述图片数据确定为第二关键帧；
基于所述第二关键帧的语义，确定出所述第二关键帧对应的预设语义节点符号；
利用所述预设语义节点符号的连接关系，构建所述第二关键帧的语义序列图；
将所述第二关键帧的语义序列图确定为所述待处理数据的语义图。


5.根据权利要求2所述的方法，其特征在于，若所述待处理数据为所述文本数据；构建所述待处理数据的语义图，包括：
利用实体抽取和关系抽取，确定出所述待处理数据对应的预设语义节点符号；
利用所述预设语义节点符号的连接关系，构建所述待处理数据的语义序列图；

【专利技术属性】
技术研发人员：陶晓明，段一平，李明哲，徐迈，邓欣，
申请(专利权)人：清华大学，北京航空航天大学，
类型：发明
国别省市：北京;11