【技术实现步骤摘要】
本专利技术属于知识图谱推理，涉及一种基于长短期依赖的时序知识图谱推理方法。主要利用关系图卷积神经网络(relational graph convolutional neuralnetworks，r-gcn)和关系图注意力网络(relational graph attention neural networks，r-gat)分别从事件发展的长期依赖和短期偏好角度来共同建模事件演化的结构依赖和序列模式，从而将事件相关的实体和关系用低维嵌入向量表示，并在此基础上利用卷积迁移网络(convolutional translation network,convtranse)作为解码器来计算事件实体之间在未来交互的可能性，实现精准的事件预测。
技术介绍
1、时序知识图谱推理的主要目的是根据大量的历史事件的发生预测未来事件发发生，即预测未来的某个时间点哪些实体间会发生交互。由于时序知识图谱推理在灾害预测、社交关系预测和金融分析等决策领域的重要影响，最近引起了越来越多的关注。
2、现实生活中的事件总是随时间进行演化的，但传统的知识图谱(knowledgegraph，kg)并不能建模这样的时序动态性。为解决该限制，时序知识图谱(temporalknowledge graph，tkg)便应运而生了。一个时序知识图谱通常是由一系列发生在不同时间的知识图谱快照组成，而这些知识图谱快照都包含了发生在相同时间的各类现实事件。通过考虑时序信息，时序知识图谱中的每个事件都可以表示成(主体，关系，客体，时间)的四元组形式。比如说，(勒布朗·詹姆斯，效力
3、传统的时序知识图谱推理方法可以分为三种：(1)基于张量分解(tensordecomposition)的推理方法，通常把表示事件的4元组表示为四阶张量的形式；这种方法通常无法有效地利用时间信息；(2)基于自回归的推理方法，通过对子图进行连续建模的方式来捕获事件发展的演化规律；这种方法通常仅建模短期依赖，忽略了重要的长期依赖；(3)基于复制模式的推理方法，着重强调事件发生的重复性和周期性；这种方法通常忽略了事件间的高阶交互信息。本专利技术是基于自回归的推理方法的改进，利用自回归的图神经网络方法来建模事件演化的趋势，并设计了长期稠密图以学习事件演化的长期依赖，在此基础上根据最近时刻事件的发展情况来自适应地调整长期依赖，实现精准的事件预测。
技术实现思路
1、本专利技术的目的旨在针对上述现有技术中存在的技术问题，提供一种基于长短期依赖的时序知识图谱推理方法，通过从长期和短期依赖的角度对事件演化进行多尺度的建模，以实现对未来事件的精准预测。
2、本专利技术的思路为：利用构建的长期稠密图和关系感知的图卷积神经网络来捕获事件发展的长期依赖；在此基础上利用基于注意力机制的关系感知的图神经网络来建模事件的短期演化趋势，并通过对事件短期发展的强烈关注实现对长期依赖的自适应调整，实现对未来事件的精确预测。
3、基于上述专利技术思路，本专利技术提出一种基于长短期依赖的时序知识图谱推理方法，其具体包括以下步骤：
4、s1将若干个历史子图序列合并为一个长期稠密图，并使用关系图神经网络对事件间的高阶语义交互信息和事件发生的重复性进行建模，为每一个实体和关系生成包含长期语义依赖的实体长期嵌入表示；
5、s2针对当前时刻之前的若干子图序列，使用步骤s1得到的长期嵌入表示进行初始化，然后针对每一个子图序列，结合前一时刻的实体嵌入表示和关系嵌入表示，使用基于注意力机制的关系图神经网络和双重循环网络来对事件近期的演化进行建模，为每一个实体和关系生成包含长期演化依赖和短期演化偏好的实体嵌入表示和关系嵌入表示；
6、s3依据当前时刻的实体嵌入表示、关系嵌入表示和已知实体，通过解码器获取未来事件的最终预测结果。
7、上述步骤s1的目的在于，给定若干历史子图序列(例如，m个历史子图{gt-m-m,gt-m-m+1,…,gt-m-1}),首先将这些历史子图合并为一个统一的稠密历史图gg,然后在此基础上使用关系感知的图神经网络来捕获实体间跨时空的高阶语义交互依赖和事件发生的重复性模式，即实现对事件演化长期依赖的建模。该步骤s1具体包括以下分步骤：
8、s11基于若干连续历史子图序列，构建长期稠密图；
9、s12使用若干层关系感知的图神经网络来生成包含长期语义依赖的实体长期嵌入表示。
10、上述步骤s11中，构建蕴含丰富长期依赖的统一稠密历史图。例如，对于给定m个连续历史子图序列{gt-m-m,gt-m-m+1,…,gt-m-1}，t表示当前待预测事件的时间戳，m表示短期依赖的子图数量。保留所有的实体作为节点，即把不同时刻的相同实体当成同一节点，并把不同时刻实体间发生的交互合并起来，即去掉交互的时间信息，由此就可以得到一个统一稠密的历史图gg，即长期稠密图gg。通过这种方式，可以把大量的历史信息压缩成一个统一的历史图，并在此基础之上实现从全局的角度建模事件演化的长期依赖。
11、上述步骤s12中，在上述得到的长期稠密图gg的基础上捕获事件间跨时间的高阶语义交互信息。这里使用关系感知的图神经网络来建模实体和关系的实体长期嵌入表示：
12、
13、其中，表示第l+1层图神经网络的长期嵌入表示；与分别表示主体s和客体o在第l层图神经网络中的嵌入表示；hr代表关系r的全局嵌入表示，由长期稠密图给出；fg代表gg中所有历史事件的集合；和是表示可学习的参数矩阵；φ(·)代表一维的卷积操作，比如说捕获了主体s与对应的客体o在关系r上的迁移关系；αo是表示放缩因子，它等于实体o的入度大小；f(·)是表示rrelu激活函数。通过上述操作，所有实体嵌入表示均得到了更新。
14、上述步骤s1还包括：
15、s13通过循环神经网络对实体长期嵌入表示进行更新。
16、步骤s13中，使用gru循环神经网络对实体长期嵌入表示进行更新，公式如下：
17、
18、其中，表示经gru循环神经网络更新后的所有实体长期嵌入表示，表示长期稠密图的初始时所有实体嵌入表示，表示按照步骤s12经若干图神经网络得到的所有实体长期嵌入表示。
19、经过多次层聚合后，使用gru等循环神经网络来更新实体和关系表示，这可以减轻长期稠密图gg中不相关信息的影响并保留更多相关实体和关系的信息。进一步地，学习到的这些表示可以作为步骤s2(短期事件演化模块)的初始嵌入，并使用历史事实信息和事件演化的早期线索来促进其学习。因此，所提出的长期稠密图可以增强对未来事件的预测，这有助于全面捕获事件演化的长期依赖性。
20、上述步骤s2的目的在于，对于给定当前时刻之前的若干子图序列(例如，最近m个子图快照序列{本文档来自技高网...
【技术保护点】
1.一种基于长短期依赖的时序知识图谱推理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于长短期依赖的时序知识图谱推理方法，其特征在于，步骤S1具体包括以下分步骤：
3.根据权利要求2所述的基于长短期依赖的时序知识图谱推理方法，其特征在于，步骤S12中，使用关系感知的图神经网络来建模实体和关系的实体长期嵌入表示：
4.根据权利要求1-3任一项所述的基于长短期依赖的时序知识图谱推理方法，其特征在于，步骤S1还包括：S13通过循环神经网络对实体长期嵌入表示进行更新。
5.根据权利要求4所述的基于长短期依赖的时序知识图谱推理方法，其特征在于，步骤S13中，使用GRU循环神经网络对实体长期嵌入表示进行更新，公式如下：
6.根据权利要求4所述的基于长短期依赖的时序知识图谱推理方法，其特征在于，步骤S2具体包括以下分步骤：
7.根据权利要求6所述的基于长短期依赖的时序知识图谱推理方法，其特征在于，步骤S22中，对于在第l层图神经网络中的任意一个客体o，在第l层图神经网络中的更新过程被定义如下：
8
9.根据权利要求7所述的基于长短期依赖的时序知识图谱推理方法，其特征在于，步骤S3中，使用卷积迁移网络作为解码器。
10.根据权利要求9所述的基于长短期依赖的时序知识图谱推理方法，其特征在于，未来事件发生的概率为：
...【技术特征摘要】
1.一种基于长短期依赖的时序知识图谱推理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于长短期依赖的时序知识图谱推理方法，其特征在于，步骤s1具体包括以下分步骤：
3.根据权利要求2所述的基于长短期依赖的时序知识图谱推理方法，其特征在于，步骤s12中，使用关系感知的图神经网络来建模实体和关系的实体长期嵌入表示：
4.根据权利要求1-3任一项所述的基于长短期依赖的时序知识图谱推理方法，其特征在于，步骤s1还包括：s13通过循环神经网络对实体长期嵌入表示进行更新。
5.根据权利要求4所述的基于长短期依赖的时序知识图谱推理方法，其特征在于，步骤s13中，使用gru循环神经网络对实体长期嵌入表示进行更新，公式如下：
6...
【专利技术属性】
技术研发人员：周帆，陈斌，刘燕，刘欣，台文鑫，钟婷，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。