一种调控知识图谱的实体关系路径推理方法及系统技术方案

本发明专利技术一种调控知识图谱的实体关系路径推理方法及系统，实现调控知识图谱中任意两个实体间的关系路径推理，可进一步应用于调控辅助决策。所述方法包括将调控知识图谱中的实体对进行向量化表示；将向量化表示的实体对，通过预训练的DDPG模型进行推理，得到所述实体对的最优关系路径。通过预训练的DDPG模型进行推理，实现调控知识图谱中任意两个实体间的关系路径推理，可进一步应用于调控辅助决策。其中，利用先验知识库的构建，对调控知识图谱中较好的训练样本进行筛选，从而提高了DDPG模型中经验回放单元内训练样本的质量，提高了神经网络的训练效果；实现了先验知识与深度确定性策略梯度融合的路径推理方法。梯度融合的路径推理方法。梯度融合的路径推理方法。

An entity relationship path reasoning method and system for knowledge mapping

【技术实现步骤摘要】
一种调控知识图谱的实体关系路径推理方法及系统


[0001]本专利技术涉及电力调度领域，具体为一种调控知识图谱的实体关系路径推理方法及系统。

技术介绍

[0002]随着电网规模持续扩大和运行特性日趋复杂，电网调控业务复杂度及调控人员承载力强度日益增加。但随着信息化系统的不断升级，获取的信息数量及数据维度不断扩增，各类智能化应用越来越多，调度自动化业务逻辑和相关业务知识仅凭人力难以全面掌握。一旦系统出现复杂问题，简单的业务逻辑或业务操作不能解决时只能通过增加人力投入来查找可能的故障原因。
[0003]故障知识推理任务是进行辅助的逻辑或决策判断，主要可分为基于向量化表示的关系推理和随机游走路径排序两种方法。前者的代表有TransE，TrasH等，其原理是将知识图谱中的不同实体、连接关系以三元组的形式开展迭代训练，将实体和关系进一步转化为不同维度的向量表示，再通过向量之间距离的计算推理不同实体间的关系。向量嵌入表示的方法将“实体
‑
关系
‑
实体”的表示方式转化为向量的加和操作，在知识图谱规模适中且大规模训练优化的基础上可以获得较好的效果，但当知识图谱中出现“一对多”及大量重复关系时，通过向量计算的推理结果准确度将受到大幅影响。路径排序算法PRA(Path Ranking Algorithm)是Ni Lao等人提出，其思想是通过查询知识图谱中任意两个实体间的路径，并以路径长度排序，利用关系路径的特征来判断作为随机游走模型的代表，将两个实体之间存在的路径作为特征，再利用该特征判断两个实体之间是否存在某个关系。这种方法具有更好的可解释性，但它作用在离散的特征空间中，导致难以评估实体和关系之间的相似性，且随着知识图谱规模的扩大，搜索效率将大幅下降。
[0004]开展知识推理决策的前提是寻找实体间的关系连接，国内外相关学者作了部分研究，如：XIONG等人提出的DeepPath模型将实体间关系的推理视为关系路径推理，基于Actor
‑
Critic框架的深度强化学习方法进行了求解，并将路径推理结果作为一种关系预测方法；杨瑞达等在文章“基于混合增强智能的知识图谱推理技术研究”中，进一步提出采用混合增强智能的方法进行路径推理，且在训练过程中融合了人工判断，以提高训练收敛效率。不同于常规知识图谱，调控知识图谱中存在大量重复的关系数据，即一个起始实体加上一个关系可对应n个末端实体。但随着实体
‑
关系
‑
实体对数的增加，其连接路径的复杂程度也呈指数级增长，如何在一个具有数十倍于最优路径的选择空间内实现优化选择是待解决的问题。

技术实现思路

[0005]针对现有技术中调控知识图谱具有大量重复关系及数十倍的路径选择问题，本专利技术提供一种调控知识图谱的实体关系路径推理方法及系统，实现调控知识图谱中任意两个实体间的关系路径推理，可进一步应用于调控辅助决策。
[0006]本专利技术是通过以下技术方案来实现：
[0007]一种调控知识图谱的实体关系路径推理方法，包括，
[0008]将调控知识图谱中的实体对进行向量化表示；
[0009]将向量化表示的实体对，通过预训练的DDPG模型进行推理，得到所述实体对的最优关系路径。
[0010]优选的，所述预训练的DDPG模型的训练方法如下，
[0011]将调控知识图谱中的实体对进行向量化表示；
[0012]随机生成一个样本选择概率，若不大于设定的专家经验阈值，则根据调控知识图谱的实体对构建先验知识库，并作为训练样本；
[0013]若大于设定的专家经验阈值，则根据调控知识图谱中的实体对，通过DDPG模型的神经网络，生成随机样本，并作为训练样本；
[0014]所述的训练样本集合到DDPG模型的经验回放单元，根据对经验回放单元中训练样本的设定采样对DDPG模型的神经网络进行训练。
[0015]进一步，所述根据调控知识图谱的实体对构建先验知识库，具体包括，通过深度优先搜索调节知识图谱中任意两个实体之间的存在的所有关系路径，根据训练需要，存储为如下关系路径三元组的格式：
[0016]P
n
＝{(e
head
,r,e
m
),...,(e
m
,r,e
end
)}
[0017]式中，P
n
为第n条关系路径；e
head
，e
end
为头部实体及尾部实体；e
m
为与头部实体或尾部实体相连的中间实体；r为知识图谱中的关系。
[0018]优选的，所述的将调控知识图谱中的实体对进行向量化表示时，将知识图谱中的任意三元组<实体1、关系、实体2>转化为向量空间的连续表示，即实现实体向量1+关系向量＝实体向量2；具体包括如下，
[0019]步骤1，根据任意包含多个三元组<实体1、关系、实体2>的知识图谱，确定向量空间的维度n，实体个数|E|，关系个数|R|，并生成(|E|+|R|)*n个向量参数；
[0020]步骤2，筛选固定尺寸的三元组，并根据三元组中实体关系向量计算误差，公式如下：
[0021][0022]式中，向量e
head
为三元组的头实体，向量e
end
为三元组的尾实体，向量r为连接头实体和尾实体的关系；
[0023]步骤3，采用梯度下降的方式更新三元组中的向量参数；
[0024]步骤4，循环步骤2和步骤3，直至误差最小，训练结束，得到实体对的向量化表示。
[0025]优选的，所述预训练的DDPG模型中，评论网络根据如下损失函数进行网络学习；
[0026][0027]其中，y是目标行动网络Q值；是目标评论网络的Q值；R是奖励函数；s是状态；a是目标行动网络传给目标评论网络的关系向量；γ是折扣因子；L(θ)为目标行动网络
的Q值和目标评论网络的Q值的平方损失；θ为目标行动网络的参数集合；E表示平均值。
[0028]进一步，所述奖励函数R如下式所示，
[0029]R＝R
complete
+R
length
[0030]其中，为推理路径是否达到目标点的奖励值；
[0031]为推理路径长度的奖励值。
[0032]优选的，所述预训练的DDPG模型中，行动网络基于确定性策略根据下式进行参数更新；
[0033][0034]其中，J是目标行动网络的目标函数；θ是目标行动网络的参数集合；s是状态；D是状态空间全集；μ表示目标行动网络输出的确定性动作；Q
μ
(s,a)为采用确定性动作μ的Q值；a是目标行动网络传给目标评论网络的关系；
▽
为梯度表示。
[0035]一种调控知识图谱的实体关系路径推理系统，包括，
[0036]实体向量化嵌入模块，用于将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种调控知识图谱的实体关系路径推理方法，其特征在于，包括，将调控知识图谱中的实体对进行向量化表示；将向量化表示的实体对，通过预训练的DDPG模型进行推理，得到所述实体对的最优关系路径。2.根据权利要求1所述的一种调控知识图谱的实体关系路径推理方法，其特征在于，所述预训练的DDPG模型的训练方法如下，将调控知识图谱中的实体对进行向量化表示；随机生成一个样本选择概率，若不大于设定的专家经验阈值，则根据调控知识图谱的实体对构建先验知识库，并作为训练样本；若大于设定的专家经验阈值，则根据调控知识图谱中的实体对，通过DDPG模型的神经网络，生成随机样本，并作为训练样本；所述的训练样本集合到DDPG模型的经验回放单元，根据对经验回放单元中训练样本的设定采样对DDPG模型的神经网络进行训练。3.根据权利要求2所述的一种调控知识图谱的实体关系路径推理方法，其特征在于，所述根据调控知识图谱的实体对构建先验知识库，具体包括，通过深度优先搜索调节知识图谱中任意两个实体之间的存在的所有关系路径，根据训练需要，存储为如下关系路径三元组的格式：P
n
＝{(e
head
,r,e
m
),...,(e
m
,r,e
end
)}式中，P
n
为第n条关系路径；e
head
，e
end
为头部实体及尾部实体；e
m
为与头部实体或尾部实体相连的中间实体；r为知识图谱中的关系。4.根据权利要求1或2所述的一种调控知识图谱的实体关系路径推理方法，其特征在于，所述的将调控知识图谱中的实体对进行向量化表示时，将知识图谱中的任意三元组<实体1、关系、实体2>转化为向量空间的连续表示，即实现实体向量1+关系向量＝实体向量2；具体包括如下，步骤1，根据任意包含多个三元组<实体1、关系、实体2>的知识图谱，确定向量空间的维度n，实体个数|E|，关系个数|R|，并生成(|E|+|R|)*n个向量参数；步骤2，筛选固定尺寸的三元组，并根据三元组中实体关系向量计算误差，公式如下：式中，向量e
head
为三元组的头实体，向量e
end
为三元组的尾实体，向量r为连接头实体和尾实体的关系；步骤3，采用梯度下降的方式更新三元组中的向量参数；步骤4，循环步骤2和步骤3，直至误差最小，训练结束，得到实体对的向量化表示。5.根据权利要求1或2所述的一种调控知识图谱的实体关系路径推理方法，其特征在于，所述预训练的DDPG模型中，评论网络根据如下损失函数进行网络学习；
其中，y是...

【专利技术属性】
技术研发人员：陈盛，王新迎，闫冬，徐会芳，彭国政，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：