基于图神经网络的电力调度命令知识增强表示方法及系统技术方案

本发明专利技术公开一种基于图神经网络的电力调度命令知识增强表示方法及系统，涉及知识增强语义表示领域，方法包括：对每一电网系统中的相关文本文档，得到分层式上下文嵌入；利用知识库，检索与每一相关文本文档关联的语义知识，得到每一相关文本文档对应的知识感知表示，进而得到电网实体

【技术实现步骤摘要】
基于图神经网络的电力调度命令知识增强表示方法及系统


[0001]本专利技术涉及知识增强语义表示领域，特别是涉及一种基于图神经网络的电力调度命令知识增强表示方法及系统
。

技术介绍

[0002]目前，知识增强的预训练模型主要是基于
Transformer
的
BERT
和
GPT
模型，但是预训练模型缺乏常识知识，不具备深度理解和逻辑推理的能力，并且预训练模型鲁棒性差，可解释性差
。
应用到电力调度系统中进行各调度命令间的关系表示时准确性有待提高
。

技术实现思路

[0003]本专利技术的目的是提供一种基于图神经网络的电力调度命令知识增强表示方法及系统，采用基于图神经网络的知识增强表示技术，增强了电网实体与调度命令间交互的可解释性，也为下游任务中知识图谱的构建提供了可靠的知识增强方法
。
[0004]为实现上述目的，本专利技术提供了如下方案：
[0005]一种基于图神经网络的电力调度命令知识增强表示方法，所述方法包括：
[0006]获取电网系统中的相关文本文档；所述相关文本文档包括电网实体文本文档
、
调度命令文本文档和电网
‑
调度交互文本文档；
[0007]对每一所述相关文本文档，提取全局上下文嵌入和句子层级的上下文嵌入，得到分层式上下文嵌入；
[0008]利用知识库，检索与每一所述相关文本文档关联的语义知识，得到每一所述相关文本文档对应的知识感知表示，并基于所述分层式上下文嵌入
、
所述全局上下文嵌入和所述知识感知表示得到电网实体的高级语义表示
、
调度命令的高级语义表示和电网
‑
调度交互的高级语义表示；
[0009]基于所述电网实体的高级语义表示
、
所述调度命令的高级语义表示和所述电网
‑
调度交互的高级语义表示得到电网实体的知识增强语义表示
、
调度命令的知识增强语义表示和电网
‑
调度交互的知识增强语义表示；
[0010]根据所述电网实体的知识增强语义表示
、
所述调度命令的知识增强语义表示和所述电网
‑
调度交互的知识增强语义表示构建电力调度命令图；
[0011]基于图神经网络获得所述电力调度命令图中各调度命令间的关系表示
。
[0012]可选的，对每一所述相关文本文档，提取全局上下文嵌入和句子层级的上下文嵌入，得到分层式上下文嵌入，具体包括：
[0013]对每一所述相关文本文档，构建单词嵌入，以所述词嵌入为输入，利用第一双向长短期记忆网络提取所述全局上下文嵌入；
[0014]基于所述词嵌入获取句子层级的嵌入信息，以所述句子层级的嵌入信息为输入，利用第二双向长短期记忆网络提取所述句子层级的上下文嵌入；
[0015]将所述全局上下文嵌入和所述句子层级的上下文嵌入连接起来，获得所述分层式
上下文嵌入
。
[0016]可选的，利用知识库，检索与每一所述相关文本文档关联的语义知识，得到每一所述相关文本文档对应的知识感知表示，具体包括：
[0017]对每一所述相关文本文档中的每一词，从所述知识库中检索到每一词的前
N
个知识概念，得到每一词的知识概念的嵌入；每一词的所述知识概念的嵌入包括
N
个元素；
[0018]对每一所述相关文本文档中的每一词，基于所述知识概念的嵌入利用注意力机制计算知识概念的相关系数，并基于所述知识概念的相关系数计算知识概念感知嵌入；
[0019]将每一所述相关文本文档中的每一词对应的所述知识概念感知嵌入为输入，利用第三双向长短期记忆网络提取每一所述相关文本文档对应的所述知识感知表示
。
[0020]可选的，对每一所述相关文本文档中的每一词，基于所述知识概念的嵌入利用注意力机制计算知识概念的相关系数，并基于所述知识概念的相关系数计算知识概念感知嵌入，具体包括：
[0021]对每一所述相关文本文档中的每一词，建立每一词与所述知识概念的嵌入的各元素的线性关系，并通过
tanh
激活函数得到激活处理数据；
[0022]对每一词对应的所述激活处理数据应用
softmax
函数得到每一词对应的所述知识概念的相关系数；
[0023]根据每一词的所述知识概念的嵌入和所述知识概念的相关系数计算每一词对应的所述知识概念感知嵌入
。
[0024]可选的，基于所述分层式上下文嵌入
、
所述全局上下文嵌入和所述知识感知表示得到电网实体的高级语义表示
、
调度命令的高级语义表示和电网
‑
调度交互的高级语义表示，具体包括：
[0025]对每一所述相关文本文档，将所述知识感知表示和所述全局上下文嵌入融合得到融合嵌入；
[0026]以所述融合嵌入为多头注意力机制的
keys
，以所述知识感知表示为所述多头注意力机制的
values
，以所述分层式上下文嵌入为所述多头注意力机制的
query
，应用所述多头注意力机制获得高级语义表示；所述高级语义表示包括所述电网实体的高级语义表示
、
所述调度命令的高级语义表示和所述电网
‑
调度交互的高级语义表示
。
[0027]可选的，基于所述电网实体的高级语义表示
、
所述调度命令的高级语义表示和所述电网
‑
调度交互的高级语义表示得到电网实体的知识增强语义表示
、
调度命令的知识增强语义表示和电网
‑
调度交互的知识增强语义表示，具体包括：
[0028]用独热编码分别表示电网实体和调度命令的编码，采用全连接层映射将稀疏的电网实体独热编码表示和稀疏的调度命令独热编码表示分别转换为密集表示，得到电网实体嵌入表示和调度命令嵌入表示；
[0029]根据所述电网实体嵌入表示和所述电网实体的高级语义表示应用串联操作得到电网实体的知识增强语义表示，根据所述调度命令嵌入表示和所述调度命令的高级语义表示应用串联操作得到调度命令的知识增强语义表示；
[0030]根据所述电网
‑
调度交互的高级语义表示得到所述电网
‑
调度交互的知识增强语义表示
。
[0031]可选的，根据所述电网实体的知识增强语义表示
、
所述调度命令的知识增强语义
表示和所述电网
‑
调度交互的知识增强语义表示构建电力调度命令图，具体包括：
[0032]根据所述电网系统中的电网
‑
调度交互关系，构建电力调度命令行为图；所述电力调度命令行为图中的节点包括电网实体节点和调度命令节本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于图神经网络的电力调度命令知识增强表示方法，其特征在于，所述方法包括：获取电网系统中的相关文本文档；所述相关文本文档包括电网实体文本文档
、
调度命令文本文档和电网
‑
调度交互文本文档；对每一所述相关文本文档，提取全局上下文嵌入和句子层级的上下文嵌入，得到分层式上下文嵌入；利用知识库，检索与每一所述相关文本文档关联的语义知识，得到每一所述相关文本文档对应的知识感知表示，并基于所述分层式上下文嵌入
、
所述全局上下文嵌入和所述知识感知表示得到电网实体的高级语义表示
、
调度命令的高级语义表示和电网
‑
调度交互的高级语义表示；基于所述电网实体的高级语义表示
、
所述调度命令的高级语义表示和所述电网
‑
调度交互的高级语义表示得到电网实体的知识增强语义表示
、
调度命令的知识增强语义表示和电网
‑
调度交互的知识增强语义表示；根据所述电网实体的知识增强语义表示
、
所述调度命令的知识增强语义表示和所述电网
‑
调度交互的知识增强语义表示构建电力调度命令图；基于图神经网络获得所述电力调度命令图中各调度命令间的关系表示
。2.
根据权利要求1所述的方法，其特征在于，对每一所述相关文本文档，提取全局上下文嵌入和句子层级的上下文嵌入，得到分层式上下文嵌入，具体包括：对每一所述相关文本文档，构建单词嵌入，以所述词嵌入为输入，利用第一双向长短期记忆网络提取所述全局上下文嵌入；基于所述词嵌入获取句子层级的嵌入信息，以所述句子层级的嵌入信息为输入，利用第二双向长短期记忆网络提取所述句子层级的上下文嵌入；将所述全局上下文嵌入和所述句子层级的上下文嵌入连接起来，获得所述分层式上下文嵌入
。3.
根据权利要求1所述的方法，其特征在于，利用知识库，检索与每一所述相关文本文档关联的语义知识，得到每一所述相关文本文档对应的知识感知表示，具体包括：对每一所述相关文本文档中的每一词，从所述知识库中检索到每一词的前
N
个知识概念，得到每一词的知识概念的嵌入；每一词的所述知识概念的嵌入包括
N
个元素；对每一所述相关文本文档中的每一词，基于所述知识概念的嵌入利用注意力机制计算知识概念的相关系数，并基于所述知识概念的相关系数计算知识概念感知嵌入；将每一所述相关文本文档中的每一词对应的所述知识概念感知嵌入为输入，利用第三双向长短期记忆网络提取每一所述相关文本文档对应的所述知识感知表示
。4.
根据权利要求3所述的方法，其特征在于，对每一所述相关文本文档中的每一词，基于所述知识概念的嵌入利用注意力机制计算知识概念的相关系数，并基于所述知识概念的相关系数计算知识概念感知嵌入，具体包括：对每一所述相关文本文档中的每一词，建立每一词与所述知识概念的嵌入的各元素的线性关系，并通过
tanh
激活函数得到激活处理数据；对每一词对应的所述激活处理数据应用
softmax
函数得到每一词对应的所述知识概念的相关系数；
根据每一词的所述知识概念的嵌入和所述知识概念的相关系数计算每一词对应的所述知识概念感知嵌入
。5.
根据权利要求1所述的方法，其特征在于，基于所述分层式上下文嵌入
、
所述全局上下文嵌入和所述知识感知表示得到电网实体的高级语义表示
、
调度命令的高级语义表示和电网
‑
调度交互的高级语义表示，具体包括：对每一所述相关文本文档，将所述知识感知表示和所述全局上下文嵌入融合得到融合嵌入；以所述融合嵌入为多头注意力机制的
keys
，以所述知识感知表示为所述多头注意力机制的
values
，以所述分层式上下文嵌入为所述多头注意力机制的
query
，应用所述多头注意力机制获得高级语义表示；所述高级语义表示包括所述电网实体的高级语义表示
、
所述调度命令的高级语义表示和所述电网
‑
调度交互的高级语义表示
。6.
根据权利要求1所述的方法，其特征在于，基于所述电网实体的高级语义表示
、
所述调度命令的高级语义表示和所述电网
‑
调度交互的高级语义表示得到电网实体的知识增强语义表示
、
调度命令的知识增强语义表示和电网
‑
调度交互的知识增强语义表示，具体包括：用独热编码分别表示电网实体和调度命令的编码，采用全连接层映射将稀疏的电网实体独热编码表示和稀疏的调...

【专利技术属性】
技术研发人员：刘映尚，马光，顾慧杰，梁寿愚，李文朝，许丹莉，彭超逸，
申请(专利权)人：中国南方电网有限责任公司，
类型：发明
国别省市：