基于多尺度动态卷积网络模型的知识图谱嵌入方法及系统技术方案

本发明专利技术提供了一种基于多尺度动态卷积网络模型的知识图谱嵌入方法及系统，包括三个阶段：嵌入表示阶段、编码阶段和评分阶段。对于三元组，首先映射头实体，关系到它们的分布式嵌入表示，并生成与关系相关的卷积核向量。然后对这些卷积核在嵌入上进行重塑和卷积，以获得编码组件中的特征映射张量和隐藏层向量。最后，在评分组件中，与所有候选尾实体的嵌入进行匹配，预测三元组是否正确。本发明专利技术的有益效果是：可以有效地处理复杂关系，并在大多数评价指标上获得最先进的链路预测结果，具有较好的实用性。具有较好的实用性。具有较好的实用性。

【技术实现步骤摘要】
基于多尺度动态卷积网络模型的知识图谱嵌入方法及系统


[0001]本专利技术涉及知识图谱
，尤其涉及一种基于多尺度动态卷积网络模型的知识图谱嵌入方法及系统。

技术介绍

[0002]近年来，知识图谱（KGs）在各种人工智能任务中得到了广泛的应用，包括推荐系统问答和对话系统。目前已经创建了Freebase、WordNet、YAGO等多种类型的知识库，用于存储人类知识的结构信息。知识图谱主要由两个元素组成，这些元素被描述为（头实体、关系、尾实体），用于存储知识。具体和抽象概念表示为实体，实体之间的关系表示为关系。例如，知道汤姆
·
克鲁斯出生在纽约，这一事实可以用三元组形式表示（汤姆
·
克鲁斯，出生于，纽约）。
[0003]现有知识图谱的主要挑战之一是它们的不完整性和局部性，许多实体之间的关系缺失或不正确。因此，基于知识图谱的链路预测得到了广泛的关注。现有的链接预测方法被称为知识图谱嵌入（KGE），其目的是学习实体和关系的嵌入表示。现有的嵌入模型大致可分为平移距离和语义匹配模型。这些模型特征学习能力较弱，限制了它们在链接预测任务上的性能。
[0004]随着卷积神经网络（CNN）在自然语言处理和计算机视觉方面的巨大成功，它已经成为许多领域中有意义的算法工具。知识图谱中存在1
‑
to
‑
N、N
‑
to
‑
1、N
‑
to
‑
N等复杂关系，如图2所示，以复杂关系为例，1<br/>‑
to
‑
N表示主体实体汤姆
·
克鲁斯在关系扮演中与多个对象实体战斗飞行员、间谍、未来战士连接。此外，现有模型在处理复杂关系时表现不佳。同时，现有的基于CNN的KGE模型的体系结构还不完善。增加其性能的唯一方法是增加嵌入维度，这导致嵌入参数的总数增加，并且不能扩展到更大的知识图谱。

技术实现思路

[0005]为了解决现阶段知识图谱中存在1
‑
N、N
‑
1、N
‑
N等复杂关系，也就是实体与实体间的多种链接关系，而目前现有的模型对于这些复杂的关系的解决方案并不足够有效，同时，现有的基于CNN的知识图补全模型的体系结构还不完善的问题，本专利技术提供了一种基于多尺度动态卷积神经网络模型的知识图谱嵌入方法及系统，将主题实体和关系嵌入在输入层中以交替模式组合，帮助提取额外的特征交互并增加表达性。在卷积层生成多尺度卷积核，以学习不同输入嵌入的不同特征。该方法能够构建了一个高表达性的链接预测框架，并有效地处理复杂关系建模。
[0006]一种基于多尺度动态卷积网络模型的知识图谱嵌入方法，包括：S1：对于一个知识图谱，将所有实体和关系初始化为维嵌入，实体包括头实体和尾实体，表示正确三元组集合，对于给定的输入三元组，
经过映射得到头实体的嵌入和关系的嵌入，；S2：对步骤S1得到的头实体嵌入和关系嵌入进行组合，得到矩阵；S3：对步骤S2中得到的矩阵进行重塑，得到多尺度动态卷积网络模型输入层的输入矩阵；S4：生成特定于关系的卷积核向量，在编码过程中，根据不同的关系使用不同的卷积核对输入矩阵进行卷积运算，生成不同形状的特征图；S5：将特征图进行扁平化操作，通过可学习的参数转换矩阵将扁平后的特征图投影到维空间，得到隐藏层向量；S6：建立评分函数，将隐藏层向量与尾实体向量输入至评分函数中进行匹配，得到步骤S1中输入的三元组是否正确的概率值；S7：通过重复步骤S1
‑
S6进行不断地训练，使似然函数最大化，损失函数最小化，此时达到最优的知识图谱嵌入：其中，表示似然函数，表示CNN模型中的所有参数，具体包括实体嵌入、关系嵌入、卷积核向量、转换矩阵和偏置；S8：利用训练后的最优知识图谱嵌入进行链接预测和三元组分类任务。
[0007]进一步地，步骤S2中，采用交替的方式对嵌入进行组合，得到的矩阵为：，符号表示交替连接操作。
[0008]进一步地，步骤S3中，所述输入矩阵为：其中，表示两个向量经过连接后并进行二维重塑的操作。
[0009]进一步地，步骤S4中，所述卷积核为：其中，表示一种扁平化操作，的维数取决于卷积核大小，表示特定于关系的第个卷积核。
[0010]进一步地，步骤S4中，特征图的生成过程如下：
其中，表示经过卷积过程得到的高为，宽为的特征图，表示ReLU函数，、分别表示卷积核的高和宽能取到的最大值，表示输入层得到的高为()宽为()的矩阵，表示高为，宽为的卷积核分别表示卷积核的高和宽，他们在求和运算中分别从1取到和从1取到。
[0011]进一步地，步骤S5中，使用参数转换矩阵参数化的线性变换投影到维空间中，得到隐藏层向量：其中，。
[0012]进一步地，步骤S6中，评分函数采用的是1
‑
N评分技术，所述评分函数为：其中，表示激活函数，表示特定于关系的第个卷积核，b表示偏置。
[0013]进一步地，步骤S7中，似然函数选择伯努利方程：其中，，表示正确三元组集合，表示对正确三元组集合进行替换得到的错误三元组集合。
[0014]进一步地，该方法采用Adam优化器来最小化损失函数：一种基于多尺度动态卷积网络模型的知识图谱嵌入系统，包括：处理器及存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现所述的基于多尺度动态卷积神经网络模型的知识图谱嵌入方法。
[0015]本专利技术提供的技术方案带来的有益效果是：本专利技术首次利用多尺度处理来优化
KGE卷积层的质量。通过CNN模型生成不同大小的卷积核来学习实体与关系嵌入之间的不同特征。与浅层体系结构比较，本专利技术在可接受的计算需求增加的情况下具有相当大的性能改进，通过实验可以发现，本专利技术在链接预测和三元组分类任务的大多数评估指标上取得了显著和一致的改进，具有通用性和有效性。
附图说明
[0016]图1是本专利技术实施例中一种基于多尺度动态卷积网络模型的知识图谱嵌入方法的流程图；图2是本专利技术实施例中知识图谱中的关系中的主体实体与多个对象实体相连的情况图；本专利技术中以电影明星汤姆
·
克鲁斯为例，电影明星汤姆
·
克鲁斯在一段关系中扮演不同的角色；图3是本专利技术实施例中多尺度动态卷积网络模型端到端架构图；图4是本专利技术实施例中实体关系嵌入的两种嵌入组合解释图；图5是本专利技术实施例中多种尺度的卷积架构图。
具体实施方式
[0017]为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本专利技术的具体实施方式。
[0018]本专利技术提供了一种基于多尺度动态卷积网络模型的知识图谱嵌入方法及系统，在输入层，本专利技术以交替的模式重新塑造和链接头实体和关系嵌入。卷积层可以提取额外的特征交互，在卷积层，模型生成多尺度卷积核，以学习输入嵌入到输出特征映射之间的不同特征。为了对复杂的关系建模，这些卷积核的权重是根据每个关系动态生成的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度动态卷积网络模型的知识图谱嵌入方法，其特征在于：包括：S1：对于一个知识图谱，将所有实体和关系初始化为维嵌入，实体包括头实体和尾实体，表示正确元组集合，对于给定的输入三元组，经过映射得到头实体的嵌入和关系的嵌入，；S2：对步骤S1得到的头实体嵌入和关系嵌入进行组合，得到矩阵；S3：对步骤S2中得到的矩阵进行重塑，得到多尺度动态卷积网络模型输入层的输入矩阵；S4：生成特定于关系的卷积核向量，在编码过程中，根据不同的关系使用不同的卷积核对输入矩阵进行卷积运算，生成不同形状的特征图；S5：将特征图进行扁平化操作，通过可学习的参数转换矩阵将扁平后的特征图投影到维空间，得到隐藏层向量；S6：建立评分函数，将隐藏层向量与尾实体向量输入至评分函数中进行匹配，得到步骤S1中输入的三元组是否正确的概率值；S7：通过重复步骤S1
‑
S6进行不断地训练，使似然函数最大化，损失函数最小化，此时达到最优的知识图谱嵌入：其中，表示似然函数，表示CNN模型中的所有参数，具体包括实体嵌入、关系嵌入、卷积核向量、转换矩阵和偏置；S8：利用训练后的最优知识图谱嵌入进行链接预测和三元组分类任务。2.如权利要求1所述的一种基于多尺度动态卷积网络模型的知识图谱嵌入方法，其特征在于：步骤S2中，采用交替的方式对嵌入进行组合，得到的矩阵为：，符号表示交替连接操作。3.如权利要求2所述的一种基于多尺度动态卷积网络模型的知识图谱嵌入方法，其特征在于：步骤S3中，所述输入矩阵为：其中，表示两个向量经过连接后并进行二维重塑的操作。4.如权利要求3所述的一种基于多尺度动态卷积网络模型的知识图谱嵌入方法，其特
征在...

【专利技术属性】
技术研发人员：李志飞，张龑，王时绘，张羽泉，万梓欣，沈宇凡，张媛，陈悦，
申请(专利权)人：湖北大学，
类型：发明
国别省市：