用于处理由观察到的三元组语句表示的知识图的神经形态硬件和用于训练学习组件的方法技术

一种用于处理由观察到的三元组语句表示的知识图的神经形态硬件，其具有学习组件，学习组件由如下各项组成：输入层，包含神经元的节点嵌入群体，其中每个节点嵌入群体表示被包含在观察到的三元组语句中的实体；以及输出层，包含被配置成表示每个可能三元组语句的似然性的输出神经元，并且学习组件对从能量函数导出的基于采样的概率模型进行建模，以及所述神经形态硬件具有控制组件，控制组件被配置成将学习组件切换到如下模式：数据驱动的学习模式，其被配置成仅使用观察到的三元组语句来训练所述组件；采样模式，其中学习组件支持三元组语句的生成；以及模型驱动的学习模式，其被配置成仅使用所生成的三元组语句来训练所述组件。组件。组件。

Neuromorphological hardware for processing knowledge maps represented by observed triples and methods for training learning components

【技术实现步骤摘要】
用于处理由观察到的三元组语句表示的知识图的神经形态硬件和用于训练学习组件的方法

技术介绍

[0001]基于图（graph
‑
based）的数据分析在工业应用中起着越来越关键的作用。显著的示例是基于图结构化数据库的知识图（knowledge graph），其能够摄取（ingest）和表示（利用语义信息）来自潜在多个来源和领域的知识。知识图是丰富的数据结构，该数据结构使得能够对抽象概念以及它们如何彼此关联进行符号化描述。知识图的使用使得有可能以如下方式来整合先前隔离的数据来源：即，使得AI和数据分析应用能够在统一的、情境化的、语义丰富的知识库上工作，从而实现更加通用的、可解释的、可互操作且准确的AI算法，该AI算法在利用来自感兴趣的（一个或多个）领域（例如，工业自动化或建筑物系统）的良好定义的实体和关系进行工作的情况下执行其任务（例如，推理（reasoning）或推断（inference））。
[0002]图14示出了描述工业系统的部分的工业知识图KG的简化示例。一般而言，知识图由表示实体的节点和表示这些实体之间的关系的边组成。例如，在工业系统中，节点可以表示如传感器这样的物理对象、如PLC这样的工业控制器、机器人、机器操作者或所有者、驱动器、所制造的对象、工具、材料清单的元素、或其他硬件组件，但也可以表示更抽象的实体，如所述物理对象的属性和配置、生产时间表（schedule）和计划、机器或机器人的技能、或传感器测量结果。例如，抽象实体可以是IP地址、数据类型、或运行在工业系统上的应用，如图14中所示。
[0003]这些实体如何彼此关联是利用节点之间的不同类型的边来建模的。以这种方式，就可以使用语义上有意义的语句、即所谓的三元组（triples）或三元组语句来对该图进行概括，这些语句采用简单且人类可读的形式
‘
主体
–
谓词
–
客体（subject
–
predicate
–
object）
’
、或者以图形格式
‘
节点
–
关系
–
节点
’
。
[0004]图15示出了对图14中所示的工业知识图KG进行概括的一组已知的三元组语句T，包括工业知识图KG中当前未包含的两个未知的三元组语句UT。在给定知识图KG的结构的情况下，关于图数据的推断涉及评估未知的三元组语句UT是否有效。
[0005]多关系图（诸如，图14中所示的工业知识图）是用于对各种系统和问题（如工业项目）进行建模的丰富数据结构。因此，在能够处理图结构化数据的机器学习算法方面的兴趣近来有所增加并不奇怪。当将图概括为三元组语句
‘
主体
–
谓词
–
客体
’
或
‘
节点
–
关系
–
节点
’
的列表时，这些图的这种广泛适用性变得明显。不同实体与概念之间的复杂关系可以用这种方式来建模。例如，在电影数据库的情况下，图可能看起来像这样：
‘
#M.Hamill
–
#plays
–
#L.Skywalke（M.Hamill扮演L.Skywalke）
’
、
‘
#L.Skywalker
–
#appearsIn
–
#StarWars（L.Skywalker出现在StarWars中）
’
、
‘
#A.Skywalker
–
#isFatherOf
–
#L.Skywalker（A.Skywalker是L.Skywalker的父亲）
’
和
‘
#A.Skywalker
–
#is
–
#DarthVader（A.Skywalker是DarthVader）
’
。关于这种图结构化数据的推断然后类似于评估先前未知的新三元组语句，或者用符号化图的语言来说：预测给定图中的节点之间的新链接——如
‘
#DarthVader
–
#isFatherOf
–
#L.Skywalker（DarthVader是L.Skywalker的父亲）
’
和
‘
#
DarthVader
–
#appearsIn
–
#StarWars（DarthVader出现在StarWars中）
’
，但不是
‘
#A.Skywalker
–
#isFatherOf
–
#M.Hamill（A.Skywalker是M.Hamill的父亲）
’
。
[0006]尽管多关系图是高度表达性的（expressive），但是其符号化本质阻止了对经典统计方法的直接使用以进行进一步的处理和评估。最近，已经引入了图嵌入算法以通过在保存（conserve）某些图属性的同时将节点和边映射到向量空间来解决该问题。例如，可能想要保存节点的接近性（proximity），使得被连接的节点或具有极大重叠邻域的节点被映射到彼此靠近的向量。然后，可以在传统机器学习方法中使用这些向量表示，以做出关于未见过的语句的预测，从而实现对一组主体、谓词和客体的抽象推理。
[0007]能够在知识图数据上训练AI方法的现有系统需要从产生它们的来源中提取大量原始数据（例如，传感器数据）。然后，将所提取的数据映射到一组预定义的词汇（例如，本体），以便产生所谓的三元组，即采用以机器可读格式（例如，RDF）表示的主体
–
谓词
–
客体形式的关于语义数据的语句。这种三元组的集合构成了知识图，广泛范围的现有算法可以被应用于该知识图来执行数据分析。示例是学习针对该图中的实体的表示（所谓的嵌入）的方法，以便执行推断任务，诸如通过推断/预测未观察到的关系（链接预测）或找到相同实体的多个实例（实体解析）来执行知识图完成。
[0008]这些方法基于密集的随机优化算法，这些随机优化算法由于其计算复杂性最适合利用先前获取和存储的数据进行离线学习。只有已经在专用服务器上利用所提取的数据训练了算法（例如，用于链接预测的神经网络）之后，才有可能执行对新数据的预测，该执行要么通过从产生它们的相关设备中进一步提取数据，要么通过将所学习的算法部署到这些设备以使得它可以在本地应用。无论哪种情况，学习步骤都是在这些设备外部实现的。
[0009]最近，脉冲神经网络（spiking neural network）已经开始弥补与广泛使用的其同类（cousin）——人工神经网络——的间隙（gap）。该成功的一个关键组成部分是误差反向传播算法与SNN的合并（consolidation）。然而，到目前为止本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于处理由观察到的三元组语句（T）表示的知识图（KG）的神经形态硬件，
‑ꢀ
其具有学习组件（LC），学习组件（LC）由以下各项组成：
‑ꢀ
输入层，包含神经元（N）的节点嵌入群体（NEP），其中每个节点嵌入群体（NEP）表示被包含在观察到的三元组语句（T）中的实体，以及
‑ꢀ
输出层，包含输出神经元（SDON），所述输出神经元（SDON）被配置成用于表示每个可能三元组语句的似然性，并且学习组件（LC）对从能量函数导出的基于采样的概率模型进行建模，其中观察到的三元组语句（T）具有最小能量，以及
‑ꢀ
其具有控制组件（CC），控制组件（CC）被配置成用于将学习组件（LC）切换到如下模式：
‑ꢀ
数据驱动的学习模式，其被配置成用于仅使用被指派有低能量值的观察到的三元组语句（T）、利用最大似然学习算法来训练所述组件（LC），所述最大似然学习算法最小化所述基于采样的概率模型中的能量，
‑ꢀ
采样模式，其中学习组件（LC）支持三元组语句的生成，以及
‑ꢀ
模型驱动的学习模式，其被配置成用于仅使用所生成的三元组语句、利用所述最大似然学习算法来训练所述组件（LC），其中学习组件（LC）进行学习以将高能量值指派给所生成的三元组语句。2.根据权利要求1所述的神经形态硬件，
‑ꢀ
其中控制组件（CC）被配置成交替地进行如下操作：
‑ꢀ
通过选择性地激活所述节点嵌入群体（NEP）当中的主体和客体群体来呈现去往学习组件（LC）的输入，
‑ꢀ
设置学习组件（LC）的超参数，特别是设置调节学习组件（LC）的学习更新（LU）的因子（η），
‑ꢀ
读取学习组件（LC）的输出，以及
‑ꢀ
使用学习组件（LC）的输出作为对学习组件（LC）的反馈。3.根据权利要求1或2所述的神经形态硬件，
‑ꢀ
其中所述输出层针对所述知识图（KG）的每个可能关系类型具有一个输出神经元（SDON）。4.根据权利要求3所述的神经形态硬件，
‑ꢀ
其中所述输出神经元（SDON）是随机树突输出神经元，所述随机树突输出神经元在其树突中存储在观察到的三元组语句（T）中的主体与客体之间给出的关系的嵌入，从而将所有树突分支求和成最终得分，所述最终得分使用激活函数（AF）被变换成概率。5.根据权利要求4所述的神经形态硬件，
‑ꢀ
其中取决于学习组件（LC）的模式，所述激活函数（AF）的输出是对三元组语句的似然性的预测、或转移概率。6.根据权利要求4或5所述的神经形态硬件，
‑ꢀ
其中直接在所述随机树突输出神经元（SDON）的树突树中计算针对关系嵌入的学习更新（LU）。
7.根据前述权利要求中任一项所述的神经形态硬件，
‑ꢀ
其中使用从每个输出神经元（SDON）到所述节点嵌入群体（NEP）的神经元（N）的静态反馈连接（FC）来计算针对实体嵌入的学习更新（LU）。8.根据前述权利要求中任一项所述的神经形态硬件，
‑ꢀ
其中在采样模式中，通过从所述激活函数（AF）进行采样，二元输出向控制组件（CC）发信号通知三元组语句是否被接受。9.根据前述权利要求中任一项所述的神经形态硬件，
‑ꢀ
其中所述神经形态硬件是专用集成电路、现场可编程门阵列、晶片级集成、具有混合模式VLSI神经元的硬件、或神经形态处理器、特别是神经处理单元或混合信号神经形态处理器。10.根据前述权利要求中任一项所述的神经形态硬件，
‑ꢀ
其中学习组件（LC）包含形成第一节点嵌入群体（NEP1）的第一神经元，第一神经元通过第一神经元在重复出现的时间间隔期间的第一脉冲时间（P1ST）来表示被包含在观察到的三元组语句（T）中的第一实体，
‑ꢀ
其中学习组件（LC）包含形成第二节点嵌入群体（NEP2）的第二神经元，第二神经元通过第二神经元在所述重复出现的时间间隔期间的第二脉冲时间（P2ST）来表示被包含在观察到的三元组语句（T）中的第二实体，以及
‑ꢀ
其中第一实体与第二实体之间的关系被表示为第一脉冲时间（P1ST）与第二脉冲时间（P2ST）之间的差。11.根据权利要求10所述的神经形态硬件，
‑ꢀ
其中第一脉冲时间（P1ST）与第二脉冲时间（P2ST）之间的差考虑第一脉冲时间（P1ST）相对于第二脉冲时间（P2ST）的次序，或者
‑ꢀ
其中所述差是绝对值。12.根据权利要求10或11所述的神经形态硬件，
‑ꢀ
其中所述关系被存储在所述输出神经元之一中，以及
‑ꢀ
其中所述关系特别地由存储在所述输出神经元的树突中的向量组份来给出。13.根据权利要求10
‑...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：西门子股份公司，
类型：发明
国别省市：