实体聚类的方法及装置制造方法及图纸

本发明专利技术实施例公开了一种实体聚类的方法及装置，其中，该方法包括：根据全部待聚类实体的词向量数据，分别确定每个待聚类实体距离最近的K个实体词；从每个待聚类实体距离最近的K个实体中分别确定每个待聚类实体的相关实体，K为预定的正整数；根据每个待聚类实体及其相关实体为所有待聚类实体标记标识。如此，能够在不确定类个数情况下实现实体聚类。

【技术实现步骤摘要】
实体聚类的方法及装置
本专利技术实施例涉及自然语言处理领域，尤指一种实体聚类的方法及装置。
技术介绍
信息抽取在自然语言处理中是一个很重要的工作，特别在当今信息爆炸的背景下，显得格外的重要。在抽取的众多实体中，将意义相近的词合并是一个重要课题，该课题被称作实体消歧。将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类，一般使用各种聚类算法就可以实现实体消歧。实体在自然语言处理领域，可以简单理解为名词，例如人名、机构名、地名以及其他所有以名称为标识的实体，更广泛的实体还包括数字、日期、货币、地址等等。一个实体可以有多个意思，例如同一个实体在不同的上下文中所表示的含义是不一样的。对于人来说，可以直观判断出这些实体代表的具体含义，但是对机器来说，就需要借助自然语言处理技术才能识别出每一个实体代表的具体含义，并能够区分不同的实体，进而将类似的实体组成各种类，即实体聚类技术。但是现有的各种聚类算法中都需要提前确定类个数，例如DBSCAN算法中，类个数需要作为参数预先指定。如此，现有聚类都无法在不确定类个数的情况下完成实体聚类。
技术实现思路
为此，本专利技术实施例提供了一种实体聚类的方法，该方法包括：根据全部待聚类实体的词向量数据，分别确定每个待聚类实体距离最近的K个实体词；从每个待聚类实体距离最近的K个实体中分别确定每个待聚类实体的相关实体，K为预定的正整数；根据每个待聚类实体及其相关实体为所有待聚类实体标记标识。本专利技术实施例还提供了一种实体聚类的装置，包括：第一确定单元，用于根据全部待聚类实体的词向量数据，分别确定每个待聚类实体距离最近的K个实体词，K为预定的正整数；第二确定单元，用于从每个待聚类实体距离最近的K个实体中分别确定每个待聚类实体的相关实体；标记单元，用于根据每个待聚类实体及其相关实体为所有待聚类实体标记标识。本专利技术实施例还提供了一种电子装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述实体聚类的方法。本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有信息处理程序，所述信息处理程序被处理器执行时实现上述实体聚类的方法的步骤。本专利技术实施例提供的技术方案，能够在不确定类个数情况下实现实体聚类。本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。附图说明附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。图1为本专利技术一实施例提供的一种实体聚类的方法的流程示意图；图2为本专利技术另一实施例提供的一种实体聚类的方法的流程示意图；图3为本专利技术另一实施例提供的一种实体聚类的方法的流程示意图；图4为本专利技术一实施例提供的一种实体聚类的装置的结构示意图。具体实施方式本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的专利技术方案。任何实施例的任何特征或元件也可以与来自其它专利技术方案的特征或元件组合，以形成另一个由权利要求限定的独特的专利技术方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。图1为本专利技术一实施例提供的一种实体聚类的方法的流程示意图。如图1所示，该方法包括：步骤101，根据全部待聚类实体的词向量数据，分别确定每个待聚类实体距离最近的K个实体词，K为预定的正整数；步骤102，从每个待聚类实体距离最近的K个实体中分别确定每个待聚类实体的相关实体；步骤103，根据每个待聚类实体及其相关实体为所有待聚类实体标记标识。可选地，所述根据全部待聚类实体的词向量数据，分别确定每个待聚类实体距离最近的K个实体词，包括：将全部待聚类实体的词向量数据分别在Faiss中建立索引，并根据建立的索引查询每个待聚类实体距离最近的K个实体。可选地，所述从每个待聚类实体距离最近的K个实体中确定每个待聚类实体的相关实体，包括：对于每个待聚类实体，分别进行如下操作：遍历该待聚类实体距离最近的K个实体，从中选取距离小于预设距离阈值的实体作为该待聚类实体的相关实体。可选地，所述根据全部待聚类实体的词向量数据，分别确定每个待聚类实体距离最近的K个实体词，包括：根据全部待聚类实体的词向量数据，利用相似度算法分别计算每个待聚类实体的相似度，确定每个待聚类实体相似度最近的K个实体。可选地，所述从每个待聚类实体距离最近的K个实体中确定每个待聚类实体的相关实体，包括：对于每个待聚类实体，分别进行如下操作：遍历该待聚类实体相似度最近的K个实体，从中选取相似度大于预设相似度阈值的实体作为该待聚类实体的相关实体。可选地，所述根据每个待聚类实体及其相关实体为所有待聚类实体标记标识，包括：遍历所有待聚类实体，为每个遍历到的待聚类实体及其相关实体依次执行如下操作：如果该待聚类实体及其相关实体均没有类标号，当该待聚类实体为第一个遍历的实体时，赋予该该待聚类实体及其相关实体初始标识，如果该待聚类实体为不是第一个遍历的实体时，则赋予该待聚类实体及其相关实体一个递增的标识；如果该待聚类实体已经标记了标识，则为该待聚类实体的相关实体标记相同的标识；如果该待聚类实体没有标记标识但是该待聚类实体的相关实体已经标记了标识，则为该本文档来自技高网...

【技术保护点】
1.一种实体聚类的方法，包括：/n根据全部待聚类实体的词向量数据，分别确定每个待聚类实体距离最近的K个实体词；/n从每个待聚类实体距离最近的K个实体中分别确定每个待聚类实体的相关实体，K为预定的正整数；/n根据每个待聚类实体及其相关实体为所有待聚类实体标记标识。/n

【技术特征摘要】
1.一种实体聚类的方法，包括：
根据全部待聚类实体的词向量数据，分别确定每个待聚类实体距离最近的K个实体词；
从每个待聚类实体距离最近的K个实体中分别确定每个待聚类实体的相关实体，K为预定的正整数；
根据每个待聚类实体及其相关实体为所有待聚类实体标记标识。


2.根据权利要求1所述的方法，其特征在于，所述根据全部待聚类实体的词向量数据，分别确定每个待聚类实体距离最近的K个实体词，包括：
将全部待聚类实体的词向量数据分别在Faiss中建立索引，并根据建立的索引查询每个待聚类实体距离最近的K个实体。


3.根据权利要求2所述的方法，其特征在于，所述从每个待聚类实体距离最近的K个实体中确定每个待聚类实体的相关实体，包括：
对于每个待聚类实体，分别进行如下操作：遍历该待聚类实体距离最近的K个实体，从中选取距离小于预设距离阈值的实体作为该待聚类实体的相关实体。


4.根据权利要求1所述的方法，其特征在于，所述根据全部待聚类实体的词向量数据，分别确定每个待聚类实体距离最近的K个实体词，包括：
根据全部待聚类实体的词向量数据，利用相似度算法分别计算每个待聚类实体的相似度，确定每个待聚类实体相似度最近的K个实体。


5.根据权利要求4所述的方法，其特征在于，所述从每个待聚类实体距离最近的K个实体中确定每个待聚类实体的相关实体，包括：
对于每个待聚类实体，分别进行如下操作：遍历该待聚类实体相似度最近的K个实体，从中选取相似度大于预设相似度阈值的实体作为该待聚类实体的相关实体。


6.根据权利要求1所述的方法，其特征在于，所述根据每个待聚类实体及其相...

【专利技术属性】
技术研发人员：齐云飞，付骁弈，张杰，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：北京;11