实体识别方法、装置及计算机程序产品制造方法及图纸

本公开提供了一种实体识别方法、装置、电子设备、存储介质及计算机程序产品，涉及人工智能领域，具体涉及深度学习、图像识别技术领域，可用于命名实体识别场景下。具体实现方案为：识别待识别图像，以确定对于待识别图像中的实体的初步识别结果；响应于确定初步识别结果中包括同类别的多个实体，确定待识别图像的图像特征和多个实体的文本特征；结合图像特征和文本特征，确定多个实体是否为连续的完整实体，得到完整实体确定结果；结合初步识别结果和完整实体确定结果，得到最终识别结果。本公开解决了实体不连续问题，提高了实体识别的准确度。确度。确度。

【技术实现步骤摘要】
实体识别方法、装置及计算机程序产品


[0001]本公开涉及人工智能领域，具体涉及深度学习、图像识别
，尤其涉及实体识别方法、装置、电子设备、存储介质以及计算机程序产品，可用于命名实体识别场景下。

技术介绍

[0002]在企业的运作过程中，会收到大量的来自供应商或者客户的名片，这些名片中蕴含着大量有用的信息，我们需要把它提取并结构化出来，予企业赋能。常涉及到的技术有通用OCR(Optical Character Recognition，光学字符识别)技术、NER(Named Entity Recognition，命名实体识别)技术、CMRC(Chinese machine reading comprehension，中文机器阅读理解)技术等。目前，业界一般的做法是先采用OCR技术得到名片的文本信息，然后使用NER技术得到名片中关键字段的结构化信息。但是得到的结构化信息会存在实体不连续的问题。

技术实现思路

[0003]本公开提供了一种实体识别方法、装置、电子设备、存储介质以及计算机程序产品。
[0004]根据第一方面，提供了一种实体识别方法，包括：识别待识别图像，以确定对于待识别图像中的实体的初步识别结果；响应于确定初步识别结果中包括同类别的多个实体，确定待识别图像的图像特征和多个实体的文本特征；结合图像特征和文本特征，确定多个实体是否为连续的完整实体，得到完整实体确定结果；结合初步识别结果和完整实体确定结果，得到最终识别结果。
[0005]根据第二方面，提供了一种实体识别装置，包括：识别单元，被配置成识别待识别图像，以确定对于待识别图像中的实体的初步识别结果；第一确定单元，被配置成响应于确定初步识别结果中包括同类别的多个实体，确定待识别图像的图像特征和多个实体的文本特征；第二确定单元，被配置成结合图像特征和文本特征，确定多个实体是否为连续的完整实体，得到完整实体确定结果；得到单元，被配置成结合初步识别结果和完整实体确定结果，得到最终识别结果。
[0006]根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面任一实现方式描述的方法。
[0007]根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面任一实现方式描述的方法。
[0008]根据第五方面，提供了一种计算机程序产品，包括：计算机程序，计算机程序在被处理器执行时实现如第一方面任一实现方式描述的方法。
[0009]根据本公开的技术，提供了一种实体识别方法，在对于待识别图像中的实体的初步识别结果的基础上，结合同类别的多个实体的文本特征和待识别图像的图像特征，确定
多个实体的连续性，解决了实体不连续问题，提高了实体识别的准确度。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1是根据本公开的一个实施例可以应用于其中的示例性系统架构图；
[0013]图2是根据本公开的实体识别方法的一个实施例的流程图；
[0014]图3是根据本实施例的实体之间关系的确定过程的示意图；
[0015]图4是根据本实施例的实体识别方法的应用场景的示意图；
[0016]图5是根据本公开的实体识别方法的又一个实施例的流程图；
[0017]图6是根据本公开的实体识别装置的一个实施例的结构图；
[0018]图7是适于用来实现本公开实施例的计算机系统的结构示意图。
具体实施方式
[0019]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0020]本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0021]图1示出了可以应用本公开的实体识别方法及装置的示例性架构100。
[0022]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。终端设备101、102、103之间通信连接构成拓扑网络，网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0023]终端设备101、102、103可以是支持网络连接从而进行数据交互和数据处理的硬件设备或软件。当终端设备101、102、103为硬件时，其可以是支持网络连接，信息获取、交互、显示、处理等功能的各种电子设备，包括但不限于图像采集设备、智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
[0024]服务器105可以是提供各种服务的服务器，例如识别终端设备101、102、103提供的待识别图像中的实体的后台处理服务器。服务器可以对于待识别图像的最终识别结果反馈至终端设备。作为示例，服务器105可以是云端服务器。
[0025]需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
[0026]还需要说明的是，本公开的实施例所提供的实体识别方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备彼此配合执行。相应地，实体识别装置包括的各个部分(例如各个单元)可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。
[0027]应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。当实体识别方法运行于其上的电子设备不需要与其他电子设备进行数据传输时，该系统架构可以仅包括实体识别方法运行于其上的电子设备(例如服务器或终端设备)。
[0028]请参考图2，图2为本公开实施例提供的一种实体识别方法的流程图，其中，流程200包括以下步骤：
[0029]步骤201，识别待识别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实体识别方法，包括：识别待识别图像，以确定对于所述待识别图像中的实体的初步识别结果；响应于确定所述初步识别结果中包括同类别的多个实体，确定所述待识别图像的图像特征和所述多个实体的文本特征；结合所述图像特征和所述文本特征，确定所述多个实体是否为连续的完整实体，得到完整实体确定结果；结合所述初步识别结果和所述完整实体确定结果，得到最终识别结果。2.根据权利要求1所述的方法，其中，所述确定所述待识别图像的图像特征和所述多个实体的文本特征，包括：通过预训练的特征提取模型得到所述待识别图像的整体图像特征和所述待识别图像中对应于所述多个实体的区域图像的区域图像特征；确定标记序列中的每个标记对应的位置嵌入特征、片段嵌入特征和标记嵌入特征，其中，所述标记序列中包括所述多个实体中的每个预设粒度文本对应的文本标记和所述待识别图像中对应于所述多个实体的区域图像对应的图像标记，位置嵌入特征用于表征标记的位置信息，片段嵌入特征用于表征标记的片段信息，标记嵌入特征用于表征标记对应的预设粒度文本的嵌入信息。3.根据权利要求2所述的方法，其中，所述结合所述图像特征和所述文本特征，确定所述多个实体是否为连续的完整实体，得到完整实体确定结果，包括：对于所述标记序列中的每个文本标记，结合该标记对应的整体图像特征、位置嵌入特征、片段嵌入特征和标记嵌入特征，和/或，对于所述标记序列中的每个图像标记，结合该标记对应的区域图像特征、位置嵌入特征、片段嵌入特征和标记嵌入特征，得到结合后特征；将所述结合后特征输入预训练的完整实体确定模型，确定所述多个实体是否为连续的完整实体，得到所述完整实体确定结果，其中，所述完整实体确定模型用于确定所述结合后特征所表征的多个实体是否为连续的完整实体。4.根据权利要求1
‑
3中任一项所述的方法，其中，所述结合所述初步识别结果和所述完整实体确定结果，得到最终识别结果，包括：在所述初步识别结果的基础上，响应于确定所述完整实体确定结果表征所述多个实体为连续的完整实体，拼接所述多个实体，得到所述最终识别结果。5.根据权利要求1
‑
3中任一项所述的方法，其中，所述识别待识别图像，以确定对于所述待识别图像中的实体的初步识别结果，包括：识别所述待识别图像，得到文本信息；通过预训练的全局指针模型提取所述文本信息中的实体，得到所述初步识别结果，其中，所述全局指针模型用于提取所述文本信息中的实体。6.根据权利要求3所述的方法，其中，所述完整实体确定模型通过如下方式训练得到：获取训练样本集，其中，所述训练样本集中的训练样本包括多个分裂实体和表征多个分裂实体属于同一完整实体的关系标签；利用机器学习方法，以训练样本中的多个分裂实体为输入，以所输入的训练样本中的关系标签为期望输出，训练得到所述完整实体确定模型。7.一种实体识别装置，包括：
识别单元，被配置成识别待识别图像，以确定对于所述待识别图像中的实体的初步识别结果；第一确定单元，被配置成响应于确定所述初步识别结果中包括同类别的多个实体，确定所述待识别图像的图像特征和所述多个实体的文本特征；第二确定单元，被配置成结合所述...

【专利技术属性】
技术研发人员：陈禹燊，岳洪达，许海洋，韩光耀，章良杰，方文浩，冯博豪，肖非，权梁旭，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：