【技术实现步骤摘要】
本专利技术属于机器学习、自然语言处理领域，具体涉及一种基于多粒度特征增强的多模态命名实体识别方法。
技术介绍
1、社交媒体成为人们分享日常、表达观点的主要途径，发帖量也随之增加。这种图文结合的表现方式使得用户表达更具准确度、趣味性、多元性，更好地反映出用户的需求、情感，同时也为自然语言处理(nlp)提供了大量丰富的原始语料数据。命名实体识别(ner)作为许多信息提取任务的前奏，旨在从原始文本数据中发现多个类别的命名实体，例如人员(per)、位置(loc)和组织(org)。目前基于文本的ner方法在格式良好的文本上有很好的性能，如新闻报道文本等，借助cnn、lstm和transformer学习上下文，通过softmax和crf用于解码。但是社交媒体文本往往包含非正式、口语化的表达，甚至错别字、拼写错误，同时短文本包含较少的上下文信息，这样的文本内容导致数据稀疏，影响准确性。多模态命名实体识别(mner)的提出关注到相关图片中的视觉特征，借助视觉信息增强语言特征来获得比ner更好的结果，主要是使用整个图片对每个单词编码，或者是用文本向量与视觉对象特征建立对齐。
2、尽管如此，多模态命名实体识别依旧重视文本内容，非正式的表达、缺少上下文依旧是需要克服是挑战；另外，全图可能存在大量无关紧要的信息，这对实体提取存在一定的干扰，因此不能只关注到整图的视觉特征而忽略了图像中的对象对于文本中单词的语义对应关系。因此急需一种多模态命名实体识别方法解决上诉问题，并进一步提高多模态命名实体识别在社交媒体帖子上的准确性。
【技术保护点】
1.一种基于多粒度特征增强的多模态命名实体识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多粒度特征增强的多模态命名实体识别方法，其特征在于，所述步骤1中的单模态特征提取，具体为：
3.根据权利要求2所述的基于多粒度特征增强的多模态命名实体识别方法，所述步骤1-1中的文本信息的特征提取方式包括BERT模型、语义增强和CLIP模型；
4.根据权利要求2所述的基于多粒度特征增强的多模态命名实体识别方法，其特征在于，所述步骤1-2中的图片特征提取方式包括ResNet网络、MASK RCNNL模型以及CLIP模型；
5.根据权利要求4所述的基于多粒度特征增强的多模态命名实体识别方法，其特征在于，所述步骤2中的输入数据的多模态多粒度特征交互，具体为：
6.根据权利要求5所述的基于多粒度特征增强的多模态命名实体识别方法，其特征在于，所述步骤2-2中的基于跨模态transformer进行多级语义交互，具体为：
7.根据权利要求5所述的基于多粒度特征增强的多模态命名实体识别方法，其特征在于，所述步骤3中的标
8.一种基于多粒度特征增强的多模态命名实体识别系统，其特征在于，包括以下模块：
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述方法的步骤。
10.一种计算机可存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种基于多粒度特征增强的多模态命名实体识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多粒度特征增强的多模态命名实体识别方法，其特征在于，所述步骤1中的单模态特征提取，具体为：
3.根据权利要求2所述的基于多粒度特征增强的多模态命名实体识别方法，所述步骤1-1中的文本信息的特征提取方式包括bert模型、语义增强和clip模型；
4.根据权利要求2所述的基于多粒度特征增强的多模态命名实体识别方法，其特征在于，所述步骤1-2中的图片特征提取方式包括resnet网络、mask rcnnl模型以及clip模型；
5.根据权利要求4所述的基于多粒度特征增强的多模态命名实体识别方法，其特征在于，所述步骤2中的输入数据的多模态多粒度特征交互，具体为：
【专利技术属性】
技术研发人员：张鹏，郭雨，曾港艳，秦绪功，张可欣，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。