【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种表情包图片处理方法、装置、设备以及存储介质。
技术介绍
1、随着多模态学习的不断发展，面向图像和文本内容的情感分析领域取得了一定进展。然而，针对表情包图片的处理仍然存在明显的局限性。
2、作为当今社交媒体交流的主要形式之一，表情包图片所蕴含的含义常常具有多层次的情绪和意图，例如讽刺、双关或自嘲。然而，这些复杂的情绪往往难以被有效识别和解读，导致生成的回复与用户的实际意图存在较大偏差。
技术实现思路
1、本专利技术提供了一种表情包图片处理方法、装置、设备以及存储介质，以提高对表情包图片进行情感分析的准确性，提高对表情包图片进行回复的回复内容的准确性。
2、根据本专利技术的一方面，提供了一种表情包图片处理方法，该方法包括：
3、获取待处理表情包图片，并从待处理表情包图片的上下文文本中提取辅助文本；
4、基于训练好的情感分类模型，根据辅助文本，对待处理表情包图片进行情感类型识别，确定待处理表情包图片所属的目标情感类型；其中，情感分类模型根据样本图文对的对比损失和预测概率分布的熵进行训练得到；样本图文对包括样本表情包图片和标注情感类型；
5、对待处理表情包图片进行文字提取，得到待处理表情包图片对应的目标文本内容；
6、基于表情包回复提示模板，根据目标情感类型和目标文本内容，生成表情包提示文本；
7、将表情包提示文本输入大语言模型，生成对待处理表情包图片进行回复的文本回复内
8、根据本专利技术的另一方面，提供了一种表情包图片处理装置，该装置包括：
9、辅助文本提取模块，用于获取待处理表情包图片，并从待处理表情包图片的上下文文本中提取辅助文本；
10、目标情感类型确定模块，用于基于训练好的情感分类模型，根据辅助文本，对待处理表情包图片进行情感类型识别，确定待处理表情包图片所属的目标情感类型；其中，情感分类模型根据样本图文对的对比损失和预测概率分布的熵进行训练得到；样本图文对包括样本表情包图片和标注情感类型；
11、目标文本内容确定模块，用于对待处理表情包图片进行文字提取，得到待处理表情包图片对应的目标文本内容；
12、表情包提示文本生成模块，用于基于表情包回复提示模板，根据目标情感类型和目标文本内容，生成表情包提示文本；
13、文本回复内容生成模块，用于将表情包提示文本输入大语言模型，生成对待处理表情包图片进行回复的文本回复内容。
14、根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
15、至少一个处理器；以及
16、与至少一个处理器通信连接的存储器；其中，
17、存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本专利技术任一实施例的表情包图片处理方法。
18、根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本专利技术任一实施例的表情包图片处理方法。
19、根据本专利技术的另一方面，提供了计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本专利技术任一实施例的表情包图片处理方法。
20、本专利技术实施例的技术方案，通过获取待处理表情包图片，并从待处理表情包图片的上下文文本中提取辅助文本；基于训练好的情感分类模型，根据辅助文本，对待处理表情包图片进行情感类型识别，确定待处理表情包图片所属的目标情感类型；其中，情感分类模型根据样本图文对的对比损失和预测概率分布的熵进行训练得到；样本图文对包括样本表情包图片和标注情感类型；对待处理表情包图片进行文字提取，得到待处理表情包图片对应的目标文本内容；基于表情包回复提示模板，根据目标情感类型和目标文本内容，生成表情包提示文本；将表情包提示文本输入大语言模型，生成对待处理表情包图片进行回复的文本回复内容。上述技术方案，借助训练好的情感分类模型，根据辅助文本对待处理表情包图片进行情感类型识别，使得得到的目标情感类别更加准确，提高了对表情包图片进行情感分析的准确性，从而使得后续生成的表情包提示文本更加准确，进而使得大语言模型对待处理表情包图片进行回复的文本回复内容，更加贴合实际语境，更加自然和准确，更加容易引起用户的情感共鸣，提高了对表情包图片进行回复的回复内容的准确性，进而增强了用户与社交媒体平台之间的互动性和粘性，提高了用户对社交媒体平台的满意度。
21、应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种表情包图片处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述标注情感类型包括如下至少一项：苦笑、嘲讽、悲伤、愤怒、恐惧和惊讶；所述样本图文对的对比损失如下：
3.根据权利要求2所述的方法，其特征在于，所述情感分类模型根据样本图文对的对比损失和预测概率分布的熵进行训练得到，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标损失函数、所述样本表情包图片、以及所述至少一个样本辅助文本，对情感分类模型进行训练，得到训练好的情感分类模型，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述图像编码特征与各文本编码特征之间的特征相似度，确定所述样本表情包图片所属的样本情感类型，包括：
6.根据权利要求1所述的方法，其特征在于，所述对所述待处理表情包图片进行文字提取，得到所述待处理表情包图片对应的目标文本内容，包括：
7.根据权利要求6所述的方法，其特征在于，所述根据所述候选区域的区域信息，确定两两候选区域之间的区域相似度，包括：
8.一种表情包图片处
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的表情包图片处理方法。
...【技术特征摘要】
1.一种表情包图片处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述标注情感类型包括如下至少一项：苦笑、嘲讽、悲伤、愤怒、恐惧和惊讶；所述样本图文对的对比损失如下：
3.根据权利要求2所述的方法，其特征在于，所述情感分类模型根据样本图文对的对比损失和预测概率分布的熵进行训练得到，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标损失函数、所述样本表情包图片、以及所述至少一个样本辅助文本，对情感分类模型进行训练，得到训练好的情感分类模型，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述图像编码特征与各文本编码特征之间的特征相...
【专利技术属性】
技术研发人员：武芳宇，田润东，王秋锋，张芮铭，林永义，
申请(专利权)人：西交利物浦大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。