【技术实现步骤摘要】
本专利技术涉及图像分析，特别是涉及一种图像情感分析方法及装置、存储介质及电子设备。
技术介绍
1、在诸多领域中已广泛应用数据挖掘技术进行数据分析，以实现其业务需求。图像情感分析（image sentiment analysis）是数据分析场景中的常见任务之一，图像情感分析旨在根据给定的图像，预测出图像中表达的情感极性。
2、目前，图像情感分析的实现方式，主要是提取和分析图像上的视觉特征，例如图像色彩、人物面部表情、人物身体动作等，利用图像的视觉特征识别图像中表达的情感。
3、专利技术人经研究发现，在实际的应用场景中，图像中的视觉信息通常容易受到诸如光线、遮挡、视角等要素的干扰，人物的面部表情或肢体动作等要素，在不同的情景中相同的视觉呈现可能表达不同的情感，故从图像中提取的视觉特征与实际的图像表征或情感表达可能存在差异，而在现有的图像情感分析方式中，图像的情感识别结果仅取决于图像中的视觉特征，当图像的视觉特征与图像的实际表达存在差异时，会导致情感分析结果存在较大误差，使得情感识别的准确性较差。
技术实现思路
1、有鉴于此，本专利技术实施例提供了一种图像情感分析方法，以解决现有的图像情感分析方式，在图像的视觉特征受到干扰时，情感分析结果的误差较大，情感识别的准确性较低的问题。
2、本专利技术实施例还提供了一种图像情感分析装置，用以保证上述方法实际中的实现及应用。
3、为实现上述目的，本专利技术实施例提供如下技术方案：
4、一种
5、当需要对目标图像进行情感分析时，确定所述目标图像的元数据集合；所述元数据集合包括所述目标图像对应的描述文本信息和标签信息；所述标签信息包括多个标签类型的标签数据；
6、对所述标签信息进行语义描述形式转换处理，获得标签描述信息；
7、对所述目标图像、所述描述文本信息和所述标签描述信息进行统一表征处理，得到所述目标图像对应的图像特征、所述描述文本信息对应的文本描述特征，以及所述标签描述信息对应的标签描述特征；
8、将所述文本描述特征和所述标签描述特征作为元数据特征，对所述元数据特征和所述图像特征进行信息增强处理，获得所述元数据特征对应的元数据增强特征，以及所述图像特征对应的图像增强特征；
9、对所述元数据增强特征和所述图像增强特征进行跨模态特征融合处理，获得所述目标图像的融合特征；
10、基于所述目标图像的融合特征对所述目标图像进行情感识别，得到所述目标图像对应的情感类别。
11、上述的方法，可选的，各个所述标签类型包括对象标签和场景标签，所述确定所述目标图像的元数据集合，包括：
12、读取所述目标图像的元数据信息；
13、判断所述元数据信息中是否包含目标属性数据；所述目标属性数据包括原始图像说明文本、原始对象标签数据和原始场景标签数据；
14、若所述元数据信息中未包含所述目标属性数据，则应用预设的图像描述模型，对所述目标图像进行图像描述处理，获取所述图像描述模型输出的图像描述文本，将所述图像描述文本作为所述目标图像对应的描述文本信息；所述图像描述模型为对blip模型进行训练所得到的模型；
15、应用预设的对象识别模型，对所述目标图像进行对象识别处理，获取所述对象识别模型输出的各个对象标识，将各个所述对象标识作为所述对象标签的标签数据；所述对象识别模型为对快速区域卷积神经网络进行训练所得到的模型；
16、应用预设的场景识别模型，对所述目标图像进行场景识别处理，获取所述场景识别模型输出的场景标识，将所述场景标识作为所述场景标签的标签数据；所述场景识别模型为对hiera模型进行训练所得到的模型。
17、上述的方法，可选的，所述对所述标签信息进行语义描述形式转换处理，获得标签描述信息，包括：
18、获取预设的启发式提示模板；
19、在所述启发式提示模板中，确定每个所述标签类型对应的提示位置；
20、按照各个所述标签类型对应的提示位置，将各个所述标签类型的标签数据填充至所述启发式提示模板中，获得经过数据填充的启发式提示模板；
21、基于所述经过数据填充的启发式提示模板，生成启发式提示语句，将所述启发式提示语句作为所述标签描述信息。
22、上述的方法，可选的，所述对所述目标图像、所述描述文本信息和所述标签描述信息进行统一表征处理，得到所述目标图像对应的图像特征、所述描述文本信息对应的文本描述特征，以及所述标签描述信息对应的标签描述特征，包括：
23、通过预设的clip模型，对所述目标图像、所述描述文本信息和所述标签描述信息进行向量表征，得到所述目标图像对应的特征向量、所述描述文本信息对应的特征向量，以及所述标签描述信息对应的特征向量；
24、将所述目标图像对应的特征向量作为所述图像特征；
25、将所述描述文本信息对应的特征向量作为所述文本描述特征；
26、将所述标签描述信息对应的特征向量作为所述标签描述特征。
27、上述的方法，可选的，所述对所述元数据特征和所述图像特征进行信息增强处理，获得所述元数据特征对应的元数据增强特征，以及所述图像特征对应的图像增强特征，包括：
28、分别对所述元数据特征和所述图像特征进行特征嵌入处理，获得所述元数据特征对应的元数据嵌入特征和所述图像特征对应的图像嵌入特征；
29、基于预设的多头注意力机制，对所述元数据嵌入特征和所述图像嵌入特征进行自适应相关性学习，以对所述元数据嵌入特征和所述图像嵌入特征进行特征优化，获得所述元数据嵌入特征对应的优化特征和所述图像嵌入特征对应的优化特征；
30、将所述元数据嵌入特征对应的优化特征作为所述元数据增强特征；
31、将所述图像嵌入特征对应的优化特征作为所述图像增强特征。
32、上述的方法，可选的，所述对所述元数据增强特征和所述图像增强特征进行跨模态特征融合处理，获得所述目标图像的融合特征，包括：
33、应用预设的跨模态变换器，对所述元数据增强特征和所述图像增强特征进行特征融合处理，获得所述跨模态变换器输出的跨模态融合特征，将所述跨模态融合特征作为所述目标图像的融合特征。
34、上述的方法，可选的，所述基于所述目标图像的融合特征对所述目标图像进行情感识别，得到所述目标图像对应的情感类别，包括：
35、应用预设的分类模块，对所述目标图像的融合特征进行情感类别预测，得到各个候选情感类别的预测概率；
36、将各个所述候选情感类别中，其预测概率最大的候选情感类别作为目标候选情感类别，并将所述目标候选情感类别作为所述目标图像对应的情感类别。
37、一种图像情感分析装置，包括：
38、元数据获取单元，用于当需要对目标图像进行情感分析时，确定所述目标图像的元数据集合；所述元数据集合包括本文档来自技高网...
【技术保护点】
1.一种图像情感分析方法，其特征在于，包括：
2.根据权利要求1所述的图像情感分析方法，其特征在于，各个所述标签类型包括对象标签和场景标签，所述确定所述目标图像的元数据集合，包括：
3.根据权利要求1所述的图像情感分析方法，其特征在于，所述对所述标签信息进行语义描述形式转换处理，获得标签描述信息，包括：
4.根据权利要求1所述的图像情感分析方法，其特征在于，所述对所述目标图像、所述描述文本信息和所述标签描述信息进行统一表征处理，得到所述目标图像对应的图像特征、所述描述文本信息对应的文本描述特征，以及所述标签描述信息对应的标签描述特征，包括：
5.根据权利要求1所述的图像情感分析方法，其特征在于，所述对所述元数据特征和所述图像特征进行信息增强处理，获得所述元数据特征对应的元数据增强特征，以及所述图像特征对应的图像增强特征，包括：
6.根据权利要求1所述的图像情感分析方法，其特征在于，所述对所述元数据增强特征和所述图像增强特征进行跨模态特征融合处理，获得所述目标图像的融合特征，包括：
7.根据权利要求1所述的图像
8.一种图像情感分析装置，其特征在于，包括：
9.一种存储介质，其特征在于，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如权利要求1~7任意一项所述的图像情感分析方法。
10.一种电子设备，其特征在于，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如权利要求1~7任意一项所述的图像情感分析方法。
...【技术特征摘要】
1.一种图像情感分析方法，其特征在于，包括：
2.根据权利要求1所述的图像情感分析方法，其特征在于，各个所述标签类型包括对象标签和场景标签，所述确定所述目标图像的元数据集合，包括：
3.根据权利要求1所述的图像情感分析方法，其特征在于，所述对所述标签信息进行语义描述形式转换处理，获得标签描述信息，包括：
4.根据权利要求1所述的图像情感分析方法，其特征在于，所述对所述目标图像、所述描述文本信息和所述标签描述信息进行统一表征处理，得到所述目标图像对应的图像特征、所述描述文本信息对应的文本描述特征，以及所述标签描述信息对应的标签描述特征，包括：
5.根据权利要求1所述的图像情感分析方法，其特征在于，所述对所述元数据特征和所述图像特征进行信息增强处理，获得所述元数据特征对应的元数据增强特征，以及所述图像特征对应的图像增强特征，包...
【专利技术属性】
技术研发人员：刘淇，冯彬，阮书岚，杨明政，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。