本发明专利技术提供的一种基于大模型的图像情感编辑方法、系统、终端及介质，具体涉及计算机视觉技术领域，方案包括：在情感归因阶段，基于情感和视觉语义之间的相关性，利用视觉语言模型创建代表抽象情感的语义因素的层次结构，构建出情感因素树；在图像编辑阶段，按照目标情感类别识别出待处理图像中的有效情感因素；利用预先构建的情感因素树分别对每个情感因素编辑，获得每个情感因素的编辑结果；利用预设的排序策略将所有编辑结果排序，筛选出最佳编辑结果。该方案基于情感和视觉语义之间的相关性，利用视觉语言大模型对待处理图像按照目标情感类别进行情感识别并筛选，获得有价值的情感因素，从而得到精准的图像情感编辑结果。
【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及的是一种基于大模型的图像情感编辑方法、系统、终端及介质。
技术介绍
1、图像情感编辑旨在通过修改用户提供的图像来唤起特定的情感反应。该过程不仅需要唤起预期的情感，还需要保留原始图像的结构，是一种复杂的需要平衡两种目标的任务。
2、图像处理涵盖各种任务，包括图像着色、对象添加/删除、背景替换、动作更改和风格转换，现有的图像情感编辑方法主要是通过调整图像的颜色和风格实现编辑，但是往往无法引发精确、显著的情感风格的变化，因此在处理更抽象的情感时仍面临严峻挑战。
技术实现思路
1、鉴于上述现有技术的不足，本专利技术的目的在于提供一种基于大模型的图像情感编辑方法、系统、终端及介质，旨在解决现有技术中的图像情感编辑方法存在的无法精准地处理图像的情感变化的问题。
2、为了实现上述目的，本专利技术第一方面提供一种基于大模型的图像情感编辑方法，包括：
3、获取待处理图像；
4、按照目标情感类别对所述待处理图像的内容进行情感识别，获得若干情感因素；
5、利用预先构建的情感因素树分别对每个所述情感因素进行编辑，获得每个所述情感因素的编辑结果；
6、利用预设的排序策略将所有所述编辑结果排序，确定最佳编辑结果。
7、在一种实施方式中，所述情感因素树的构建过程，包括：
8、获取情感数据集；
9、对所述情感数据集所包括的每种情感进行特征提取，获得每种所述情感的视觉语义；</p>10、基于情感因素和视觉语义之间的相关性对所述视觉语义进行聚类，获得若干情感因素；
11、利用预设的视觉语言模型为每种所述情感因素分配内容和颜色，并基于所述内容和所述颜色，构建每种所述情感因素对应的情感因素树。
12、在一种实施方式中，所述基于情感因素和视觉语义之间的相关性对所述视觉语义进行聚类，获得若干情感因素，包括：
13、基于情感因素和视觉语义之间的相关性，利用所述视觉语义对应的情感因素，初始化若干聚类簇；
14、基于预设的聚类簇过滤规则对所述聚类簇进行过滤，获得有效聚类簇；
15、基于所述有效聚类簇中所包含的情感类别，获得每个所述情感类别对应的情感因素。
16、在一种实施方式中，所述基于预设的聚类簇过滤规则对所述聚类簇进行过滤，获得有效聚类簇，包括：
17、基于所述聚类簇中所包含图像的数量对所述聚类簇进行初始过滤，获得初始有效聚类簇；
18、计算任意两个所述初始有效聚类簇之间的相似度和加权平均情感得分，并基于所述相似度和所述加权平均情感得分对所述初始有效聚类簇进行过滤，获得有效聚类簇。
19、在一种实施方式中，所述利用预先构建的情感因素树分别对每个所述情感因素进行编辑，获得每个所述情感因素的编辑结果，包括：
20、分别基于预先构建的情感因素树提取每个所述情感因素的内容和颜色，确定若干编辑指令；
21、分别利用每个所述编辑指令对所述待处理图像进行编辑，获得每个所述情感因素的编辑结果。
22、在一种实施方式中，所述利用预设的排序策略将所有所述编辑结果排序，确定最佳编辑结果，包括：
23、获取预设的若干种排序策略以及每种所述排序策略的优先级；
24、按照所述排序策略的优先级从高到低的顺序对所有所述编辑结果划分情感类别，确定最佳编辑结果。
25、本专利技术第二方面提供一种基于大模型的图像情感编辑系统，所述系统包括：
26、待处理图像获取模块，用于获取待处理图像；
27、情感因素识别模块，用于按照目标情感类别对所述待处理图像的内容进行情感识别，获得若干情感因素；
28、情感编辑模块，用于利用预先构建的情感因素树分别对每个所述情感因素进行编辑，获得每个所述情感因素的编辑结果；
29、最佳编辑结果筛选模块，用于利用预设的排序策略将所有所述编辑结果排序，确定最佳编辑结果。
30、在一种实施方式中，所述情感编辑模块包括数据集获取单元、情感特征提取单元、聚类单元和情感因素树构建单元，其中，数据集获取单元，用于获取情感数据集；情感特征提取单元，用于对所述情感数据集所包括的每种情感进行特征提取，获得每种所述情感的视觉语义；聚类单元，用于基于情感因素和视觉语义之间的相关性对所述视觉语义进行聚类，获得若干情感因素；情感因素树构建单元，用于利用预设的视觉语言模型为每种所述情感因素分配内容和颜色，并基于所述内容和所述颜色，构建每种所述情感因素对应的情感因素树。
31、本专利技术第三方面提供一种终端，所述终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于大模型的图像情感编辑程序，所述基于大模型的图像情感编辑程序被所述处理器执行时实现任意一项上述基于大模型的图像情感编辑方法的步骤。
32、本专利技术第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于大模型的图像情感编辑程序，所述基于大模型的图像情感编辑程序被处理器执行时实现任意一项上述基于大模型的图像情感编辑方法的步骤。
33、与现有技术相比，本方案的有益效果如下：
34、本专利技术提出的基于大模型的图像情感编辑方法包括情感归因和图像编辑两个阶段的处理，在情感归因阶段，基于情感和视觉语义之间的相关性，利用视觉语言模型来创建代表抽象情感的语义因素的层次结构；在图像编辑阶段，利用视觉语言模型识别与所提供图像最相关的因素，对待处理图像按照目标情感类别进行情感识别并筛选，获得比较有价值的情感因素，并利用预先构建的情感因素树分别对每个所述情感因素进行编辑和筛选，获得精准的图像情感编辑结果。
本文档来自技高网...
【技术保护点】
1.一种基于大模型的图像情感编辑方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于大模型的图像情感编辑方法，其特征在于，所述情感因素树的构建过程，包括：
3.根据权利要求2所述的基于大模型的图像情感编辑方法，其特征在于，所述基于情感因素和视觉语义之间的相关性对所述视觉语义进行聚类，获得若干情感因素，包括：
4.根据权利要求3所述的基于大模型的图像情感编辑方法，其特征在于，所述基于预设的聚类簇过滤规则对所述聚类簇进行过滤，获得有效聚类簇，包括：
5.根据权利要求1所述的基于大模型的图像情感编辑方法，其特征在于，所述利用预先构建的情感因素树分别对每个所述情感因素进行编辑，获得每个所述情感因素的编辑结果，包括：
6.根据权利要求1所述的基于大模型的图像情感编辑方法，其特征在于，所述利用预设的排序策略将所有所述编辑结果排序，确定最佳编辑结果，包括：
7.基于大模型的图像情感编辑系统，其特征在于，所述系统包括：
8.根据权利要求7所述的基于大模型的图像情感编辑系统，其特征在于，所述情感编辑模块包括数据集获取单元、情感特征提取单元、聚类单元和情感因素树构建单元，其中，
9.一种终端，其特征在于，所述终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于大模型的图像情感编辑程序，所述基于大模型的图像情感编辑程序被所述处理器执行时实现如权利要求1-6任意一项所述基于大模型的图像情感编辑方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于大模型的图像情感编辑程序，所述基于大模型的图像情感编辑程序被处理器执行时实现如权利要求1-6任意一项所述基于大模型的图像情感编辑方法的步骤。
...
【技术特征摘要】
1.一种基于大模型的图像情感编辑方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于大模型的图像情感编辑方法，其特征在于，所述情感因素树的构建过程，包括：
3.根据权利要求2所述的基于大模型的图像情感编辑方法，其特征在于，所述基于情感因素和视觉语义之间的相关性对所述视觉语义进行聚类，获得若干情感因素，包括：
4.根据权利要求3所述的基于大模型的图像情感编辑方法，其特征在于，所述基于预设的聚类簇过滤规则对所述聚类簇进行过滤，获得有效聚类簇，包括：
5.根据权利要求1所述的基于大模型的图像情感编辑方法，其特征在于，所述利用预先构建的情感因素树分别对每个所述情感因素进行编辑，获得每个所述情感因素的编辑结果，包括：
6.根据权利要求1所述的基于大模型的图像情感编辑方法，其特征在于，所述利用预设的排序策略将所...
【专利技术属性】
技术研发人员：杨景媛，黄惠，冯嘉伟，骆伟斌，
申请(专利权)人：深圳大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。