一种基于显著性感知和自注意力机制的图像美学评价方法技术

本发明专利技术提出一种基于显著性感知和自注意力机制的图像美学评价方法，涉及深度学习图像处理技术领域，该方法包括：先利用稀缺色域显著性感知和亮度显著性感知进行图像各区域显著性检测，得到图像初步裁剪框，同时基于区域交并比去冗余，将所得裁剪区域送入图像特征提取网络resnet5，获得各图像局部的美学特征向量，利用自注意力机制融合各特征向量并输入分类网络，获得图像的高低质量美学评价结果。本发明专利技术提出了一种新颖的图像裁剪策略，同时在图像美学评价的过程中融合了自注意力机制，提高了模型评价的准确度。了模型评价的准确度。了模型评价的准确度。

【技术实现步骤摘要】
一种基于显著性感知和自注意力机制的图像美学评价方法


[0001]本专利技术涉及深度学习图像处理
，具体涉及了一种基于显著性感知和自注意力机制的图像美学评价方法。

技术介绍

[0002]随着互联网时代的不断深入发展，我们的信息获取来源逐渐由一维文字转向了多维的视觉图片，从而推动了互联网图片数量以井喷式增长。但与此同时，图片质量良莠不齐，给图片展示、推荐、检索等后续应用带来了许多困扰。面对日益激增的海量图片，如何从中选取更符合人眼美学的优质图片成为重大挑战。
[0003]图像美学评价任务是许多图像应用的关键性前置处理过程。对于图像搜索，图像美学评价可以帮助用户过滤质量不佳的搜索结果，提高用户体验；对于图像增强任务，图像美学评价可以提供导向性编辑方案，也可以融合用户个性化美学习惯，提供更加精准的增强技术；对于图像推荐任务，图像美学评价可以作为排序指标之一，以获取更加高效的排序结果。
[0004]图像美学评价问题既关乎个人审美，也有一定的大众评价标准可循。传统美学评价方式大多利用诸如黄金分割等摄影原理手工设计美学特征，并以此进行图片匹配及评价。然而事先预设的特征显然无法尽善尽美地涵盖图片的各种表达形式，存在主观性，同时更多的特征匹配也意味着更多的计算过程。在人工智能研究愈加成熟的今日，利用神经网络的方式进行图像美学评价成为解决该问题的一种可能。而大量的实验实验已经证明，在图像美学评价任务中，相比于原图输入的方式，将图像裁剪为多张局部小图像再输入神经网络提取特征，基于多个特征融合的结果进行模型评价，可以获得更高的检测效果。在此背景下，对于使用何种策略进行图像裁剪，对于多个特征如何进行融合的探讨仍远未达到理想状态。

技术实现思路

[0005]针对上述不足，本专利技术提出了一种基于显著性感知和自注意力机制的图像美学评价方法，该方法利用稀有色域显著性与亮度显著性两个角度进行图像区域显著性检测，基于显著性结果进行原始图像的裁剪，并分别提取裁剪局部的美学特征，利用自注意力机制融合多个特征向量，以实现对图像的美学质量分类。
[0006]本专利技术采用的技术方案为：
[0007]S1、图像输入输入并进行显著性检测，其中显著性检测包含稀有色域显著性检测与亮度显著性检测；
[0008]S2、基于显著性检测结果进行图像裁剪，基于人眼视觉的注意力不均匀性，裁剪出将能够产生最大视觉刺激即显著性最强的区域；
[0009]S3、裁剪区域去冗余，对于存在交叠的原始裁剪区域，基于减少重叠率的目的进行去冗余操作；
[0010]S4、提取区域图像美学特征，将所得的多个裁剪局部图像输入预训练的resnet50神经网络，不同的裁剪局部所用网络特征共享，获得多个图像美学特征向量；
[0011]S5、特征融合，采用自注意力机制进行空间注意力权重分配，获得融合的美学特征向量；
[0012]S6、得出美学评价结果，利用全连接层对所得的融合美学特征向量实现分类任务；
[0013]进一步地，，步骤S1中，图像数据的获取来源为Aesthetic VisualAnalysis(AVA)美学评价任务公开数据集，该数据集包含万张带评分标签的图像，评分范围为0
‑
10分，以评分在5 分以上图像为高质量美学图像，评分在5分及5分以下图像为低质量美学图像；
[0014]进一步地，步骤S1中，稀缺色域显著性值计算公式为：
[0015][0016]其中f(n)为图像灰度特征图，通过将图片转为灰度图并统计每一灰度值n出现的次数可得，d(p,n)为像素点p的灰度值与灰度值n的颜色距离，该颜色距离即灰度值差；
[0017]进一步地，步骤S1中，亮度显著性值计算公式为：
[0018]Sal(p)＝f'(g(p))*g(p)
[0019]其中g(p)为像素点p的灰度值，f
‘
(n)是经过归一化处理的灰度特征图；
[0020]进一步地，步骤S1中，两种显著性检测的应用方式为：基于Luminance Contrast算法理论，稀有色域往往能够获取最大的视觉注意力，因此首先计算图像的稀有色域显著性，并基于该显著性进行区域裁剪；当稀有色域显著性结果无法满足可区分的裁剪要求时，认为该图像在全局范围具有相似色域，此时亮度最高区域获得最大视觉注意力。进行亮度显著性计算，并基于亮度显著性结果进行区域裁剪；
[0021]进一步地，步骤S3中，去冗余过程为：将所有初始裁剪框按照面积从大到小进行排列，依据排列顺序两两计算交并比，设定阈值参数，对于交并比大于该阈值的两个裁剪框进行合并，对合并后的裁剪框重复进行上述检测过程，直到所有裁剪框通过检测；
[0022]进一步地，步骤S3中，交并比的计算公式为：
[0023][0024]即区域A与区域B的相交面积和合并面积的比值。
[0025]进一步，步骤S5中，自注意力机制的具体实施方法为：计算所得的多个裁剪局部图像美学特征向量在同一维度上的最大值、最小值和平均值，获得最大值美学特征向量、最小值美学特征向量与平均值美学特征向量，通过在新维度上拼接的方法获得三者的融合美学特征向量。将融合特征向量经过全局池化降维，并通过全连接层的变化获得空间通道的注意力权重。将该权重作用于原始融合美学特征向量，可获得具有空间通道注意力的融合特征。
[0026]综上所述，本专利技术公开了一种基于显著性感知和自注意力机制的图像美学评价方法。其有益效果为：提出了一种新颖的图像裁剪策略，该策略基于图像的显著性感知，可以为图像美学评价任务提供更加科学的前置操作。同时对因多局部图像输入的产生的多个特征使用自注意力机制融合，进一步提高了模型效益。
附图说明
[0027]图1为一种基于显著性感知和自注意力机制的图像美学评价方法的方法流程图
[0028]图2为一种基于显著性感知和自注意力机制的图像美学评价方法中裁剪框去冗余的流程图
[0029]图3为一种基于显著性感知和自注意力机制的图像美学评价方法中自注意力机制的示意图
具体实施方式
[0030]下面将结合附图和具体实施例对本专利技术进行进一步的详细说明，显然，所描述的实施例仅为部分实施例，而非全部实施例。
[0031]在图像美学评价领域，研究人员已经证实，使用原始图像的多个裁剪局部作为神经网络的输入，可以比直接输入原始图像获得更高的网络准确率。然而关于裁剪策略的优化及多个特征的融合方法仍有需要研究空间。本专利技术公开了一种基于显著性感知和自注意力机制的图像美学评价方法，提出了一个新颖的裁剪策略，并使用自注意力机制解决了多特征融合问题。
[0032]本实施例基于Pytorch框架和Pycharm开发环境：Pytorch是一个开源的python机器学习库，包含各种适用于深度学习算法的工具包，可高效灵活地搭建神经网络模型，是目前主流的编程框架之一。
[0033]本实施例公开了一种基于显著性感知和自注意力机制的图像美学评价方法，如图1所示，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于显著性感知和自注意力机制的图像美学评价方法，其特征在于，所述美学评价方法包括下列步骤：S1、图像输入并进行区域显著性检测，分别计算各像素点的稀缺色域显著性值及亮度显著性值，结合两者得出最终的显著性值分布，并提取出显著性值较高的区域；S2、基于显著性结果进行裁剪，模拟人眼视觉效果，以固定尺寸裁剪出将最具视觉刺激性即显著性最高的区域；S3、并对裁剪区域去冗余，设定区域交并比阈值，并根域交并比将重叠度较高的裁剪区域进行合并；S4、局部图像特征提取，将所得的各裁剪区域图像输入预训练的resnet50网络，获得图像特征向量；S5、特征融合，利用自注意力机制融合各局部图像特征向量，获得融合特征向量；S6、美学评价分类，将融合特征向量输入分类网络，获得最终的图像美学评价分类。2.如权利要求1所述的图像美学评价方法，其特征在于，所述步骤S1中稀缺色域显著性值计算公式为：其中f(n)为灰度特征图，通过将图片转为灰度图并统计每一灰度值n出现的次数可得，d(p,n)为像素点p的灰度值与灰度值n的颜色距离。3.如权利要求1所述的图像美学评价方法，其特征在于，所述步骤S1中亮度显著性值计算公式为：Sal(p)＝f'(g(p))*g(p)其中g(p)为像素点p的灰度值，f
‘
(n)是...

【专利技术属性】
技术研发人员：许曼玲，戴宪华，
申请(专利权)人：中山大学，
类型：发明
国别省市：