图像美学质量确定方法技术

本公开的实施例公开了一种图像美学质量确定方法，涉及自然图像美学质量评价的计算机视觉技术领域。对复杂场景中的图像通过索引构建多个参考学习样本，提高模型训练过程对场景可视化美学特征的表征能力，使用图卷积神经网络对多样本构建的图结构进行关系推理学习，提出自适应损失函数AdaEMD保证模型训练过程稳定并减轻数据长尾分布的影响，进一步提高模型的美学质量预测准确性和稳定性，测试结果表明本方法可准确、高效的预测图像美学质量并达到目前方法的最好结果。目前方法的最好结果。目前方法的最好结果。

【技术实现步骤摘要】
图像美学质量确定方法


[0001]本公开的实施例涉及图像美学质量确定方法，具体涉及一种基于相似场景样本检索方式，利用图卷积网络学习样本内在关系，并基于自适应调整的损失函数来训练，自动得到图像美学质量分数分布的方法，属于计算机视觉


技术介绍

[0002]图像美学质量评价(Image Aesthetic Quality Assessment)是利用计算机模仿人对视觉美感的主观感受，根据图像的美学质量将其分为美学高质量/质量图片，或预测图像的美学分数和分布。由于图像美学质量评价的主观性和受试者的差异性，对计算机而言，对图像进行准确的美学质量评价，是一个十分有挑战的任务。
[0003]图像美学质量评价可以分为两步：先提取图像特征，再根据特征做出预测。传统的人工设计特征，主要对图像清晰性、颜色、亮度、对比度和景深等摄影规则进行建模，以得到对应特征进行美学质量分类。近年来，随着深度学习算法在计算机视觉方面的快速发展，越来越多的研究工作将深度学习应用到图像美学质量领域进行特征提取。但是如何减少模型评价时其中包含的主观性对预测结果的影响，是该任务的最大难点。

技术实现思路

[0004]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0005]本专利技术的目的是为了克服现有图像美学质量评价方法的不足，提出一种多样本联合学习的方式进行图像美学质量评价，能在提高模型预测效果的基础上，减少模型训练时长，并消除模型数据不平衡带来的负面影响。
[0006]第一方面，本公开的一些实施例提供了一种图像美学质量确定方法，该方法包括：获取待评价图像；利用残差人工神经网络ResNet
‑
50中的预训练模型ImageNet提取预先构建的多样本索引信息列表中包括的各个多样本图像的2048维特征，以及上述待评价图像的2048维特征，得到多样本图像特征集合和待评价图像特征；利用上述待评价图像特征与上述多样本图像特征集合中各个多样本图像特征之间的欧氏距离，确定与上述待评价图像特征对应的多样本参考图像集合；将上述待评价图像和上述多样本参考图像集合对应的多样本图像特征集合输入至预先训练的图像美学质量确定模型，得到美学分布分数集合，其中，上述美学分布分数集合表征预定数目个评分值对应的美学分布分数；对上述美学分布分数集合进行求美学分布分数处理，得到目标美学分布分数。
[0007]可选地，图像美学质量确定模型是通过以下步骤训练得到的：获取训练图像集；构建多样本索引信息列表，其中，上述多样本索引信息列表中的多样本索引信息包括多样本图像，以及与多样本图像对应的美学质量分数；对于上述训练图像集中的每个训练图像，基于上述训练图像和上述多样本索引信息列表，确定与上述训练图像对应的多样本参考图像
集合；对上述训练图像集进行数据处理，得到目标维度特征集合；对于上述训练图像集中的每个训练图像，执行以下目标美学表征生成步骤：将上述训练图像对应的多样本参考图像集合构建为图结构{m，A，W}，其中，m表示上述训练图像对应的多样本参考图像集合的数量，A表示图结构中不同节点之间连接的边，W表示连接权重；利用图卷积网络学习上述训练图像对应的多样本参考图像集合的内蕴关系和上述训练图像对应的目标维度特征，以及通过图结构，生成目标美学表征；通过全连接确定美学分布分数；设计用于网络训练的损失函数。
[0008]可选地，上述对于上述训练图像集中的每个训练图像，基于上述训练图像和上述多样本索引信息列表，确定与上述训练图像对应的多样本参考图像集合，包括：利用残差人工神经网络ResNet
‑
50中的预训练模型ImageNet提取上述多样本索引信息列表中包括的各个多样本图像的2048维特征，以及上述训练图像的2048维特征，得到多样本图像特征集合和训练图像特征；确定上述训练图像特征与上述多样本图像特征集合中每个多样本图像特征之间的欧氏距离，得到样本欧氏距离集合；对上述样本欧氏距离集合进行排序，得到样本欧氏距离序列；将上述样本欧氏距离序列中的满足预设条件的样本欧氏距离，确定为目标欧氏距离集合；将上述目标欧氏距离集合中各个目标欧氏距离对应的多样本图像，确定为与上述训练图像对应的多样本参考图像集合。
[0009]可选地，上述确定上述训练图像特征与上述多样本图像特征集合中每个多样本图像特征之间的欧氏距离，包括：利用以下公式，确定上述训练图像特征与上述多样本图像特征之间的欧氏距离：其中，t表示训练图像的序号，I
t
表征训练图像，i表示多样本参考图像集合中多样本参考图像的序号，I
i
表征多样本图像，Sim(I
t
,I
i
)表示上述训练图像特征与上述多样本图像特征之间的欧氏距离，f
t
表示上述训练图像特征，‖f
t
‖表示归一化后的训练图像特征，f
i
表示上述多样本图像特征，‖f
i
‖表示归一化后的多样本图像特征，‖‖2表示求欧式距离。
[0010]可选地，在上述利用图卷积网络学习上述训练图像对应的多样本参考图像集合的内蕴关系和上述训练图像对应的目标维度特征中，利用以下公式表示图卷积网络学习更新过程：其中，u表示图卷积网络层序号，N
u
表示第u层图卷积网络更新输出的特征，表示图结构中不同节点之间连接的边的关系，表示第u层的图结构中不同节点之间连接的边的关系，u
‑
1表示第u
‑
1层图卷积网络层，N
(u
‑
1)
表示第u
‑
1层图卷积网络更新输出的特征，W
u
表示第u层的图卷积参数更新，表示第u
‑
1层的图结构中不同节点之间连接的边的关系，I表示单位矩阵。
[0011]可选地，上述通过全连接确定美学分布分数，包括：利用以下公式，确定美学分布分数：其中，表示上述美学分布分数，MLP()表示多层感知机，C[]表示特征指定维度拼接，表示将输入特征转化为高维特征，N
u
表示第u层图卷积网络更新输出的特征，H()表示特征聚合降维网络MLSP的输出结果，I
t
表征训练图像，θ表示模型的初始参数。
[0012]可选地，上述用于网络训练的损失函数利用以下公式表示：其中，t表示训练图像的序号，表示实际美学分布分数，P
t
表示预测美学分布分数，表示用于网络训练的损失函数，EMD
t
表示求损失值，τ表示难易样本分类阈值，大于上述难易样本分类阈值为难样本，反之为简单样本，ρ表示累积更新系数，υ表示训练轮次，ρ
v
表示第υ轮的累积更新系数，α表示更新系数，表示第v轮的损失值，ρ
(v
‑
1)
表示第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像美学质量确定方法，包括：获取待评价图像；利用残差人工神经网络ResNet
‑
50中的预训练模型ImageNet提取预先构建的多样本索引信息列表中包括的各个多样本图像的2048维特征，以及所述待评价图像的2048维特征，得到多样本图像特征集合和待评价图像特征；利用所述待评价图像特征与所述多样本图像特征集合中各个多样本图像特征之间的欧氏距离，确定与所述待评价图像特征对应的多样本参考图像集合；将所述待评价图像和所述多样本参考图像集合对应的多样本图像特征集合输入至预先训练的图像美学质量确定模型，得到美学分布分数集合，其中，所述美学分布分数集合表征预定数目个评分值对应的美学分布分数；对所述美学分布分数集合进行求美学分布分数处理，得到目标美学分布分数。2.根据权利要求1所述的方法，其中，图像美学质量确定模型是通过以下步骤训练得到的：获取训练图像集；构建多样本索引信息列表，其中，所述多样本索引信息列表中的多样本索引信息包括多样本图像，以及与多样本图像对应的美学质量分数；对于所述训练图像集中的每个训练图像，基于所述训练图像和所述多样本索引信息列表，确定与所述训练图像对应的多样本参考图像集合；对所述训练图像集进行数据处理，得到目标维度特征集合；对于所述训练图像集中的每个训练图像，执行以下目标美学表征生成步骤：将所述训练图像对应的多样本参考图像集合构建为图结构{m，A，W}，其中，m表示所述训练图像对应的多样本参考图像集合的数量，A表示图结构中不同节点之间连接的边，W表示连接权重；利用图卷积神经网络学习所述训练图像对应的多样本参考图像集合的内蕴关系和所述训练图像对应的目标维度特征，以及通过图结构，生成目标美学表征；通过全连接确定美学分布分数；设计用于网络训练的损失函数。3.根据权利要求2所述的方法，其中，所述对于所述训练图像集中的每个训练图像，基于所述训练图像和所述多样本索引信息列表，确定与所述训练图像对应的多样本参考图像集合，包括：利用残差人工神经网络ResNet
‑
50中的预训练模型ImageNet提取所述多样本索引信息列表中包括的各个多样本图像的2048维特征，以及所述训练图像的2048维特征，得到多样本图像特征集合和训练图像特征；确定所述训练图像特征与所述多样本图像特征集合中每个多样本图像特征之间的欧氏距离，得到样本欧氏距离集合；对所述样本欧氏距离集合进行排序，得到样本欧氏距离序列；将所述样本欧氏距离序列中的满足预设条件的样本欧氏距离，确定为目标欧氏距离集合；将所述目标欧氏距离集合中各个目标欧氏距离对应的多样本图像，确定为与所述训练
图像对应的多样本参考图像集合。4.根据权利要求3所述的方法，其中，所述确定所述训练图像特征与所述多样本图像特征集合中每个多样本图像特征之间的欧氏距离，包括：利用以下公式，确定所述训练图像特征与所述多样本图像特征之间的欧氏距离：其中，t表示训练图像的序号，I
t
表征训练图像，i表示多样本参考图像集合中多样本参考图像的序号，I
i
表征多样本图像，Sim(I
t
,I
i
)表示所述训练图像特征与所述多样本图像特征之间的欧氏距离，f
t
表示所述训练图像特征，‖f
t
‖表示归一化后的训练图像特征，f
i
表示所述多样本图像特征，...

【专利技术属性】
技术研发人员：史腾飞，谢雪光，高阳，郝爱民，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：