一种图像处理方法及装置制造方法及图纸

本说明书公开了一种图像处理方法及装置，可先获取待评估的各图像，并针对每个待评估的图像，将该图像输入特征提取模型，确定该特征提取模型中至少两层卷积层输出的图像特征。之后，将确定出的各卷积层输出图像特征分别输入预设的各卷积层对应的池化层，得到各图像特征的特征向量，并根据确定出的各图像特征的特征向量，确定该图像的特征向量。最后将该图像的特征向量输入质量评价模型，确定该图像的质量评分，以根据各图像的质量评分进行图像处理。通过确定至少两层卷积层输出的图像特征，并根据输出的各图像特征对图像进行质量评估，避免了现有仅根据最后一层卷积层输出的图像特征对图像进行质量评估，导致评估不准确的问题。

【技术实现步骤摘要】
一种图像处理方法及装置
本申请涉及图像处理
，尤其涉及一种图像处理方法及装置。
技术介绍
随着深度学习的发展，图像美学质量评估(ImageAestheticQualityAssessment)也成为研究的热门方向。通过对图像进行美学质量评估的方式，确定各图像的美学质量，以在向用户展示图像时，优先展示美学质量较高的图像。现有技术在确定图像的美学质量时，具体过程如下：首先，将待评估的图像输入预先训练的美学评估模型的卷积神经网络层(ConvolutionalNeuralNetworks，CNN)中，对该图像进行特征提取，之后将提取出的图像特征输入该美学评估模型的若干全连接层中，确定该图像的美学质量评分。其中，CNN层中包含多层卷积层。但是，通过CNN层中的多层卷积层对该图像进行特征提取后，提取出的图像特征对图像进行了高度凝结，减少了图像中的色彩、纹理等特征信息，而图像的色彩、纹理是确定图像美学质量的重要因素。因此，通过多层卷积层提取出的图像特征，对图像进行美学质量评估往往不够准确。
技术实现思路
本说明书实施例提供一种图像处理方法及装置，用于部分解决现有技术中存在的上述问题。本说明书实施例采用下述技术方案：本说明书提供的一种图像处理方法，包括：获取若干待评估的图像；针对每个待评估的图像，将该图像输入预先训练的特征提取模型，确定所述特征提取模型中至少两层卷积层输出的图像特征；将确定出的各卷积层输出图像特征分别输入预设的各卷积层对应的池化层，得到各图像特征的特征向量；根据确定出的各图像特征的特征向量，确定该图像的特征向量；将该图像的特征向量输入预先训练的质量评价模型，确定所述质量评价模型输出的该图像的质量评分；根据各图像的质量评分，进行图像处理。可选地，特征提取模型的训练过程如下：获取若干图像，作为第一训练样本；针对每个第一训练样本，将该第一训练样本的真实类别作为该第一训练样本的标注；将该第一训练样本输入待训练的卷积神经网络模型，输出该第一训练样本的预测类别，所述卷积神经网络模型至少包含卷积神经网络层以及全连接层；以最小化所述预测类别与该第一训练样本标注的真实类别之间的差异为目标，调整所述卷积神经网络模型中的模型参数；将训练完成的所述卷积神经网络模型中除全连接层外的卷积神经网络模型，作为训练完成的特征提取模型。可选地，质量评价模型的训练过程如下：获取若干图像；针对每个图像，将该图像输入预先训练的特征提取模型，确定所述特征提取模型中至少两层卷积层输出的图像特征；将各卷积层输出图像特征分别输入预设的各卷积层的对应池化层，确定各图像特征的特征向量；根据确定出的各图像特征的特征向量，确定该图像的特征向量；将各图像的特征向量作为第二训练样本，并确定各图像的质量评分作为各第二训练样本的标注；针对每个第二训练样本，将该第二训练样本输入待训练的全连接神经网络模型，确定所述全连接神经网络模型输出的该第二训练样本的质量评分；以最小化输出的质量评分与该第二训练样本标注的质量评分之间的差异为目标，调整所述全连接神经网络模型中的模型参数；将训练完成的全连接神经网络模型作为质量评价模型，所述质量评价模型用于评价图像的质量。可选地，根据确定出的各图像特征的特征向量，确定该图像的特征向量，具体包括：根据确定出的各图像特征的特征向量以及各图像特征对应的卷积层在所述特征提取模型中的顺序，确定该图像的特征向量。可选地，所述质量评价模型为多个，每个质量评价模型分别由不同的图像数据集训练得到；所述方法还包括：针对每个质量评价模型，将该图像输入该质量评价模型，确定该质量评价模型输出的质量评分；根据各质量评价模型输出的质量评分，确定该图像的质量评分。可选地，根据各质量评价模型输出的质量评分，确定该图像的质量评分，具体包括：对各质量评价模型输出的质量评分进行归一化；根据预设的各质量评价模型的权重以及归一化后的各质量评价模型输出的质量评分，确定该图像的质量评分。可选地，根据各图像的质量评分，进行图像处理，具体包括：根据各图像的质量评分，确定各图像的排序；根据各图像的排序，从各图像中确定目标图像，并进行展示。本说明书提供一种图像处理装置，包括：获取模块，获取若干待评估的图像；特征提取模块，针对每个待评估的图像，将该图像输入预先训练的特征提取模型，确定所述特征提取模型中至少两层卷积层输出的图像特征；池化模块，将确定出的各卷积层输出图像特征分别输入预设的各卷积层对应的池化层，得到各图像特征的特征向量；特征向量确定模块，根据确定出的各图像特征的特征向量，确定该图像的特征向量；评分模块，将该图像的特征向量输入预先训练的质量评价模型，确定所述质量评价模型输出的该图像的质量评分；处理模块，根据各图像的质量评分，进行图像处理。本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法。本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像处理方法。本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：在进行图像处理时，可先获取待评估的各图像，并针对每个待评估的图像，将该图像输入特征提取模型，确定该特征提取模型中至少两层卷积层输出的图像特征。之后，将确定出的各卷积层输出图像特征分别输入预设的各卷积层对应的池化层，得到各图像特征的特征向量，并根据确定出的各图像特征的特征向量，确定该图像的特征向量。最后将该图像的特征向量输入质量评价模型，确定该图像的质量评分，以根据确定出的各图像的质量评分，进行图像处理。通过确定至少两层卷积层输出的图像特征，并根据输出的各图像特征对图像进行质量评估，避免了现有仅根据最后一层卷积层输出的图像特征对图像进行质量评估，由于图像特征高度凝结，图像的色彩、纹理等信息丢失，导致评估不准确的问题。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为现有的美学质量评估模型的结构示意图；图2为本说明书实施例提供的一种图像处理方法的流程示意图；图3为本说明书实施例提供的特征提取模型的结构示意图；图4为本说明书实施例提供的池化过程的示意图；图5为本说明书实施例提供的图像处理的流程示意图；图6为本说明书实施例提供的多模型评分融合的示意图；图7为本说明书实施例提供的一种图像处理装置的结构示意图；图8为本说明书实施例提供的实现图像处理方法的电子设备示意图。具体实施方式为使本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取若干待评估的图像；/n针对每个待评估的图像，将该图像输入预先训练的特征提取模型，确定所述特征提取模型中至少两层卷积层输出的图像特征；/n将确定出的各卷积层输出图像特征分别输入预设的各卷积层对应的池化层，得到各图像特征的特征向量；/n根据确定出的各图像特征的特征向量，确定该图像的特征向量；/n将该图像的特征向量输入预先训练的质量评价模型，确定所述质量评价模型输出的该图像的质量评分；/n根据各图像的质量评分，进行图像处理。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取若干待评估的图像；
针对每个待评估的图像，将该图像输入预先训练的特征提取模型，确定所述特征提取模型中至少两层卷积层输出的图像特征；
将确定出的各卷积层输出图像特征分别输入预设的各卷积层对应的池化层，得到各图像特征的特征向量；
根据确定出的各图像特征的特征向量，确定该图像的特征向量；
将该图像的特征向量输入预先训练的质量评价模型，确定所述质量评价模型输出的该图像的质量评分；
根据各图像的质量评分，进行图像处理。


2.如权利要求1所述的方法，其特征在于，特征提取模型的训练过程如下：
获取若干图像，作为第一训练样本；
针对每个第一训练样本，将该第一训练样本的真实类别作为该第一训练样本的标注；
将该第一训练样本输入待训练的卷积神经网络模型，输出该第一训练样本的预测类别，所述卷积神经网络模型至少包含卷积神经网络层以及全连接层；
以最小化所述预测类别与该第一训练样本标注的真实类别之间的差异为目标，调整所述卷积神经网络模型中的模型参数；
将训练完成的卷积神经网络模型中除全连接层外的卷积神经网络模型，作为训练完成的特征提取模型。


3.如权利要求2所述的方法，其特征在于，质量评价模型的训练过程如下：
获取若干图像；
针对每个图像，将该图像输入预先训练的特征提取模型，确定所述特征提取模型中至少两层卷积层输出的图像特征；
将各卷积层输出图像特征分别输入预设的各卷积层对应的池化层，确定各图像特征的特征向量；
根据确定出的各图像特征的特征向量，确定该图像的特征向量；
将各图像的特征向量作为第二训练样本，并确定各图像的质量评分作为各第二训练样本的标注；
针对每个第二训练样本，将该第二训练样本输入待训练的全连接神经网络模型，确定所述全连接神经网络模型输出的该第二训练样本的质量评分；
以最小化输出的质量评分与该第二训练样本标注的质量评分之间的差异为目标，调整所述全连接神经网络模型中的模型参数；
将训练完成的全连接神经网络模型作为质量评价模型，所述质量评价模型用于评价图像的质量。


4.如权利要求1所述的方法，其特征在...

【专利技术属性】
技术研发人员：周鑫，曹佐，黄彦春，刘瑞峰，左凯，腊磊，王仲远，张弓，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11