用于训练神经网络的图像块的选择方法及图像质量评价方法技术

本发明专利技术公开了一种用于训练神经网络进行图像质量评价的图像块的选择方法及使用经训练的神经网络进行图像质量评价方法。该图像块的选择方法包括接收输入图像并从输入图像提取一个或多个图像块。测量提取的图像块的矩。根据测量的矩决定接受还是拒绝所提取的图像块。提取更多的图像块直到所接受提取图像块的最小数量为N

Image block selection method and image quality evaluation method for training neural network

【技术实现步骤摘要】
用于训练神经网络的图像块的选择方法及图像质量评价方法
本专利技术涉及用于训练神经网络和通过神经网络使用高方差图像块评价图像质量的图像块的选择。
技术介绍
在过去的三十年中，由于多媒体和网络技术的快速发展，数字图像数据量一直处于爆炸式增长。每小时都有大量数字图像生成，使图像质量评价(IQA)成为学术和行业调查的热门课题。根据对参考图像的依赖性，IQA方法通常分为3类：全参考IQA(FR-IQA)，部分参考IQA(RR-IQA)和无参考IQA(NR-IQA)。FR-IQA和RR-IQA假定全部或部分参考图像信息可用，并在参考图像和测试图像之间进行比较。PSNR，SSIM，FSIM，IFC和VIF是众所周知的FR-IQA算法。然而，由于并不总是有参考图像可用，所以NR-IQA在实际应用中更加理想；许多NR-IQA算法也已经开发出来了。第一代这些算法用于为某些特定的失真类型进行校准，如JPEG，JPEG2000和H.264/AVC。这些算法很难推广到其他新的失真类型。第二代NR-IQA算法专注于自然场景统计(NSS)的研究，并使用人工设计特征(handcraftedfeatures)来捕捉影响图像质量的相关因素。常见的基于NSS的算法有DIIVINE，BLIINDS-II和BRISQUE。近年来，深度学习被证明在各种问题上表现良好。深度学习的兴起也将NR-IQA的发展作为一种数据驱动方法发生了革命性的变化，它直接从原始图像块中学习区别特征。CORNIA和CNN-NRIQA首先使用这种方法。CORNIA旨在使用无监督特征学习直接从原始图像像素训练图像表示内核，而CNN-NRIQA使用卷积神经网络(CNN)将特征学习和回归整合到一个优化过程中。康(Kang)等人在2014年计算机视觉和模式识别(CVPR)中“用于无参考图像质量评价的卷积神经网络”第1733-1740页描述了CNN在NR-IQA的应用。在文中，康等人提出了一个非常有意义的框架并取得了优异的成果。这种方法主要处理小图像块(如32×32像素)，整个图像质量评分是小测试块的平均预测评分。然而，康的CNN-NRIQA网络只包含一个较浅的卷积层。因此，后来的研究人员使用224×224像素大小的完整图像来训练具有多层的深度CNN，用于处理有关小图像块不能与人类感知匹配所带来的问题。其他研究人员应用现有的深度CNN来微调参数。此外，针对每个图像块做权重调整的小图像块CNN已经被提出了。最近，一种基于CNN的前置视觉显著图(pre-SM)的NR-IQA方法被提出。结果表明，使用快速显著图(SM，saliencymap)模型，显著区域图像块的预测误差平均低于同质等同区域。基于这个结果，pre-SM算法自适应地将CNN计算应用于图像块并且为整个评分评价中的显著块赋予更高的权重。这种技术可以通过主动质量评分获得高精准度。然而，即使使用快速SM模型，在图像质量评价过程中也需要SM计算。因此，图像质量评价需要改进，特别地，用于学习图像质量评价的神经网络的训练输入需要改进。
技术实现思路
本专利技术公开了一种图像块选择方法，用于图像质量评价的神经网络训练。该方法包括：接收输入图像并从输入图像中提取一个或多个图像块；测量提取图像块的矩(moment)；根据测量的矩决定接受还是拒绝所提取的图像块；提取更多的图像块直到被接受的提取图像块达到最小数量Nmin；或者，调整选择标准，直到被接受的提取图像块达到最小数量。将所述选择的图像块输入到具有对应输入图像的图像质量评分(imagequalityscore)的神经网络中，并且利用图像块和图像质量评分来训练神经网络。本专利技术还提供了一种使用经训练神经网络进行图像质量评价的方法，包括接收输入图像并从输入图像中选择图像块用于评价。通过从输入图像提取一个或多个图像块，测量被提取图像块的矩，并根据测量的方差(themeasuredvariance)和被提取图像块的位置决定接受或拒绝被提取的图像块，从而进行图像块的选择。然后根据测量的矩确定所接受图像块的一个或多个权重。重复图像块选择过程，直到接受足够多的提取图像块为止，并根据需要调整设置。成功条件是：所有接受的图像块的矩大于矩阈值；接受的图像块的数量大于最小数量阈值。将选择的图像块输入到经训练的神经网络中以获得所述选择图像块的图像质量评分。根据所述选择图像块的图像质量评分和相应的权重来确定输入图像的图像质量评分。本专利技术还提供了一种在图像块选择过程中调整参数的方法：选择初始步长作为提取的图像块的初始最小可能距离；按此步长扫描图像，基于方差阈值(thethresholdvariance)Tvar筛选出N个图像块；如果N不大于或等于最小图像块数(Nmin)，则以减小的步长重复扫描，直到N大于或等于Nmin。附图说明图1为一种实施例的神经网络总结构示意图；图2为一种实施例的图像块质量评分预测误差与图像块方差的散点图；图3为一种实施例的图像及其相应的图像块方差和质量评分预测误差；图4为一种实施例的不同阈值下的基于方差阈值的图像块采样示意图；图5为一种实施例的LCC，SROCC和NRT的质量评分估计与不同的图像块方差阈值的关系示意图；图6为一种实施例的LCC，SROCC和NRT的质量评分估计与不同Nmin图像块的关系示意图。具体实施方式在以下描述中，通过经训练的神经网络来训练用于图像质量评价和评价方法的神经网络的图像块选择过程的方法和系统作为优选实施例进行阐述。对于本领域技术人员来说显而易见的是，在不脱离本专利技术的范围和精神的情况下，可以对实施方式进行增加和/或替换的修改。为了不模糊本专利技术，可以省略具体细节；然而，撰写本公开旨在使本领域技术人员能够在不需要过多实验的情况下实践本文的教导。在一个实施例中，用于训练神经网络以进行图像质量评价的图像块选择方法包括：输入图像；从输入图像中随机提取一个或多个图像块；测量提取的图像块的矩；根据测量的矩决定接受或拒绝所提取的图像块；重复图像块选择过程，直到接受足够多的提取图像块为止，并根据需要调整设置。在图像块选择过程之后，将所提取的图像块以来自输入图像的相应图像质量评分输入到神经网络中，然后用图像块和相应的图像质量评分训练神经网络。在基于神经网络的NR-IQA中，小图像块用于训练神经网络。在以前的方法中，在训练期间从训练图像随机采样图像块，其中质量标签被设置为源图像的评分，而且，每个图像块都被视为一个独立的样本。训练结束后，神经网络用于估算从测试图像中扫描出的各个图像块的评分。整个图像质量评分基于来自测试图像的采样图像块的预测评分的加权和。因此，最终评分的精准度高度依赖于单个图像块的质量评分估计。在进行本专利技术时，专利技术人确认使用小图像块的主要缺点，是每个图像块并不具有相同的信息量。通常，与包含强边缘或复杂纹理的非同质图像块相比，来自平坦或光滑区域的同质图像块具有相对较低的精准度。这是因为在大多数真实世界的图像中，高质量和低质量图像的同质区域通常非常相似。因本文档来自技高网...

【技术保护点】
1.一种用于训练神经网络进行图像质量评价的图像块的选择方法，其特征在于，包括：/na)接收输入图像；/nb)从输入图像中提取一个或多个图像块；/nc)测量所提取图像块的矩；/nd)根据选择矩阵决定接受或拒绝所提取的所述图像块，其中所述选择矩阵包括所述测量的矩；/ne)提取更多的图像块直到所接受的所述提取图像块达到最小数量N

【技术特征摘要】
20180524 US 15/9879301.一种用于训练神经网络进行图像质量评价的图像块的选择方法，其特征在于，包括：
a)接收输入图像；
b)从输入图像中提取一个或多个图像块；
c)测量所提取图像块的矩；
d)根据选择矩阵决定接受或拒绝所提取的所述图像块，其中所述选择矩阵包括所述测量的矩；
e)提取更多的图像块直到所接受的所述提取图像块达到最小数量Nmin，或者重新配置所述选择矩阵，直到所接受的所述提取图像块达到所述最小数量。


2.如权利要求1所述的用于训练神经网络进行图像质量评价的图像块的选择方法，其特征在于，所述提取的图像块是从所述输入图像中的随机位置或预定位置抽取。


3.如权利要求1所述的用于训练神经网络进行图像质量评价的图像块的选择方法，其特征在于，所测量的图像块的矩是二阶的，即图像块的方差，所述图像块的方差根据以下公式表示为所述图像块中三个通道的加权平均像素值差异：
varave(P)＝[w1*var1(P)+w2*var2(P)+w3*var3(P)]/(w1+w2+w3)。


4.如权利要求1所述的用于训练神经网络进行图像质量评价的图像块的选择方法，其特征在于，每个被接受图像块的矩大于阈值Tvar。


5.一种使用经训练的神经网络进行图像质量评价方法，其特征在于，包括：
接收输入图像；
从所述输入图像中选择图像块用于评价，包括：
a)从所述输入图像中提取一个或多个图像块；
b)测量所述提取的图像块的矩和位置；
c)根据选择矩阵决定接受或拒绝所述提取的图像块，其中所述选择矩阵包括所测量的所述提取的图像块的矩和位置；
d)提取更多的图像块直到所接受的所述提取图像块的最小数量为Nmin，或者重新配置所述选择矩阵，直到所接受的提取图像块达到所述最小数量；

【专利技术属性】
技术研发人员：布礼文，刘孟洋，袁耀辉，李宇明，徐叙远，周昶，黄汉华，刘健威，陆瀚东，张学坤，
申请(专利权)人：天开数码媒体有限公司，
类型：发明
国别省市：中国香港;HK