【技术实现步骤摘要】
本专利技术涉及立体图像质量评价，具体为一种基于双频交互增强与双目匹配的立体图像质量评价方法。
技术介绍
1、随着人们生活娱乐方式的日益丰富，人们不再满足于平面的图像体验，而是追求更具沉浸感和真实感的立体图像。相比平面(2d)图像，立体图像(3d)能够在展示图像内容的同时使观看者感受到立体感，创造出身临其境的氛围，因此被广泛应用于3d电影、3d游戏、虚拟现实等多个领域中。然而，在立体图像的采集、压缩和传输过程中，图像会因为某些不可避免的因素导致失真，从而影响观者的视觉体验。因此，构建一个与人类评价准则保持高度一致性的立体图像质量感知模型显得尤为重要。此外，立体图像质量评价(stereoscopic image quality assessment,siqa)也可以作为图像处理系统中的一环，为立体图像超分、分割等领域提供优化指导。
2、通常来说，iqa方法可以分为两类，分别为主观iqa方法与客观iqa方法。主观iqa方法是，在一定的实验环境下，由人类观察者基于其主观感受并根据图像的各项指标对图像的质量进行评价打分。由于图像的最终接收者为人，所以基于人类观察者给出意见分数的主观评价方法能够更为真实可靠的图像的质量，且该方法技术门槛较低，被认为是最有效的方式。虽然主观评价方法对图像质量的评价最为精准，但是其存在较多缺点。在实际中，主观评价方法的结果很容易受到测试者心理状态、认知水平、所处环境等因素的影响，因此在实际生活中主观评价应用场景很小。而客观图像质量评价方法则是通过模拟人类视觉系统(human visual syste
3、目前，在siqa领域，研究者们的工作大多集中在是nr类型的立体图像质量评价方法的研究上，并提出了众多的nr-siqa方法。早期的fr-siqa方法基于经典的fr-2diqa方法改进而来。例如峰值信噪比(peak signal to noise ratio,psnr)与结构相似性指数(structural similarity index,ssim)。然而这类方法不能反映人类视觉感知特性，也没有考虑双目视差的影响，不能直接应用到立体图像质量评价中。此外，还有一些基于人类视觉系统(hvs)或自然场景统计(nss)对图像提取特征的传统人工提取特征的nr-siqa方法。这类方法设计门槛较高，需要设计者有较高水平，丰富的经验而且泛化能力较差，难以适应失真变化多样的实际情况。
4、近年来，在深度学习技术的推动下，涌现出许多基于卷积神经网络(convolutionneural network,cnn)的立体图像双目视觉模型，进一步推动了nr-siqa的发展。然而现有的基于cnn的siqa方法，并未重视图像的空间频率对于人类感知图像质量的影响。大多数方法，没有考虑到高低频信息的相互影响以及高低频对于图像质量感知的贡献不同。根据生物学知识以及人类视觉心理学知识，人类视觉系统在处理同一幅图像的高、低空间频率信息方面表现不同。事实上，从整个频率范围提取特征可能会遇到空间域中信息分布不均匀的问题。事实上，视觉信息处理首先基于低空间频率信息提取视觉场景的总体轮廓特征，然后使用这些信息促进高频信息对应的细节纹理特征提取。另一方面，强边缘往往会吸引更多的注意力，并能增强对周围光滑区域的感知。这些机制表明了高频和低频信息之间复杂的相互作用。
5、此外，由于siqa的评价对象是立体图像，通常需要考虑双目视觉特征。然而大多数方法仅仅是简单拼接左右特征后进行质量回归，但左右视图并无交互与融合过程。一些方法虽然使用左右视图特征的差分与求和或孪生网络等手段实现了左右视图的交互，但是显然并不能较好地模拟人类视觉系统的双目交互融合这样一个相对复杂的过程。据生物学知识以及人类视觉心理学知识，在人类视觉系统通常先融合左右视图中相互匹配的特征，然后采用竞争机制对不匹配的特征进行选择与抑制。左右视图之间的匹配特征是稳定双眼感知的关键因素。双目特征的对齐可以促进双眼信息的整合，形成统一连贯的视觉感知。通过模拟这一过程，能够有效的提取稳定准确的双目视觉特征。
6、基于上述内容，本专利技术提出了一种基于双频交互增强与双目匹配的立体图像质量评价方法。
技术实现思路
1、本专利技术的目的在于提出一种基于双频交互增强与双目匹配的立体图像质量评价方法以解决现有技术在评价立体图像质量时，未考虑到人眼对于不同失真类型以及不同语义信息的图片高低频敏感度不同的问题。
2、为了实现上述目的，本专利技术采用了如下技术方案：
3、基于双频交互增强与双目匹配的立体图像质量评价方法，包括下列步骤：
4、步骤一：将左右视图原始图像切割成32×32大小不重叠的图像块，使用fft将左右视图图像块转换到频域并按高低频分解，使用ifft还原得到左右视图高频与低频图像块；
5、步骤二：训练基于双频交互增强与双目匹配的卷积神经网络：所述卷积神经网络包括左视图双频率交互特征增强子网络，右视图双频率交互特征增强子网和双目匹配融合子网络三个主要的子网络，具体包括如下内容：
6、由于左右视图子网络是对称的，因此这里只介绍左视图双频率交互特征增强子网络的实现。在左视图双频率交互特征增强子网络中，使用一组卷积和池化操作对左视图的高频与低频图像块提取初级特征图，使用双频率交互注意力模块计算高频与低频信号的注意力权重，并对高低频特征进行交互加权，然后通过三组卷积进一步提取特征，最后通过一个双频率重组模块得到高低频加权特征图；
7、在双目匹配融合子网络中，使用一组卷积和池化操作提取左右视图的图像块的全频率初级特征图，使用双频率交互注意力模块的高低频信息对全频率初级特征图进行特征增强，得到全频率增强特征图；然后，对增强后的左右视图全频特征依次进行低频双目配准和高频双目配准；最后采用双目竞争选择模块在空间维度和通道维度进行特征筛选，得到双目融合特征图，并通过两组卷积进一步提取特征；
8、将双目融合特征图与左右视图高低频加权特征图拼接后经过全连接层得到客观预测分数，训练过程中，网络模型的损失函数采用l1损失衡量网络预测的图像质量分数与真实的图像质量分数间的差异，并指导模型的优化。
9、步骤三：使用训练好的网络进行图像质量评价。将待评价立体图像切片后输入网络，对网络输出的每张立体图像的所有图像块的质量分数取平均，得到整张图像的质量分数。
10、优选地，步骤二中所述双频率交互注意力模块的处理流程具体包括如下内容：
11、将低频初级特征并行地经过3个卷积核为1×1的卷积层得到三个特征图q、k和本文档来自技高网...
【技术保护点】
1.基于双频交互增强与双目匹配的立体图像质量评价方法，其特征在于，包括下列步骤：
2.根据权利要求1所述的基于双频交互增强与双目匹配的立体图像质量评价方法，其特征在于，步骤二中所述双频率交互注意力模块的处理流程具体包括如下内容：
3.根据权利要求1所述的基于双频交互增强与双目匹配的立体图像质量评价方法，其特征在于，步骤二中所述双频率重组模块的处理流程具体包括如下内容：
4.根据权利要求1所述的基于双频交互增强与双目匹配的立体图像质量评价方法，其特征在于，步骤二中所述双目特征匹配融合模块由双目渐进式配准模块与双目竞争选择模块组成，具体包括如下内容：
【技术特征摘要】
1.基于双频交互增强与双目匹配的立体图像质量评价方法，其特征在于，包括下列步骤：
2.根据权利要求1所述的基于双频交互增强与双目匹配的立体图像质量评价方法，其特征在于，步骤二中所述双频率交互注意力模块的处理流程具体包括如下内容：
3.根据权利要求1所述的基于双频交互增强...
【专利技术属性】
技术研发人员：沈丽丽，兰铖，卢淼，张晶，孙乾龙，
申请(专利权)人：天津大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。