用于评估视频的主观质量的方法及装置制造方法及图纸

提出了一种用于评估视频的质量的方法和设备，其中：从用于评估质量的目标视频和将与目标视频进行比较的参考视频获得划分出的预定尺寸的块；将块输入到视频质量评估网络，确定针对每一个块的灵敏度信息和质量评价信息；以及基于针对每一个块的所述灵敏度将质量评估信息进行组合，并且确定目标视频的最终视频质量评估得分。

【技术实现步骤摘要】
【国外来华专利技术】用于评估视频的主观质量的方法及装置
本公开涉及一种用于评估视频的主观质量的方法和装置，并且更具体地，涉及一种用于通过使用视频质量评价网络来评估视频的主观质量的方法和装置，以及一种用于通过将视频质量评价网络应用于用于对尺寸进行变换的深度神经网络来对图像进行编码的方法和设备以及对图像进行解码的方法和设备。
技术介绍
图像由遵循指定的数据压缩标准(例如，运动图像专家组(MPEG)压缩标准)的编解码器被编码，然后以比特流的形式被存储在记录介质中或者经由通信信道被发送。随着用于再现和存储高分辨率/高质量图像的硬件的开发和供应，对能够有效地对高分辨率/高质量图像进行编码和解码的编解码器的需求正在增加。
技术实现思路
技术问题因为针对每一个内容由人所感知的最小可觉差(JND)(即，人感觉视频质量不同的程度)不同，所以在保持相同感知的视频质量的同时传输最少量的信息是重要的。为此，在需要评估视频质量的图像编码/解码领域中，对人类视觉系统进行建模并接近人类视觉系统的方法需要过长的时间，因此使用一种用于评估视频质量的方法和装置，其中，使用从视频质量评价网络(VQANet)获得的视频质量数据集来训练人类视觉系统，并且通过使用基于时间维度的信息的块节省了通过训练VQANet所需的时间。问题的解决方案根据本公开的一个方面，一种评估图像质量的方法包括：通过对用于评估质量的目标图像和将与目标图像进行比较的参考图像进行划分来获得多个块，其中，每一个块具有预定尺寸；通过将所述多个块输入到视频质量评价网络来确定所述每一个块的灵敏度信息和质量评价信息；以及通过基于所述多个块的灵敏度信息将所述多个块的质量评价信息彼此组合来确定所述目标图像的最终图像质量评价得分。根据本公开的一方面，一种图像解码方法包括：接收与经由通过缩小深度神经网络(DNN)进行AI缩小获得的第一图像相关的图像数据；基于所述图像数据获得与第一图像相应的第二图像；以及通过经由放大DNN对第二图像进行AI放大来获得第三图像，其中，所述放大DNN是基于图像质量评价损失信息被训练的，其中，所述图像质量评估损失信息是作为由所述放大DNN输出的第一训练图像相对于原始训练图像的视频质量评价的结果被获得的。根据本公开的一方面，一种图像编码方法包括：将原始图像输入到缩小DNN；以及对通过经由所述缩小DNN对所述原始图像进行AI缩小而获得的第一图像进行编码，其中，所述缩小DNN是基于第一损失信息被训练的，其中，第一损失信息与将通过视频质量评价从多个质量增强图像中选择的质量增强图像与由所述缩小DNN输出的第一训练图像进行比较的结果相应，其中，所述多个质量增强图像是通过对与原始训练图像相应的缩减的训练图像执行多种增强方法被获得的。根据本专利技术的一方面，一种用于评估目标图像的质量的设备包括：存储器，存储一个或更多个指令；以及处理器，被配置为执行存储在存储器中的至少一个指令，其中，处理器被配置为通过对用于评估质量的目标图像和将与目标图像进行比较的参考图像进行划分来获得多个块，其中，每一个块具有预定尺寸，通过将所述多个块输入到视频质量评价网络来确定所述每一个块的灵敏度信息和质量评价信息，并且通过基于所述多个块的灵敏度信息将所述多个块的质量评价信息彼此组合来确定目标图像的最终图像质量评价得分。根据本公开的一方面，一种图像解码设备包括：存储器，存储一个或更多个指令；以及处理器，被配置为执行存储在存储器中的至少一个指令，其中，处理器被配置为：接收与通过经由缩小DNN进行AI缩小而获得的第一图像相关的图像数据，基于所述图像数据获得与第一图像相应的第二图像，并且通过经由放大DNN对第二图像进行AI放大来获得第三图像，其中，所述放大DNN是基于图像质量评价损失信息被训练的，其中，所述图像质量评估损失信息是作为由所述放大DNN输出的第一训练图像相对于原始训练图像的视频质量评价的结果被获得的。根据本公开的一个方面，一种图像编码设备包括：存储器，存储一个或更多个指令；以及处理器，被配置为执行存储在存储器中的至少一个指令，其中，处理器被配置为将原始图像输入到缩小DNN，并且对通过使用所述缩小DNN对所述原始图像进行AI缩小而获得的第一图像进行编码，并且所述缩小DNN是基于第一损失信息被训练的，其中，第一损失信息与将通过视频质量评价从多个质量增强图像中选择的质量增强图像与由所述缩小DNN输出的第一训练图像进行比较的结果相应，其中，所述多个质量增强图像是通过对与原始训练图像相应的缩减的训练图像执行多种增强方法被获得的。本公开的有利效果基于深度学习通过使用灵敏度信息和质量评价信息确定用于质量评估的目标图像的最终图像质量评价得分，来评估目标图像的主观视频质量，其中，灵敏度信息和质量评价信息是通过将目标图像和将与目标图像进行比较的参考图像被划分出的块输入到视频质量网络被确定的。另外，提供了一种通过将视频质量网络应用于深度神经网络来对反映了主观视频质量评估的尺寸进行变换的深度神经网络。附图说明提供每一个附图的简要描述以更好地理解这里所引用的附图。图1是用于描述根据本公开的实施例的人工智能(AI)编码处理和AI解码处理的示图。图2是根据本公开的实施例的AI解码设备的结构的框图。图3是示出用于对第二图像执行AI放大的第二深度神经网络(DNN)的示图。图4是用于描述卷积层中的卷积运算的示图。图5是示出若干条图像相关信息和若干条DNN设置信息之间的映射关系的表。图6是示出包括多个帧的第二图像的示图。图7是根据本公开的实施例的AI编码设备的结构的框图。图8是示出用于对原始图像执行AI缩小的第一DNN的示图。图9是用于描述训练第一DNN和第二DNN的方法的示图。图10是用于描述由训练设备对第一DNN和第二DNN的训练处理的示图。图11是用于对原始图像执行AI缩小的设备和用于对第二图像执行AI放大的设备的框图。图12是根据本公开的实施例的评估图像质量的方法的流程图。图13是根据本公开的实施例的用于评估图像质量的设备的框图。图14示出通过视频质量评价网络(VQANet)确定图像质量的实施例。图15是根据本公开的实施例的VQANet的结构的框图。图16是示出从作为动态路由的结果输出的平均意见得分(MOS)的矢量获得MOS平均值和MOS标准差的示例的示图。图17是根据本公开的另一实施例的VQANet的结构的框图。图18是用于描述通过将VQANet应用于第一DNN和第二DNN来训练用于缩小的第一DNN和用于放大的第二DNN的方法的示图。具体实施方式最佳实施方式根据本公开的一个方面，一种评估图像质量的方法包括：通过对用于评估质量的目标图像和将与目标图像进行比较的参考图像进行划分来获得多个块，其中，每一个块具有预定尺寸；通过将所述多个块输入到视频质量评价网络来确定每一个块的灵敏度信息和质量评价信息；以及通过基本文档来自技高网...

【技术保护点】
1.一种评估目标图像的质量的方法，所述方法包括：/n通过对用于评估质量的目标图像和将与所述目标图像进行比较的参考图像进行划分来获得多个块，其中，每一个块具有预定尺寸；/n通过将所述多个块输入到视频质量评价网络来确定所述每一个块的灵敏度信息和质量评价信息；以及/n通过基于所述多个块的灵敏度信息将所述多个块的质量评价信息彼此组合来确定所述目标图像的最终图像质量评价得分。/n

【技术特征摘要】
【国外来华专利技术】20181019 KR 10-2018-0125406;20190408 KR 10-2019-001.一种评估目标图像的质量的方法，所述方法包括：
通过对用于评估质量的目标图像和将与所述目标图像进行比较的参考图像进行划分来获得多个块，其中，每一个块具有预定尺寸；
通过将所述多个块输入到视频质量评价网络来确定所述每一个块的灵敏度信息和质量评价信息；以及
通过基于所述多个块的灵敏度信息将所述多个块的质量评价信息彼此组合来确定所述目标图像的最终图像质量评价得分。


2.根据权利要求1所述的方法，其中，所述视频质量评价网络
通过将所述目标图像和所述参考图像的所述多个块输入到卷积神经网络来确定所述多个块的灵敏度信息，以及
通过将所述目标图像和所述参考图像的所述多个块输入到胶囊神经网络来确定所述多个块的质量评价信息。


3.根据权利要求1所述的方法，其中，所述灵敏度信息被用作所述每一个块的权重，
所述质量评价信息包括所述每一个块的平均意见得分MOS平均值，并且
所述最终图像质量评价得分是通过基于所述权重的MOS平均值的加权平均被确定的，以及
MOS是表示用户的主观感知的质量的值。


4.根据权利要求1所述的方法，其中，所述视频质量评价网络
通过将目标训练图像和参考训练图像的块输入到卷积神经网络来确定所述目标训练图像和所述参考训练图像的块的各条灵敏度信息，
通过将所述目标训练图像和所述参考训练图像的块输入到胶囊神经网络来确定所述目标训练图像和所述参考训练图像的块的各个MOS平均值和各个MOS标准差，并且
所述视频质量评价网络是使用所述各条灵敏度信息、所述各个MOS平均值和所述各个MOS标准差被训练的。


5.根据权利要求1所述的方法，其中，所述视频质量评价网络
通过将目标训练图像和参考训练图像的块输入到卷积神经网络来确定所述目标训练图像和所述参考训练图像的块的各条灵敏度信息，
通过将所述目标训练图像和所述参考训练图像的块输入到胶囊神经网络来确定所述目标训练图像和所述参考训练图像的块的各条全参考质量评价信息，
通过将所述目标训练图像的块输入到所述胶囊神经网络来确定所述目标训练图像的块的各条非参考质量评价信息，并且
所述视频质量评价网络是使用所述各条灵敏度信息、所述各条全参考质量评价信息和所述各条非参考质量评价信息被训练的。


6.根据权利要求5所述的方法，其中，所述全参考质量评价信息包括所述目标训练图像和所述参考训练图像的每一个块的全参考MOS平均值和全参考MOS标准差，
所述非参考质量评价信息包括所述目标训练图像的每一个块的非参考MOS平均值和非参考MOS标准差，并且
MOS是表示用户的主观感知的质量的值。


7.根据权利...

【专利技术属性】
技术研发人员：趋可卡纳哈·迪娜，朴永五，崔光杓，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR