一种基于几何特征的重定位立体图像质量评价方法技术

本发明专利技术公开了一种基于几何特征的重定位立体图像质量评价方法，其通过从原始立体图像和重定位立体图像中获得对应的虚拟视点图像，计算原始的虚拟视点图像和重定位的虚拟视点图像的网格相似度、长宽比相似性、边缘密度差异和边缘方向差异，得到重定位立体图像的几何特征矢量，然后在训练阶段利用支持向量回归对训练集中的几何特征矢量进行训练，构造得到支持向量回归训练模型；在测试阶段利用构造的支持向量回归训练模型，预测得到测试集中的几何特征矢量对应的重定位立体图像的客观质量评价预测值，由于获得的几何特征矢量具有较强的稳定性且能较好地反映重定位立体图像的几何失真情况，因此有效地提高了客观评价结果与人眼主观感知之间的相关性。眼主观感知之间的相关性。眼主观感知之间的相关性。

【技术实现步骤摘要】
一种基于几何特征的重定位立体图像质量评价方法


[0001]本专利技术涉及一种图像质量评价方法，尤其是涉及一种基于几何特征的重定位立体图像质量评价方法。

技术介绍

[0002]随着具有不同分辨率和屏幕高宽比的智能手机、平板电脑、电视等终端显示设备的应用普及，当需要显示的图像或视频的分辨率与屏幕的分辨率不相符时，如何在尽可能不改变用户观看体验的前提下，改变图像或视频的分辨率使之适应不同尺寸的终端显示设备，这就是适配显示问题。当前典型的适配显示方法有：缩放(scaling)、裁切(cropping)和变形(warping)等。然而，这些适配显示方法没有充分利用终端显示设备的尺寸优势，降低了用户体验效果，因此对不同适配显示方法的性能进行客观评价十分必要。
[0003]传统的平面重定位方法，如裁剪、均匀缩放等，在调整图像的分辨率的同时，将图像的重要区域的几何形变和信息损失最小化。然而，立体图像的质量不仅包含图像内容本身，而且过大的双目视差、双目不对称以及双眼调节和辐辏冲突等因素都会严重影响立体图像的观看舒适度。因此，相比于平面重定位方法，立体图像重定位技术需要考虑的几何失真因素更多，这也大大增加了立体图像重定位技术的复杂度。因此，在评价过程中如何有效地提取出几何失真信息，使得客观评价结果更加感觉符合人类视觉系统，是在对重定位立体图像进行客观质量评价过程中需要研究解决的问题。

技术实现思路

[0004]本专利技术所要解决的技术问题是提供一种基于几何特征的重定位立体图像质量评价方法，其能够有效地提高客观评价结果与人眼主观感知之间的相关性。
[0005]本专利技术解决上述技术问题所采用的技术方案为：一种基于几何特征的重定位立体图像质量评价方法，其特征在于包括以下步骤：
[0006]步骤一：令S
org
表示原始的立体图像，令S
ret
表示S
org
对应的重定位立体图像；将S
org
的左视点图像记为{L
org
(x,y)}，将S
org
的右视点图像记为{R
org
(x,y)}，将S
ret
的左视点图像记为{L
ret
(x',y)}，将S
ret
的右视点图像记为{R
ret
(x',y)}；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示S
org
的宽度，W'表示S
ret
的宽度，H表示S
org
和S
ret
的高度，L
org
(x,y)表示{L
org
(x,y)}中坐标位置为(x,y)的像素点的像素值，R
org
(x,y)表示{R
org
(x,y)}中坐标位置为(x,y)的像素点的像素值，L
ret
(x',y)表示{L
ret
(x',y)}中坐标位置为(x',y)的像素点的像素值，R
ret
(x',y)表示{R
ret
(x',y)}中坐标位置为(x',y)的像素点的像素值；
[0007]步骤二：根据{L
org
(x,y)}与{R
org
(x,y)}之间的双向匹配关系，获得S
org
的虚拟视点图像，记为{V
org
(x,y)}；同样，根据{L
ret
(x',y)}与{R
ret
(x',y)}之间的双向匹配关系，获得S
ret
的虚拟视点图像，记为{V
ret
(x',y)}；其中，V
org
(x,y)表示{V
org
(x,y)}中坐标位置为(x,y)的像素点的像素值，V
ret
(x',y)表示{V
ret
(x',y)}中坐标位置为(x',y)的像素点的像素值；
[0008]步骤三：采用SIFT-Flow方法建立{V
org
(x,y)}与{V
ret
(x',y)}之间的匹配关系，得到{V
org
(x,y)}中的每个像素点的SIFT-Flow向量，将{V
org
(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为v
Org
(x,y)，其中，用于表示水平方向，用于表示垂直方向，表示v
Org
(x,y)的水平偏移量，表示v
Org
(x,y)的垂直偏移量；
[0009]步骤四：采用超像素分割技术将{V
org
(x,y)}分割成Num个互不重叠的六边形网格，将{V
org
(x,y)}中的第h个六边形网格构成的区域记为SP
org,h
，SP
org,h
以其6个网格顶点构成的集合来描述，其中，Num≥1，1≤h≤Num，对应表示SP
org,h
的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点、第5个网格顶点、第6个网格顶点，以的水平坐标位置和垂直坐标位置来描述，来描述，以的水平坐标位置和垂直坐标位置来描述，来描述，以的水平坐标位置和垂直坐标位置来描述，来描述，以的水平坐标位置和垂直坐标位置来描述，来描述，以的水平坐标位置和垂直坐标位置来描述，来描述，以的水平坐标位置和垂直坐标位置来描述，
[0010]然后根据{V
org
(x,y)}中的每个六边形网格构成的区域的6个网格顶点的SIFT-Flow向量，确定{V
org
(x,y)}中的每个六边形网格在{V
ret
(x',y)}中匹配的六边形网格，将{V
org
(x,y)}中的第h个六边形网格在{V
ret
(x',y)}中匹配的六边形网格构成的区域记为SP
ret,h
，其中，对应表示SP
ret,h
的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点、第5个网格顶点、第6个网格顶点，以的水平坐标位置和垂直坐标位置来描述，来描述，以的水平坐标位置和垂直坐标位置来描述，来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，来描述，以的水平坐标位置
和垂直坐标位置来描述，来描述，以的水平坐标位置和垂直坐标位置来描述，来描述，表示{V
org
(x,y)}中坐标位置为的像素点的SIFT-Flow向量的水平偏移量，表示{V
org
(x,y)}中坐标位置为的像素点的SIFT-Flow向量的垂直偏移量，表示{V
org
(x,y)}中坐标位置为的像素点的SIFT-Flow向量的水平偏移量，表示{V
org...

【技术保护点】

【技术特征摘要】
1.一种基于几何特征的重定位立体图像质量评价方法，其特征在于包括以下步骤：步骤一：令S
org
表示原始的立体图像，令S
ret
表示S
org
对应的重定位立体图像；将S
org
的左视点图像记为{L
org
(x,y)}，将S
org
的右视点图像记为{R
org
(x,y)}，将S
ret
的左视点图像记为{L
ret
(x',y)}，将S
ret
的右视点图像记为{R
ret
(x',y)}；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示S
org
的宽度，W'表示S
ret
的宽度，H表示S
org
和S
ret
的高度，L
org
(x,y)表示{L
org
(x,y)}中坐标位置为(x,y)的像素点的像素值，R
org
(x,y)表示{R
org
(x,y)}中坐标位置为(x,y)的像素点的像素值，L
ret
(x',y)表示{L
ret
(x',y)}中坐标位置为(x',y)的像素点的像素值，R
ret
(x',y)表示{R
ret
(x',y)}中坐标位置为(x',y)的像素点的像素值；步骤二：根据{L
org
(x,y)}与{R
org
(x,y)}之间的双向匹配关系，获得S
org
的虚拟视点图像，记为{V
org
(x,y)}；同样，根据{L
ret
(x',y)}与{R
ret
(x',y)}之间的双向匹配关系，获得S
ret
的虚拟视点图像，记为{V
ret
(x',y)}；其中，V
org
(x,y)表示{V
org
(x,y)}中坐标位置为(x,y)的像素点的像素值，V
ret
(x',y)表示{V
ret
(x',y)}中坐标位置为(x',y)的像素点的像素值；步骤三：采用SIFT-Flow方法建立{V
org
(x,y)}与{V
ret
(x',y)}之间的匹配关系，得到{V
org
(x,y)}中的每个像素点的SIFT-Flow向量，将{V
org
(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为v
Org
(x,y)，其中，用于表示水平方向，用于表示垂直方向，表示v
Org
(x,y)的水平偏移量，表示v
Org
(x,y)的垂直偏移量；步骤四：采用超像素分割技术将{V
org
(x,y)}分割成Num个互不重叠的六边形网格，将{V
org
(x,y)}中的第h个六边形网格构成的区域记为SP
org,h
，SP
org,h
以其6个网格顶点构成的集合来描述，其中，Num≥1，1≤h≤Num，对应表示SP
org,h
的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点、第5个网格顶点、第6个网格顶点，以的水平坐标位置和垂直坐标位置来描述，来描述，以的水平坐标位置和垂直坐标位置来描述，来描述，以的水平坐标位置和垂直坐标位置来描述，来描述，以的水平坐标位置和垂直坐标位置来描述，来描述，以的水平坐标位置和垂直坐标位置来描述，来描述，以的水平坐标位置和垂直坐标位置来描述，然后根据{V
org
(x,y)}中的每个六边形网格构成的区域的6个网格顶点的SIFT-Flow向量，确定{V
org
(x,y)}中的每个六边形网格在{V
ret
(x',y)}中匹配的六边形网格，将{V
org
(x,y)}中的第h个六边形网格在{V
ret
(x',y)}中匹配的六边形网格构成的区域记为SP
ret,h
，其中，对应表示
SP
ret,h
的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点、第5个网格顶点、第6个网格顶点，以的水平坐标位置和垂直坐标位置来描述，来描述，来描述，以的水平坐标位置和垂直坐标位置来描述，来描述，来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，来描述，来描述，以的水平坐标位置和垂直坐标位置来描述，来描述，来描述，以的水平坐标位置和垂直坐标位置来描述，来描述，表示{V
org
(x,y)}中坐标位置为的像素点的SIFT-Flow向量的水平偏移量，表示{V
org
(x,y)}中坐标位置为的像素点的SIFT-Flow向量的垂直偏移量，表示{V
org
(x,y)}中坐标位置为的像素点的SIFT-Flow向量的水平偏移量，表示{V
org
(x,y)}中坐标位置为的像素点的SIFT-Flow向量的垂直偏移量，表示{V
org
(x,y)}中坐标位置为的像素点的SIFT-Flow向量的水平偏移量，表示{V
org
(x,y)}中坐标位置为的像素点的SIFT-Flow向量的垂直偏移量，表示{V
org
(x,y)}中坐标位置为的像素点的SIFT-Flow向量的水平偏移量，表示{V
org
(x,y)}中坐标位置为的像素点的SIFT-Flow向量的垂直偏移量，表示{V
org
(x,y)}中坐标位置为的像素点的SIFT-Flow向量的水平偏移量，表示{V
org
(x,y)}中坐标位置为的像素点的SIFT-Flow向量的垂直偏移量，表示{V
org
(x,y)}中坐标位置为的像素点的SIFT-Flow向量的水平偏移量，表示{V
org
(x,y)}
中坐标位置为的像素点的SIFT-Flow向量的垂直偏移量；步骤五：采用基于图论的视觉显著模型提取出{V
org
(x,y)}的视觉显著图，记为{Z
org
(x,y)}；其中，Z
org
(x,y)表示{Z
org
(x,y)}中坐标位置为(x,y)的像素点的像素值；步骤六：通过计算{V
org
(x,y)}中的每个六边形网格与{V
ret
(x',y)}中匹配的六边形网格的网格相似度，并结合{Z
org
(x,y)}，计算{V
org
(x,y)}和{V
ret
(x',y)}的网格相似度，记为f
TGS
；通过计算{V
org
(x,y)}中的每个六边形网格与{V
ret
(x',y)}中匹配的六边形网格的长宽比相似性，并结合{Z
org
(x,y)}，计算{V
org
(x,y)}和{V
ret
(x',y)}的长宽比相似性，记为f
ARS
；步骤七：采用Canny边缘检测算子提取出{V
org
(x,y)}的边缘图，记为{E
org
(x,y)}；同样，采用Canny边缘检测算子提取出{V
ret
(x',y)}的边缘图，记为{E
ret
(x',y)}；然后计算{V
org
(x,y)}的边缘密度图和边缘方向图，对应记为{M
org
(x,y)}和{O
org
(x,y)}，将{M
org
(x,y)}中坐标位置为(x,y)的像素点的像素值记为M
org
(x,y)，将{O
org
(x,y)}中坐标位置为(x,y)的像素点的像素值记为O
org
(x,y)，同样，计算{V
ret
(x',y)}的边缘密度图和边缘方向图，对应记为{M
ret
(x',y)}和{O
ret
(x',y)}，将{M
ret
(x',y)}中坐标位置为(x',y)的像素点的像素值记为M
ret
(x',y)，将{O
ret
(x',y)}中坐标位置为(x',y)的像素点的像素值记为O
ret
(x',y)，其中，E
org
(x,y)表示{E
org
(x,y)}中坐标位置为(x,y)的像素点的像素值，E
ret
(x',y)表示{E
ret
(x',y)}中坐标位置为(x',y)的像素点的像素值，用于表示水平方向，用于表示垂直方向，符号“||”为取绝对值符号，值符号，值符号，符号为卷积符号，arctan()表示反正切函数；步骤八：计算{M
org
(x,y)}中的所有像素点的直方图、{O
org
(x,y)}中的所有像素点的直方图、{M
ret
(x',y)}中的所有像素点的直方图、{O
ret
(x',y)}中的所有像素点的直方图，对应记为其中，的维数均为1
×
10；步骤九：计算{V
org
(x,y)}和{V
ret
(x',y)}的边缘密度差异，记为f
EID
，并
计算{V
org
(x,y)}和{V
ret
(x',y)}的边缘方向差异，记为f
EOD
，其中，χ()为求欧氏距离函数；步骤十：根据f
TGS
、f
ARS
、f
EID
和f
EOD
，获取S
ret
的几何特征矢量，记为F，F＝[f
TGS
,f
ARS
,f
EID
,f
EOD
]；其中，F的维数为1
×
4，[f
TGS
,f
ARS
,f
EID
,f
EOD
]表示将f
TGS
、f
ARS
、f
EID
和f
EOD
连接起来形成一个特征矢量；步骤十一：将n'幅原始的立体图像对应的共n幅重定位立体图像构成重定位立体图像集合；然后采用主观质量评价方法，获取重定位立体图像集合中的每幅重定位立体图像的平均主观评分差值，将重定位立体图像集合中的第j幅重定位立体图像的平...

【专利技术属性】
技术研发人员：邵枫，王雪津，
申请(专利权)人：宁波大学，
类型：发明
国别省市：