基于多低分辨率图像的重构高分辨率图像方法及其装置制造方法及图纸

技术编号:8683322 阅读:168 留言:0更新日期:2013-05-09 03:24
一种基于多低分辨率图像的重构高分辨率图像方法及其装置,其中方法包含:接收多帧低分辨率图像;对多帧低分辨率图像应用图像配准过程,其中取得运动信息与图像配准残差;确定核函数,其中核函数关联于图像配准可靠度、旋转信息或图像配准可靠度与旋转信息的结合,其中从图像配准残差中取得图像配准可靠度,并且运动信息中取得旋转信息;以及利用核函数的核回归方法重构高分辨率图像上像素的数值。本发明专利技术的基于多低分辨率图像的重构高分辨率图像方法及其装置可处理多帧中复杂旋转运动图像的重构并且提高高分辨率图像重构的效果。

【技术实现步骤摘要】

本专利技术有关于图像处理,并且特别有关于利用多帧低分辨率图像完成对高分辨率图像的重构(reconstruction)。
技术介绍
在数字图像处理与显示的领域,经常需要基于低分辨率图像资源显示具有高分辨率的图像。例如,在网络协议电视(Internet Protocol Television, IPTV)应用中,可以发送低于电视机固有分辨率的视频流资源。为了在电视机上显示上述低分辨率视频流内容,视频源必须转换为电视机支持的固有分辨率。数码相机、卫星遥感影像以及医学影像皆存在相似的重构高分辨率图像的需求。文献中已经记载了各种各样的高分辨率图像重构技术。其中一种类型是基于单个低分辨率巾贞。双线性插值(bilinear interpolation)是一种对于高分辨率图像重构的传统流行方法。双线性插值是在水平与垂直两个方向皆执行线性插值。双线性插值的相关计算相对简单并且插值后图像的视觉效果也经常是可以接受的。然而,由于在垂直于物体边缘的方向进行插值,双线性插值过程经常会引起物体边缘周围的平滑度问题以及其他人为缺陷。相应地,基于单个帧的各种改善插值技术也已经出现在文献中以改善物体边缘周围的锐度。例如,Li等人揭露的边缘导向插值(“New Edge-Directed Interpolation”, IEEETRANSACTIONS ON IMAGE PROCESSING, pp.1521-1527, VOL.10, OCTOBER 2001)并且该方法在上述揭露中简称为NEDI。上述NEDI方法利用基于协方差适应的边缘导向特性来代替明确估计边缘取向。NEDI方法已经显示比双线性插值方法具有改善的图像质量。对于更先进的高分辨率图像重构,可运用信号处理技术,具体地利用多帧低分辨率图像产生高分辨率图像。在本领域基于多帧的高分辨率图像重构也称为超分辨率图像重构(super-resolution image reconstruction)。在上述揭露中,超分辨率图像重构与高分辨率图像重构的名称可相互替换使用。多帧图像可包含场景中的运动物体并且运动估计必须用于匹配不同帧中的相应像素。本领域中运动信息估计称为配准(registration)。附图说明图1是典型的基于多帧的高分辨率图像重构方法示意图。如图1所示,涉及三个处理步骤,包含图像配准110、图像插值120以及图像修复(restoration) 130。图像配准110的阶段,接收多帧低分辨率图像yi,i=l,...,P0图像配准110的输出是运动补偿低分辨率图像。图像插值120的阶段利用上述运动补偿低分辨率图像在高分辨率网格(grid)上重构高分辨率图像。本领域存在多种插值技术。可利用图像修复130的阶段减少在插值阶段引入的噪声及/或人为缺陷。Park等人描述了超分辨率重构的概况(Super-Resolution Image Reconstruction:A Technical Overview, IEEE SIGNALPROCESSING MAGAZINE, pp.21-36,May 2003)。最近,Takeda等人已经介绍了用于高分辨率图像重构的核回归(kernel regression)方法(“Kernel Regression for Image Processing andReconstruction”,IEEE TRANSACTIONS ON IMAGE PROCESSING, pp.349-366, VOL.16,N0.2,FEBRUARY 2007)。对于二维核回归,可利用二维回归模型描述位于位置Xi的观测数据yi如下:本文档来自技高网...

【技术保护点】
基于多低分辨率图像的重构高分辨率图像方法,包含:接收多帧低分辨率图像;对该多帧低分辨率图像应用图像配准过程,其中取得运动信息与图像配准残差;确定核函数,其中该核函数关联于图像配准可靠度、旋转信息或该图像配准可靠度与该旋转信息的结合,其中从该图像配准残差中取得该图像配准可靠度,并且从该运动信息中取得该旋转信息;以及利用该核函数的核回归方法重构该高分辨率图像上的像素数值。

【技术特征摘要】
2011.09.14 CN 201110270593.X1.于多低分辨率图像的重构高分辨率图像方法,包含: 接收多帧低分辨率图像; 对该多帧低分辨率图像应用图像配准过程,其中取得运动信息与图像配准残差; 确定核函数,其中该核函数关联于图像配准可靠度、旋转信息或该图像配准可靠度与该旋转信息的结合,其中从该图像配准残差中取得该图像配准可靠度,并且从该运动信息中取得该旋转信息;以及 利用该核函数的核回归方法重构该高分辨率图像上的像素数值。2.权利要求1所述的基于多低分辨率图像的重构高分辨率图像方法,其特征在于,其中权重因子加权该图像配准残差,并且较小的权重因子用于具有较大差值的该图像配准残差。3.权利要求1所述的基于多低分辨率图像的重构高分辨率图像方法,其特征在于,基于图像像素位置处的多于一个该图像配准残差来确定图像像素的该图像配准可靠度,其中该图像像素位置处的该多于一个该图像配准残差关联于该图像像素周围的一个或多个相邻像素。4.权利要求1所述的基于多低分辨率图像的重构高分辨率图像方法,其特征在于,从图像像素位置处的该图像配准残差取得多尺寸图像配准残差,并且基于多于一个该多尺寸图像配准残差确定图像像素的该图像配准可靠度,其中该多于一个该多尺寸图像配准残差关联于该图像像素周围的一个或多个相邻像素。5.权利要求1所述的基于多低分辨率图像的重构高分辨率图像方法,其特征在于,依据当前低分辨率图像的平均图像配准残差绝对值来衡量该图像整体配准可靠度。6.权利要求1所述的基于多低分辨率图像的重构高分辨率图像方法,其特征在于,其中该旋转信息由旋转矩阵表现,以及该旋转矩阵从仿射转换模型中取得,该仿射转换模型根据该运动信息将位于当前低分辨率图像中的第一像素映射至参考低分辨率图像中的第二像素。7.权利要求6所述的基于多低分辨率图像的重构高分辨率图像方法,其特征在于,利用格拉姆-施密特正交化从该仿射转换模型的仿射转换矩阵确定该旋转矩阵。8.权利要求7所述的基于多低分辨率图像的重构高分辨率图像方法,其特征在于,该核函数KH(X1-X)可由下列等式表示:Jdet(C ) ...

【专利技术属性】
技术研发人员:张新峰马思伟郭峋雷少民
申请(专利权)人:联发科技新加坡私人有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1