图像处理设备、图像处理方法和图像处理程序技术

本发明专利技术公开了一种图像处理设备、图像处理方法和图像处理程序。该图像处理设备，包括：上采样部，被配置为执行上采样处理以生成上采样的图像；运动补偿图像生成部，被配置为生成作为校正处理的结果的运动补偿图像，所述校正处理通过利用与所述上采样的图像和具有第二分辨率的参考图像之间的差有关的信息将所述参考图像调整至所述上采样的图像上的拍摄对象位置；混合处理部，被配置为生成作为用于将所述上采样的图像与所述参考图像混合的混合处理的结果的混合图像；以及输出图像生成部，被配置为接收并处理所述混合图像和所述上采样的图像，从而生成通过将超分辨率处理结果图像与噪声降低处理结果图像混合而获得的输出混合图像。

【技术实现步骤摘要】

本专利技术涉及图像处理设备、图像处理方法和图像处理程序。本专利技术尤其涉及为了提高图像的分辨率、除了对图像执行SR(超分辨率)处理以外还执行NR(噪声降低)处理的图像处理设备，涉及将由该设备采用的图像处理方法，并且涉及实现该方法的图像处理程序。
技术介绍
作为用于从低分辨率的图像生成高分辨率的图像的技术，已知用于执行作为从低分辨率的图像生成高分辨率的图像的处理的SR处理的技术。作为用于执行SR处理的技术，例如，已知以下的重构型超分辨率技术该重构型超分辨率技术用于通过利用作为示出诸如“由镜头和大气散射引起的模糊”、“拍摄对象和整个照相机的运动”以及“利用成像装置的采样”等的拍摄条件的参数而推导出的参数，基于低分辨率的图像的拍摄图像来推断出高分辨率的理想图像。在诸如专利文献1(日本特开2008-140012号公报)的文献中描述了作为用于执行超分辨率处理的技术的基础技术所公开的现有技术。如下说明重构型超分辨率技术的过程的概述(1)通过数学公式表示考虑了诸如模糊、运动和采样等的拍摄条件的图像拍摄模型。(2)根据由数学公式表示的图像拍摄模型求取成本计算公式。在求取成本计算公式的过程中，通过在一些情况下采用贝叶斯理论还可以添加诸如提前确认项等的正规化项。(3)求取使成本最小的图像。通过执行这些类型的处理，来实施用于求取具有高分辨率的图像的技术。尽管作为重构型超分辨率技术的结果而获得的高分辨率图像依赖于输入图像，但超分辨率效果 (或分辨率恢复效果)高。附图说明图1是示出用于执行超分辨率处理的SR处理电路的一般配置的框图。也就是说， 图1是示出超分辨率处理设备10的一般配置的框图。超分辨率处理设备10执行如下所述的处理。上采样部11接收要进行用以提高图像的分辨率的处理的低分辨率输入图像(gn)31。上采样部11执行作为分辨率转换处理的上采样处理，以提高低分辨率输入图像(gn)31的分辨率。也就是说，上采样部11执行用以将低分辨率输入图像(gn)31的分辨率调整为作为最终要生成的高分辨率图像的SR(超分辨率)处理的图像(fn)32的分辨率的处理。例如，上采样部11执行放大处理，以将低分辨率输入图像(gn)31的每个像素分割成SR处理的图像(fn)32的多个像素。在以下说明中， SR处理的图像也被称为SR(超分辨率)处理结果图像。运动推断/运动补偿图像生成部12检测从高分辨率图像(fn_i)到高分辨率上采样的图像的运动的大小，其中，高分辨率图像(fy)是在对前一帧执行的处理中生成的，高分辨率上采样的图像是作为上采样部11对低分辨率输入图像(gn)31执行的上采样处理的结果而获得的。更具体地，运动推断/运动补偿图像生成部12计算高分辨率图像(fn_i)和高分辨率上采样的图像之间的运动矢量。然后，通过利用计算出的运动矢量，运动推断/运动补偿图像生成部12对高分辨率图像(fn_i)执行MC(运动补偿)处理。更详细地，为了生成将拍摄对象设置在与高分辨率上采样的图像中的拍摄对象相同的位置处的运动补偿结果图像，运动推断/运动补偿图像生成部12对高分辨率图像(4_》执行MC处理，其中，高分辨率上采样的图像是作为上采样部11对低分辨率输入图像(gn)31执行的上采样处理的结果而获得的。在以下说明中，运动补偿结果图像也被称为运动补偿图像。运动判断部13将作为MC处理的结果而获得的运动补偿后的高分辨率图像与作为上采样部11对低分辨率输入图像(gn)31执行的上采样处理的结果而获得的高分辨率上采样的图像进行比较，以检测不能良好地应用MC处理的区域。例如，当拍摄对象自身正在运动时，生成不成功的运动补偿区域。运动判断单元13生成用于将成功的运动补偿区域与不成功的运动补偿区域区分开的、被称为α映射的运动区域信息。成功的运动补偿区域是以下的区域在该区域中，由运动推断/运动补偿图像生成部12基于前一帧的高分辨率图像fn_i所生成的运动补偿结果图像将拍摄对象设置在与高分辨率上采样的图像中的拍摄对象相同的位置处，其中，高分辨率上采样的图像是作为上采样部11对低分辨率输入图像(gn)31执行的上采样处理的结果而获得的。另一方面，不成功的运动补偿区域是以下的区域在该区域中，基于前一帧的高分辨率图像fy而生成的运动补偿结果图像没有将拍摄对象设置在与高分辨率上采样的图像中的拍摄对象相同的位置处，其中，高分辨率上采样的图像是作为上采样部 11对低分辨率输入图像(gn)31执行的上采样处理的结果而获得的。被称为α映射的运动区域信息是其值根据成功的运动补偿区域和不成功的运动补偿区域的置信度在1 0 的范围内变化的映射。例如，在简单的应用中，将区域的α映射的值设置为1，以表示该区域是成功的运动补偿区域，或者将区域的α映射的值设置为0，以表示该区域是不成功的运动补偿区域。混合处理部14接收由运动推断/运动补偿图像生成部12基于前一帧的高分辨率图像生成的运动补偿结果图像、作为上采样部11对低分辨率输入图像(gn)31执行的上采样处理的结果而获得的高分辨率上采样的图像、和由运动判断部13生成的被称为α映射的运动区域信息。混合处理部14利用以上所述接收到的输入，以输出作为基于以下给出的等式执行的混合处理的结果而获得的混合图像混合图像=(l-α)(高分辨率上采样的图像)+ α (运动补偿结果图像)在以上等式中，参考符号α表示具有0 1范围内的值的前述α映射W:l]。α 映射的值为运动补偿结果图像的混合系数α。使用该混合系数α作为混合处理中分配给运动补偿结果图像的权重。通过执行混合处理，能够通过对于成功的运动补偿区域使用增大了的混合系数α作为分配给运动补偿结果图像的权重、而对于不成功的运动补偿区域使用减小了的混合系数α作为分配给运动补偿结果图像的权重，来生成混合图像。在以下说明中，将混合比定义为比α/(l-α)，以将混合比与混合系数α区分开。模糊附加部15接收由混合处理部14生成的混合图像，并且对该混合图像执行模拟处理，以模拟空间分辨率的劣化。例如，模拟附加部15通过采用预先测量出的PSF(point spread function，点扩散函数)作为过滤器，对图像执行卷积。下采样部16执行用以将高分辨率图像的分辨率降低至与低分辨率输入图像 (gn)31相同的分辨率的下采样处理。然后，减法器17针对每个像素计算由下采样部16输出的图像与低分辨率输入图像(gn)31之间的差。随后对该差进行由上采样部18执行的上采样处理。然后，逆模糊附加部19执行与模糊附加处理相逆的处理。逆模糊附加处理的操作与用以计算与模糊附加部15中使用的PSF(点扩散函数)的相关性的处理相同。乘法器20执行用以将由逆模糊附加部19输出的图像与预先设置的SR反馈系数 Ysk相乘的运算以生成积，并将该积供给至加法器21。然后，加法器21执行用以将该积与由混合处理部14生成的混合图像相加的运算，以生成超分辨率处理设备10的输出图像。由加法器21生成的、作为超分辨率处理设备10的输出的图像是SR(超分辨率) 处理结果图像(fn) 32，它是作为提高低分辨率输入图像(gn)31的分辨率的结果而获得的图像。可以通过以下等式表示由图1所示的超分辨率处理设备10执行的处理权利要求1.一种图像处理设备，包括上采样部，被配置本文档来自技高网...

【技术保护点】
１．一种图像处理设备，包括：上采样部，被配置为执行上采样处理，以便生成上采样的图像，所述上采样处理用以将构成具有第一分辨率的输入图像的像素的数量增加至构成具有比所述第一分辨率高的第二分辨率的图像的像素的数量；运动补偿图像生成部，被配置为生成作为校正处理的结果的运动补偿图像，所述校正处理用于通过利用与所述上采样的图像和具有所述第二分辨率的参考图像之间的差有关的信息将所述参考图像调整至所述上采样的图像上的拍摄对象位置；混合处理部，被配置为生成作为混合处理的结果的中间混合图像，所述混合处理用于通过对于每个图像区域单元比较所述上采样的图像和所述运动补偿图像并且设置所述参考图像的混合系数来将所述上采样的图像与所述参考图像混合，其中，如下设置所述参考图像的混合系数的值：对于图像区域单元的像素值匹配度越高，对所述图像区域单元设置的所述混合系数的值越高；以及输出图像生成部，被配置为接收并处理所述中间混合图像和所述上采样的图像，从而生成通过将超分辨率处理结果图像与噪声降低处理结果图像混合而获得的输出混合图像，其中，所述超分辨率处理结果图像是作为被执行作为用以提高所述输入图像的分辨率的处理的超分辨率处理的结果而获得的，所述噪声降低处理结果图像是作为用以降低所述输入图像的噪声而执行的噪声降低处理的结果而获得的。...

【技术特征摘要】
...

【专利技术属性】
技术研发人员：近藤雄飞，名云武文，罗俊，
申请(专利权)人：索尼公司，
类型：发明
国别省市：JP