图像处理装置、图像处理方法及图像处理程序制造方法及图纸

一种图像处理装置，其包括：图像取得单元，其取得按照时间序列拍摄的多个低分辨率图像；对位单元，其根据多个低分辨率图像之间的运动而生成将多个低分辨率图像在高分辨率的图像空间上进行了对位的高分辨率图像；相关计算单元，其针对高分辨率图像的每个部分区域而计算相关信息，该相关信息表示低分辨率图像的相当于部分区域的对应区域之间的相关程度；及图像合成单元，其根据相关信息而针对每个部分区域计算高分辨率图像与被合成图像的合成比率，并按照合成比率而将高分辨率图像和比高分辨率图像更低分辨率的被合成图像合成，合成比率计算单元以如下方式针对每个部分区域而计算合成比率：相关性越低的区域，高分辨率图像的比率越小，相关性越高的区域，高分辨率图像的比率越大。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及图像处理装置、图像处理方法及图像处理程序，特别地，涉及通过对多个图像进行合成处理而取得高分辨率化的图像的图像处理装置、图像处理方法及图像处理程序。
技术介绍
以往，已知有由多张输入图像生成更高分辨率的输出图像的超分辨处理。作为该超分辨处理的一例，在专利文献1中公开了重构型超分辨处理，该重构型超分辨处理重复进行如下的处理：利用由照相模型获得的点扩散函数(PSF函数)而将所估算的高分辨率图像重采样成低分辨率图像，并以使它们的低分辨率图像与原来的输入图像之间的像素值之差变小的方式估算高分辨率图像。现有技术文献专利文献专利文献1日本特开2006-127241号公报
技术实现思路
专利技术要解决的课题但是，在专利文献1的重构型超分辨处理中，由于重复进行估算高分辨率图像的处理，因此计算成本升高。另外,如果为了控制计算成本而限制重复次数，则在估算高分辨率图像中无法完全减少由运动体等而产生的多重像、伪影，导致输出图像的画质下降。本专利技术是鉴于上述情况而研发的，本专利技术的目的在于抑制计算成本，减少多重像、伪影，取得良好地提高了分辨率的图像。用于解决课题的手段为了达到上述目的，本专利技术提供以下的手段。本专利技术的第1方式为一种图像处理装置，其包括：图像取得单元，其取得按照时间序列拍摄的多个低分辨率图像；运动检测单元，其检测多个所述低分辨率图像之间的运动；对位单元，其根据所述运动进行多个所述低分辨率图像的对位，并生成在比该低分辨率图像更高分辨率的图像空间上对多个所述低分辨率图像进行了像素配置而得到的高分辨率图像；相关计算单元，其针对所述高分辨率图像的每个部分区域而计算相关信息，该相关信息表示所述低分辨率图像的相当于该部分区域的对应区域之间的相关程度；被合成图像生成单元，其根据多个所述低分辨率图像或所述高分辨率图像，生成比该高分辨率图像更低分辨率的被合成图像；合成比率计算单元，其根据所述相关信息，针对每个所述部分区域计算所述高分辨率图像与所述被合成图像的合成比率；及图像合成单元，其按照所述合成比率，生成所述高分辨率图像与所述被合成图像的合成图像，所述合成比率计算单元针对每个所述部分区域以如下方式计算合成比率：相关性越低的区域，所述高分辨率图像的比率越小，相关性越高的区域，所述高分辨率图像的比率越大。根据本方式，取得按照时间序列而拍摄的关于同一被摄体的多个低分辨率图像，并从这些多个低分辨率图像取得进行了高分辨率化的一个图像。在该情况下，防止由低分辨率图像中的运动而导致在高分辨率化的图像中产生多重像等，因此通过对位单元，对在运动检测单元中检测出的多个图像之间的运动进行校正，即一边进行对位，一边在高分辨率图像空间上对多个低分辨率图像进行像素配置而生成高分辨率图像。将高分辨率图像划分为规定的部分区域，并针对每个部分区域而计算相关信息，该相关信息表示低分辨率图像的相当于该部分区域的对应区域之间的相关程度。通过相关信息，能够在某种程度上判断该部分区域是否为多个图像之间的相关小的、即运动大的区域或包括运动体的区域。判断为相关低的区域有可能在高分辨率图像中的对位失败。因此，通过被合成图像生成单元而由高分辨率图像或多个低分辨率图像生成比高分辨率图像更低分辨率的被合成图像。并且，通过合成比率计算单元，根据相关信息而针对每个部分区域计算高分辨率图像与被合成图像之间的合成比率。此时，以相关性越低的区域，高分辨率图像的比率越小，而相关性越高的区域，高分辨率图像的比率越大的方式，针对每个部分区域而计算合成比率，并且图像合成单元由此生成高分辨率图像与被合成图像的合成图像。从而，在生成合成图像时，例如对于包括运动体等运动较大的区域等基于在多个低分辨率图像之间相关性低的区域的部分区域，通过提高被合成图像的比率而抑制多重像、伪影。另外，例如对于静止区域等基于在多个低分辨率图像之间相关性高的区域的部分区域，通过提高高分辨率图像的比率而可靠地进行高分辨率化。由此，能够抑制计算成本，并降低多重像、伪影，取得良好地提高了分辨率的图像。在上述的方式中，优选为，还包括：运动体边界判定单元，其根据所述运动而判定所述部分区域是否为运动体的边界区域，所述合成比率计算单元以如下方式计算合成比率：与所述部分区域是非边界区域的情况相比，在所述部分区域是所述边界区域的情况下，使所述高分辨率图像的比率更小。从而，即便部分区域之间的相关信息为相同程度，也能够根据该部分区域是否为边界区域而使合成比率不同。因此，在容易产生伪影、多重像的运动体边界周边，也能够可靠地抑制伪影、多重像，并提高背景等的静止区域中的波纹(moire)区域的分辨率。在上述的方式中，所述图像取得单元可以是具备摄像元件、移动单元和移动控制单元的摄像单元，所述摄像元件按照时间序列取得多帧被摄体的光学像，所述移动单元使所述摄像元件相对于所述光学像的位置相对地移动，所述移动控制单元控制由该移动单元进行的所述光学像与所述摄像元件的相对的移动方向及移动量。并且，在上述的方式中，所述对位单元可以根据所述运动或所述移动方向及所述移动量中的至少一个而进行对位。从而，对于通过摄像单元按照时间序列使像素偏移而取得的多个低分辨率图像，能够不仅考虑运动，而且还考虑摄像元件的移动方向、移动量来生成高分辨率图像，因此提高分辨率，并进一步提高多重像等的抑制效果。在上述的方式中，优选为，所述相关计算单元根据所述高分辨率图像的颜色通道而计算每个部分区域的相关信息。从而，容易计算针对该部分区域的相关信息，由此既容易取得相关信息，并能够降低计算成本。在上述的方式中，优选为，所述被合成图像生成单元通过对所述高分辨率图像实施滤波处理，从而生成与所述高分辨率图像相比降低了分辨率的图像作为被合成图像。例如，可应用使高分辨率图像的高频成分减少的低通滤波器等，通过由此生成被合成图像，从而对于在之后的合成处理中判断为相关低的区域，能够抑制多重像、伪影。在上述的方式中，优选为，所述被合成图像生成单元生成将多个所述低分辨率图像中的任一个图像放大成与所述高分辨率图像相同分辨率的放大图像，作为被合成图像。通过这样生成被合成图像，从而在之后的合成处理中对于判断为相关低的区域，能够抑制多重像、伪影。并且，本专利技术的第2方式为一种图像处理方法，其包括：图像取得步骤，其取得按照时间序列拍摄的多个低分辨率图像；运动检测步骤，其检测多个所述低分辨率图像之间的运动；对位步骤，其根据所述运动进行多个所述低分辨率图像的对位，并生成在比该低分辨率图像更高分辨率的图像空间上对多个所述低分辨率图像进行了像素配置而得到的高分辨率图像；相关计算步骤，其针对所述高分辨率图像的每个部分区域而计算相关信息，该相关信息表示所述低分辨率图像的相当于该部分区域的对应区域之间的相关程度；被合成图像生成步骤，其根据多个所述低分辨率图像或所述高分辨率图像，生成比该高分辨率图像更低分辨率的被合成图像；合成比率计算步骤，其根据所述相关信息，针对每个所述部分区域计算所述高分辨率图像与所述被合成图像的合成比率；及图像合成步骤，其按照所述合成比率，生成所述高分辨率图像与所述被合成图像的合成图像，所述合成比率计算步骤针对每个所述部分区域以如下方式计算合成比率：相关性越低的区域，所述高分辨率图像的比率越小，相关性越高的区域，所述高分辨率本文档来自技高网...

【技术保护点】
一种图像处理装置，其包括：图像取得单元，其取得按照时间序列拍摄的多个低分辨率图像；运动检测单元，其检测多个所述低分辨率图像之间的运动；对位单元，其根据所述运动进行多个所述低分辨率图像的对位，并生成在比该低分辨率图像更高分辨率的图像空间上对多个所述低分辨率图像进行了像素配置而得到的高分辨率图像；相关计算单元，其针对所述高分辨率图像的每个部分区域而计算相关信息，该相关信息表示所述低分辨率图像的相当于该部分区域的对应区域之间的相关程度；被合成图像生成单元，其根据多个所述低分辨率图像或所述高分辨率图像，生成比该高分辨率图像更低分辨率的被合成图像；合成比率计算单元，其根据所述相关信息，针对每个所述部分区域计算所述高分辨率图像与所述被合成图像的合成比率；及图像合成单元，其按照所述合成比率，生成所述高分辨率图像与所述被合成图像的合成图像，所述合成比率计算单元针对每个所述部分区域以如下方式计算合成比率：对于相关性越低的区域，所述高分辨率图像的比率越小，对于相关性越高的区域，所述高分辨率图像的比率越大。

【技术特征摘要】
【国外来华专利技术】2014.04.16 JP 2014-0845561.一种图像处理装置，其包括：图像取得单元，其取得按照时间序列拍摄的多个低分辨率图像；运动检测单元，其检测多个所述低分辨率图像之间的运动；对位单元，其根据所述运动进行多个所述低分辨率图像的对位，并生成在比该低分辨率图像更高分辨率的图像空间上对多个所述低分辨率图像进行了像素配置而得到的高分辨率图像；相关计算单元，其针对所述高分辨率图像的每个部分区域而计算相关信息，该相关信息表示所述低分辨率图像的相当于该部分区域的对应区域之间的相关程度；被合成图像生成单元，其根据多个所述低分辨率图像或所述高分辨率图像，生成比该高分辨率图像更低分辨率的被合成图像；合成比率计算单元，其根据所述相关信息，针对每个所述部分区域计算所述高分辨率图像与所述被合成图像的合成比率；及图像合成单元，其按照所述合成比率，生成所述高分辨率图像与所述被合成图像的合成图像，所述合成比率计算单元针对每个所述部分区域以如下方式计算合成比率：对于相关性越低的区域，所述高分辨率图像的比率越小，对于相关性越高的区域，所述高分辨率图像的比率越大。2.根据权利要求1所述的图像处理装置，其中，所述图像处理装置还包括：运动体边界判定单元，其根据所述运动而判定所述部分区域是否为运动体的边界区域，所述合成比率计算单元以如下方式计算合成比率：与所述部分区域是非边界区域的情况相比，在所述部分区域是所述边界区域的情况下，使所述高分辨率图像的比率更小。3.根据权利要求1或2所述的图像处理装置，其中，所述图像取得单元是具备摄像元件、移动单元和移动控制单元的摄像单元，所述摄像元件按照时间序列取得多帧被摄体的光学像，所述移动单元使所述摄像元件相对于所述光学像的位置相对地移动，所述移动控制单元控制由该移动单元实现的所述光学像与所述摄像元件的相对的移动方向及移动量。4.根据权利要求3所述的图像处理装置，其中，所述对位单元根据所述运动或所述移动方向及所述移动量中的至少一方来进行对位。5.根据权利要求1至4中的任一项所述的图像处理装置，其中，所述相关计算单元根据所述高分辨率图像的颜色通道来计算每个部分区域的相关信息。6.根据权利要求1至5中的任一项所述的图像处理装置，其中，所述被合成图像生成单元通过对所述高分辨率图像实施滤波处理，从而生成与所述高分辨率图像相比降低了分辨率的图...

【专利技术属性】
技术研发人员：梶村康祐，
申请(专利权)人：奥林巴斯株式会社，
类型：发明
国别省市：日本;JP