图像处理装置、摄像装置、图像处理方法、以及程序制造方法及图纸

本发明专利技术的图像处理装置(10)具备：输入接口(11)，接收图像中的被摄体的位置向特定方向偏移的第1图像以及第2图像；彩色图像生成部(13a)，生成使所述第1图像的各像素中的像素值为第1颜色的值、使所述第2图像的各像素中的像素值为第2颜色的值的彩色图像；判定部(13b)，其基于表示所述彩色图像中的所述第1颜色以及第2颜色的偏移的程度的指标值，判定所述第1图像以及第2图像的匹配性；和图像移动部(13c)，在判定为所述第1图像以及第2图像不匹配时，进行以在所述特定方向上相邻的像素中的像素值来置换所述第2图像的各像素中的像素值使得所述第2图像向所述第1图像靠近的处理。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、摄像装置以及图像处理方法
本专利技术涉及用于利用1组光学系统和1个摄像元件来获取被摄体的纵深信息的单眼的三维摄像技术。
技术介绍
近年来，使用了CCD或CMOS等的固体摄像元件(以下称为“摄像元件”。)的数字照相机、数字摄像机的高功能化、高性能化令人瞠目。特别是随着半导体制造技术的进步，摄像元件中的像素构造的微细化不断发展。其结果，不断实现着摄像元件的像素以及驱动电路的高集成化。因此，仅仅几年，摄像元件的像素数从100万像素程度显著增加至1000万像素以上。再有，通过摄像而得到的图像质量也飞跃提高。另一方面，对于显示装置，通过由薄型的液晶或等离子形成的显示器，能够不受场所限制地进行高分辨率且高对比度的显示，实现了较高的性能。这种影像的高品质化的潮流从二维图像扩展至三维图像。最近，开始开发出了高画质的三维显示装置，尽管其需要偏振眼镜。对于三维摄像技术，作为具有简单的结构的代表性方式，存在利用由2个照相机构成的摄像系统，分别获取右眼用图像以及左眼用图像的这一方式。这种所谓的双眼(双镜头)摄像方式中，由于使用2个照相机，因此摄像装置变得大型，成本也会变高。为此，正在研究使用1个照相机获取具有视差的多个图像(以下有时称为“多视点图像”。)的方式(单眼(单镜头)摄像方式)。例如，专利文献1、2中公开了利用透过轴方向彼此正交的2枚偏振片和进行旋转的偏振滤波器来获取多视点图像的方式。此外，专利文献3～5中公开了使用设有多个滤色器的光圈(光束限制板)来获取多视点图像的方式。上述专利文献1～5中公开的方式被用于通过单眼照相机来主要生成多视点图像时。另一方面，还存在使用具备多个微透镜的单眼照相机来获取纵深信息，并基于该信息能自由改变获取后的图像的焦点位置的技术。这种技术如果被成为光场/摄影技术，那么使用该技术的单眼照相机被称为光场照相机。光场照相机中，在摄像元件上配置多个微透镜。各微透镜被配置成覆盖多个的像素。在摄像后，根据获取到的图像信息算出与入射光的方向相关的信息，由此能够估计被摄体的纵深。这种照相机在例如非专利文献1中有所公开。尽管在光场照相机中能够算出纵深信息，但由于分辨率由微透镜的数目决定，因此存在分辨率较之由摄像元件的像素数决定的分辨率而有所降低的这一技术问题。针对该技术问题，专利文献6中，公开了使用2个摄像系统来提高分辨率的技术。在该技术中，对入射光进行2分割，由具有在空间上分别偏离了1/2间距而配置的微透镜群的摄像系统对分割之后的各个入射光进行摄像，之后，通过对获取到的图像进行合成从而提高分辨率。但是，该技术中需要2个摄像系统，在尺寸以及成本方面存在问题。针对上述技术问题，专利文献7中公开了使用1个摄像系统来切换通常摄像模式和基于光场/摄影术的模式的技术。根据该技术，使用焦点距离随着施加电压而变化的微透镜，微透镜的焦点距离在前者的模式中被设定为无限大，在后者模式中被设定为规定的距离，通过这种机构能够得到分辨率高的图像和纵深信息。但是，该方法中，需要对微透镜的焦点距离进行控制这种高度的控制技术。另一方面，专利文献8、9中还介绍为了获取纵深信息而设置主眼的技术。在这些技术中，通过在照相机之前配置的衍射光栅进行摄像，根据由透过了衍射光栅的0次衍射光形成的图像(0级光图像)和由高次的衍射光形成的图像(高次光图像)的位置偏移量，来计测从被摄体到衍射光栅的距离。【在先技术文献】【专利文献】【专利文献1】JP特开昭62-291292号公报【专利文献2】JP特开昭62-217790号公报【专利文献3】JP特开2002-344999号公报【专利文献4】JP特开2009-276294号公报【专利文献5】JP特开2003-134533号公报【专利文献6】JP特开平11-98532号公报【专利文献7】JP特开2008-167395号公报【专利文献8】JP特表平2-502398号公报【专利文献9】JP特开2011-2387号公报【非专利文献】【非专利文献1】RenNg，etal，“LightFieldPhotographywithaHand-heldPlenopticCamera”，StanfordTechReportCTSR2005-02
技术实现思路
【专利技术的概要】【专利技术要解决的技术问题】在现有的光场照相机中，虽然能够获得纵深信息，但是存在图像的分辨率下降的这一课题。为了解决该课题，如上述专利文献6、7的技术那样需要改良光学系统，但为了进行改良，存在必需使用2个摄像系统、或者控制微透镜的焦点距离的这种课题。此外，在专利文献8、9公开的这种利用了衍射光栅的纵深计测的方法中，由于难以对0级光图像和高次光图像进行分离，因此存在无法正确地计测到被摄体的距离的情况有可能发生的这一课题。例如，根据专利文献9所公开的方法，基于衍射图像的亮度梯度来识别0级光图像和1级光图像从而计测它们的偏移量。之后，基于其偏移量，求取被摄体的纵深。但是，实际中正确地进行0级光图像以及1级光图像这种亮度水平不同的2个图像的匹配是较为困难的。本专利技术的1个实施方式提供一种使用与现有技术不同的光学系统以及信号处理来能够获取抑制了分辨率下降的图像和纵深信息的摄像技术。此外，本专利技术的其他实施方式提供一种能够容易进行尽管包含同一被摄体但亮度水平不同的多个图像的匹配的图像处理技术。【用于解决技术问题的手段】为了解决上述技术问题，本专利技术的一实施方式涉及的图像处理装置进行包含同一被摄体的多个图像的匹配，其包括：输入接口，其接收各图像中的所述被摄体的位置向特定方向偏移的第1图像以及第2图像；彩色图像生成部，其生成使所述第1图像的各像素中的像素值为第1颜色的值、使所述第2图像的各像素中的像素值为第2颜色的值的彩色图像；判定部，其计算对所述彩色图像中的所述第1颜色以及第2颜色的偏移的程度进行表示的指标值，并基于所述指标值来判定所述第1图像以及所述第2图像的匹配性；和图像移动部，在判定为所述第1图像以及所述第2图像不匹配时，进行以在所述特定方向上相邻的像素中的像素值来置换所述第2图像的各像素中的像素值由此使所述第2图像向所述第1图像靠近的处理。上述的一般性且特定的方式，可利用系统、方法、以及计算机程序来实现、或者使用系统、方法以及计算机程序的组合来实现。【专利技术的效果】根据本专利技术的一实施方式，由于能够分离基于衍射光的图像和基于直进光的图像，因此根据这些图像能够算出到被摄体的纵深。此外，根据其他实施方式，能够容易进行包含同一被摄体的多个图像的匹配。附图说明图1是例示的实施方式中的摄像装置的结构图。图2是例示的实施方式中的摄像部的示意图。图3A是例示的实施方式1中的透光板的俯视图。图3B是图3A中的A-A’线断面图。图3C是图3A中的B-B’线断面图。图4是例示的实施方式1中的摄像元件的基本像素结构图。图5是例示的实施方式1中的摄像元件的俯视图。图6A是表示通过例示的实施方式1中的摄像而获取的图像的例子的示意图。图6B是表示使2个衍射光图像向直接光图像靠近的状态的示意图。图6C是表示使2个衍射光图像向直接光图像进一步靠近而几乎重叠的状态的图。图7A是表示例示的实施方式1中的纵深信息的生成处理的流程图。图7B是表示例示的实施方式1中的纵深信息的生成处理的其他例子的流程图。图本文档来自技高网...

【技术保护点】
一种图像处理装置，进行包含同一被摄体的多个图像的匹配，其包括：输入接口，其接收各图像中的所述被摄体的位置向特定方向偏移的第1图像以及第2图像；彩色图像生成部，其生成使所述第1图像的各像素中的像素值为第1颜色的值、使所述第2图像的各像素中的像素值为第2颜色的值的彩色图像；判定部，其计算对所述彩色图像中的所述第1颜色以及第2颜色的偏移的程度进行表示的指标值，并基于所述指标值来判定所述第1图像以及所述第2图像的匹配性；和图像移动部，在判定为所述第1图像以及所述第2图像不匹配时，进行以在所述特定方向上相邻的像素中的像素值来置换所述第2图像的各像素中的像素值由此使所述第2图像向所述第1图像靠近的处理。

【技术特征摘要】
【国外来华专利技术】2012.05.28 JP 2012-1210231.一种图像处理装置，进行包含同一被摄体的多个图像的匹配，其包括：输入接口，其接收各图像中的所述被摄体的位置向特定方向偏移的第1图像以及第2图像；彩色图像生成部，其生成使所述第1图像的各像素中的像素值为第1颜色的值、使所述第2图像的各像素中的像素值为第2颜色的值的彩色图像；判定部，其计算对所述彩色图像的各个像素中的所述第1颜色以及第2颜色的值的偏移的程度进行表示的指标值，并基于所述指标值来判定所述第1图像以及所述第2图像的匹配性；和图像移动部，在判定为所述第1图像以及所述第2图像不匹配时，针对所述第2图像，进行以在所述特定方向上相邻的像素中的像素值来置换各像素中的像素值由此使所述第2图像向所述第1图像靠近的处理，并对所述彩色图像进行更新，在所述图像移动部进行了所述处理的情况下，所述判定部，对于更新过的所述彩色图像，计算所述指标值，并基于所述指标值判定所述第1以及第2图像的匹配性，所述图像移动部直至由所述判定部判定为所述第1图像以及第2图像相匹配为止反复进行所述处理，所述图像处理装置还具备：输出接口，其输出表示通过所述图像移动部的处理而让所述第2图像所移动的总移动量的信息、或者所述第1图像与移动后的所述第2图像的合成图像，所述图像处理装置还具备：图像分割部，在判定为所述第1图像以及所述第2图像相匹配时，该图像分割部将所述第1图像以及第2图像的各个图像分割为多个部分图像，所述判定部一边改变从所述第1图像以及第2图像的各个图像中各选择一个的部分图像而得到的部分图像的组合，一边计算所述彩色图像中与对应于所述部分图像的组合的区域相关的所述指标值，决定匹配性最高的所述部分图像的组合，所述图像移动部基于所述判定部所决定的所述部分图像的组合的坐标的偏移，使所述第2图像向所述第1图像进一步靠近。2.根据权利要求1所述的图像处理装置，其中，所述判定部调整所述彩色图像中的多个像素的所述第1颜色的值以及所述第2颜色的值的平衡，通过包含各像素中的调整后的所述第1颜色以及第2颜色的值的差值在内的运算来求出所述指标值。3.根据权利要求2所述的图像处理装置，其中，所述指标值是针对全部像素对调整后的所述第1以及第2颜色的值的差值的绝对值进行相加而得到的值、或者针对全部像素对所述差值的平方进行相加而得到的值。4.根据权利要求3所述的图像处理装置，其中，所述判定部在由所述图像移动部进行处理的结果使得所述指标值变得大于前一次的值时，判定为所述第1图像以及第2图像相匹配。5.根据权利要求1至4任一项所述的图像处理装置，其中，所述第1颜色是红色、绿色、蓝色之中的1个，所述第2颜色是所述第1颜色的补色。6.根据权利要求1至4任一项所述的图像处理装置，其中，所述输入接口还获取包含与所述第1图像以及第2图像中含有的所述被摄体相同的被摄...

【专利技术属性】
技术研发人员：平本政夫，石井育规，物部祐亮，
申请(专利权)人：松下电器产业株式会社，
类型：
国别省市：