图像处理设备、图像捕捉装置和图像处理方法制造方法及图纸

公开了图像处理设备、图像捕捉装置和图像处理方法。图像处理设备基于具有不同模糊度并且由图像传感器捕捉的第一图像和第二图像来获得代表关于对象的深度信息的分布的深度信息图像，图像传感器包括组，每个组包括获得关于对象的不同颜色信息的像素。该图像处理设备包括：提取单元，配置为从所述组提取信号，每个信号对应于每个组中的像素中的一个像素，并且生成分别对应于第一图像和第二图像的第一被提取图像和第二被提取图像；及计算单元，配置为根据第一被提取图像和第二被提取图像之间的模糊度的差来计算深度信息图像。每个对应于每个组中的像素中的一个像素并且从所述组提取出来的信号是对应于获得相同颜色信息的像素的信号。

【技术实现步骤摘要】
图像处理设备、图像捕捉装置和图像处理方法
本专利技术涉及用于从多个捕捉到的图像获得深度信息图像的图像处理设备和图像捕捉装置，其中深度信息图像代表关于对象的深度信息的分布。本专利技术还涉及用于从多个捕捉到的图像获得深度信息图像的图像处理方法，其中深度信息图像代表关于对象的深度信息的分布。
技术介绍
日本专利特开No.01-167610描述一种通过使用由图像捕捉装置捕捉到的对象的两维图像来获得在深度方向上到对象的距离的“散焦测距”(depthfromdefocus，DFD)方法。在DFD方法中，通过控制图像捕捉光学系统的拍摄条件(也称为拍摄参数)，获得具有不同模糊度的多个图像。然后，通过使用距离测量像素和周围像素来计算多个图像的尺寸或模糊度之间的相关性。尺寸或模糊度之间的相关性根据从图像捕捉光学系统的焦点位置到对象的距离而变。因此，从图像捕捉光学系统的焦点位置到对象的距离可以通过使用该相关性获得。日本专利特开No.2010-016743描述一种通过使用模糊相关性来计算对象距离的距离测量装置，其中模糊相关性是通过使用DFD方法对要处理的每个区域计算的。距离测量装置为要处理的区域中的每个像素设置用于模糊相关性的权重系数并且通过使用权重系数来计算模糊相关性的加权平均。一般而言，图像捕捉装置的图像捕捉光学系统具有轴上色差，并且因此焦点位置在颜色(波长)之间不同。因此，在深度信息通过使用尺寸或模糊度之间的相关性来计算的情况下，计算出的深度信息具有由于颜色(波长)造成的误差。换句话说，当深度信息是利用彩色图像通过使用DFD方法或类似方法计算的时，由于颜色(波长)造成的距离测量误差发生。日本专利特开No.01-167610和日本专利特开No.2010-016743没有描述由于颜色(波长)造成的深度信息的误差的发生。本专利技术提供利用彩色图像通过使用DFD方法以高精度获得关于对象的深度信息的技术。
技术实现思路
根据本专利技术的一方面，提供一种基于具有不同模糊度的第一图像和第二图像来获得代表关于对象的深度信息的分布的深度信息图像的图像处理设备，第一图像和第二图像是由包括多个组的图像传感器捕捉的，每个组包括获得关于对象的不同颜色信息的多个像素。该图像处理设备包括：提取单元，从所述多个组提取信号，每个信号对应于每个组中的多个像素中的一个像素，并且生成分别对应于第一图像和第二图像的第一被提取图像和第二被提取图像；和计算单元，根据第一被提取图像和第二被提取图像之间的模糊度的差来计算深度信息图像。每个对应于每个组中的多个像素中的一个像素并且从所述多个组提取出来的信号是对应于获得相同颜色信息的像素的信号。根据本专利技术的另一方面，提供一种图像处理方法，包括：提取步骤，从图像传感器的多个组提取信号，每个信号对应于所述多个组的每个组中的多个像素中的一个像素，并且生成分别对应于由图像传感器捕捉并具有不同模糊度的第一图像和第二图像的第一被提取图像和第二被提取图像，所述多个像素获得关于对象的不同颜色信息；及计算步骤，根据第一被提取图像和第二被提取图像之间的模糊度的差来计算代表关于对象的深度信息的分布的深度信息图像。每个对应于每个组中的多个像素中的一个像素并且从多个组提取出来的信号是对应于获得相同颜色信息的像素的信号。参考附图，本专利技术的更多特征将从以下示例性实施例的描述变得清楚。附图说明图1是图示出根据第一实施例的包括图像处理设备的图像捕捉装置的例子的示意图。图2A是根据第一实施例的图像传感器的部分示意图，图2B是图示出根据第一实施例的被选通道的被提取图像的例子的示意图。图3是根据第一实施例的图像处理方法的例子的流程图。图4是图示出根据第二实施例的包括图像处理设备的图像捕捉装置的例子的示意图。图5是根据第二实施例的图像处理方法的例子的流程图。图6A至6C图示出根据第二实施例的对应于被提取像素的信号的生成。图7是图示出根据第三实施例的包括图像处理设备的图像捕捉装置的例子的示意图。图8A和图8B图示出一般的图像捕捉光学系统的轴上色差和像面弯曲(fieldcurvature)。图9是根据第三实施例的图像处理方法的例子的流程图。图10A是根据第三实施例的用于获得深度信息的校正数据的装置的示意图，图10B是获得深度信息的校正数据的方法的例子的流程图。具体实施方式本专利技术涉及基于在不同拍摄条件下捕捉到的两个或更多个图像之间的模糊度的差来计算在深度方向上关于对象的深度信息的技术(DFD方法)的改进。本说明书提出，即使在使用通过利用具有用于捕捉不同颜色信息的多个像素的图像捕捉装置捕捉到的图像的情况下，也通过使用DFD方法以高精度计算关于对象的深度信息的技术。这种技术可以实现为安装在图像捕捉装置(诸如数码相机、数码摄像机或监控相机)中的图像处理设备(图像处理引擎)的功能。该技术用来对捕捉到的图像执行各种图像处理操作(诸如测量距离、生成深度信息图像、剪切对象、模糊背景以及产生模糊效果的操作)。在本专利技术中，“深度信息”可以指在捕捉图像时从两个图像的焦点位置之间的中点到对象的相对距离、从两个图像之一的焦点位置到对象的相对距离以及从图像捕捉装置到对象的绝对距离当中任何一个。绝对距离或相对距离可以是像面侧的距离或者物侧的距离。距离可以表示为现实空间中的距离或者表示为散焦量。在下文中，将参考附图描述本专利技术的实施例。本专利技术不限于这些实施例。第一实施例图1是图示出根据第一实施例的包括图像处理设备13的图像捕捉装置1的例子的示意图。图像捕捉装置1包括图像捕捉光学系统10、图像传感器11、图像捕捉光学系统10的控制器12、图像处理设备13、存储单元14、输入单元15和显示单元16。图2A是根据第一实施例的图像传感器11的部分示意图。图像传感器11包括图像传感器111和滤色器(colorfilter)112。滤色器112设置在图像传感器111的光入射侧。图像传感器11具有多个组113，每个组包括像素A、B、C和D。像素A、B、C和D中每个获得关于对象的颜色信息。因此，滤色器112具有分段的区域，每个区域允许红、绿和蓝光中的相应一个通过。分段的区域分别对应于像素A、B、C和D。像素A具有主要允许长波长范围(580nm至720nm的波长范围)内的可见光通过的红色滤色器。像素B和像素C具有主要允许中间波长范围(440nm至620nm的波长范围)内的可见光通过的绿色滤色器。像素D具有主要允许短波长范围(400nm至540nm的波长范围)内的可见光通过的蓝色滤色器。根据本实施例的图像捕捉装置1可以通过这些像素获得彩色图像。在本实施例中，术语“颜色信息”指作为红色、绿色或蓝色的颜色以及关于该颜色的亮度(luminance)信息。图像处理设备13包括处理器130、存储器131、提取单元132和计算单元133。处理器130对从图像传感器11输出的模拟信号执行以下信号处理操作：AD转换、噪声降低、去马赛克、亮度信号和色差信号的转换、像差校正、白平衡校正、颜色校正、伽玛校正等等。从处理器130输出的数字图像信号存储在存储器131中，记录(存储)在存储单元14中，并且用来例如计算深度信息。提取单元132从图像传感器11的组提取信号，每个信号对应于每组的像素A、B、C和D之一(例如，像素B)。信号是从组中的获得相同颜色本文档来自技高网...

【技术保护点】
一种图像处理设备，该图像处理设备基于具有不同模糊度的第一图像和第二图像来获得代表关于对象的深度信息的分布的深度信息图像，第一图像和第二图像是由包括多个组的图像传感器捕捉的，每个组包括获得关于对象的不同颜色信息的多个像素，该图像处理设备的特征在于包括：提取单元，配置为从所述多个组提取信号，每个信号对应于每个组中的多个像素中的一个像素，并且生成分别对应于第一图像和第二图像的第一被提取图像和第二被提取图像；及计算单元，配置为根据第一被提取图像和第二被提取图像之间的模糊度的差来计算深度信息图像，其中，每个对应于每个组中的多个像素中的一个像素并且从所述多个组提取出来的信号是对应于获得相同颜色信息的像素的信号。

【技术特征摘要】
2013.10.02 JP 2013-2070181.一种图像处理设备，该图像处理设备基于具有不同模糊度的第一图像和第二图像来获得代表关于对象的深度信息的分布的深度信息图像，第一图像和第二图像是由包括多个组的图像传感器捕捉的，每个组包括获得关于对象的不同颜色信息的多个像素，该图像处理设备的特征在于包括：提取单元，配置为从所述多个组提取信号，每个信号对应于每个组中的多个像素中的一个像素，并且生成分别对应于第一图像和第二图像的第一被提取图像和第二被提取图像；及计算单元，配置为根据第一被提取图像和第二被提取图像的小区域之间的相关性来计算深度信息图像，第一被提取图像的小区域和第二被提取图像的小区域包括相同对象的图像，其中，每个对应于每个组中的多个像素中的一个像素并且从所述多个组提取出来的信号是对应于获得相同颜色信息的像素的信号。2.如权利要求1所述的图像处理设备，其中，所述多个像素包括获得红色信息的像素、获得绿色信息的像素和获得蓝色信息的像素。3.如权利要求2所述的图像处理设备，其中，所述多个像素中的所述一个像素是获得绿色信息的像素。4.如权利要求1所述的图像处理设备，还包括：生成单元，配置为通过混合分别对应于所述多个像素的信号来生成对应于所述多个像素中的所述一个像素的混合信号，其中，提取单元配置为从每个组提取混合信号并且生成第一被提取图像和第二被提取图像。5.如权利要求1所述的图像处理设备，其中，计算单元配置为基于第一被提取图像和第二被提取图像的小区域之间的相关性来计算每个组的深度信息，其中，图像处理设备还包括校正单元，该校正单元配置为校正每个组的深度信息的误差，该误差是由于像差而生成的，及其中，计算单元配置为根据由校正单元校正后的每个组的深度信息来计算深度信息图像。6.如权利要求1所述的图像处理设备，其中，所述多个像素中...

【专利技术属性】
技术研发人员：石原圭一郎，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP