成像装置、图像处理装置和图像处理方法制造方法及图纸

提供了一种成像装置(10)，该成像装置配备有：成像模块(100)，其包括图像传感器，在该图像传感器中，布置有用于将光转换成电信号的多个像素；驱动单元(140)，其移动成像模块的一部分以使得图像传感器(130)能够依次顺序地获取预定像素相位下的参考图像、多个生成图像和预定像素相位下的检测图像；以及检测单元(220)，其基于参考图像与检测图像之间的差异来检测移动拍摄对象。移动拍摄对象。移动拍摄对象。

【技术实现步骤摘要】
【国外来华专利技术】成像装置、图像处理装置和图像处理方法


[0001]本公开涉及成像装置、图像处理装置和图像处理方法。

技术介绍

[0002]近年来，提出了以下方法，在该方法中，通过应用设置在成像装置中的相机抖动防止机构，将图像传感器移位以获取多个图像并且对所获取的多个图像进行组合以生成高分辨率图像作为输出图像。例如，作为这种方法的示例，可以例示在以下专利文献1中公开的技术。
[0003]引用列表
[0004]专利文献
[0005]专利文献1：WO 2019/008693 A

技术实现思路

[0006]技术问题
[0007]在以上方法中，在拍摄移动对象的情况下，对多个连续获取的图像进行组合，并且因此出现对象模糊。因此，在拍摄移动对象的情况下，可以想到切换输出图像的输出模式，例如输出一个图像作为输出图像，而不是组合多个图像，以避免对象模糊。于是，在执行如上所述的切换的情况下，需要更准确地确定移动对象(移动主体)是否包括在获取的图像中。
[0008]因此，本公开提出了能够更准确地确定是否包括移动对象的成像装置、图像处理装置和图像处理方法。
[0009]问题的解决方案
[0010]根据本公开，提供了一种成像装置，该成像装置包括：成像模块，其包括图像传感器，在该图像传感器中布置有用于将光转换成电信号的多个像素；驱动单元，其使成像模块的一部分移动以使得图像传感器能够按照预定像素相位下的参考图像、多个生成图像和预定像素相位下的检测图像的顺序依次获取预定像素相位下的参考图像、多个生成图像和预定像素相位下的检测图像；以及检测单元，其基于参考图像与检测图像之间的差异来检测移动对象。
[0011]此外，根据本公开，提供了一种图像处理装置，该图像处理装置包括：获取单元，其按照由图像传感器获得的预定像素相位下的参考图像、多个生成图像以及预定像素相位下的检测图像的顺序依次获取预定像素相位下的参考图像、多个生成图像以及预定像素相位下的检测图像，在图像传感器中，布置有用于将光转换成电信号的多个像素；以及检测单元，其基于参考图像与检测图像之间的差异来检测移动对象。
[0012]此外，根据本公开，提供了一种图像处理方法，该图像处理方法包括：按照由图像传感器获得的预定像素相位下的参考图像、多个生成图像以及预定像素相位下的检测图像的顺序依次获取预定像素相位下的参考图像、多个生成图像以及预定像素相位下的检测图
像，在图像传感器中，布置有用于将光转换成电信号的多个像素；以及基于参考图像与检测图像之间的差异来检测移动对象。
附图说明
[0013]图1是用于说明图像传感器的像素的布置的示例的说明图。
[0014]图2是用于说明像素相位的说明图。
[0015]图3是用于说明高分辨率图像生成方法的示例的说明图。
[0016]图4是用于说明奈奎斯特定理(Nyquist theorem)的说明图。
[0017]图5是用于说明差异生成机制的说明图。
[0018]图6是用于说明本公开的每个实施方式共有的概念的说明图。
[0019]图7是用于说明根据本公开的第一实施方式的成像装置的配置的示例的说明图。
[0020]图8是用于说明根据实施方式的生成单元的功能框的示例的说明图(部分1)。
[0021]图9是用于说明根据实施方式的生成单元的功能框的示例的说明图(部分2)。
[0022]图10是示出根据实施方式的图像处理方法的流程的流程图。
[0023]图11是用于说明根据实施方式的图像处理方法的说明图(部分1)。
[0024]图12是用于说明根据实施方式的图像处理方法的说明图(部分2)。
[0025]图13是用于说明根据实施方式的图像处理方法的说明图(部分3)。
[0026]图14是用于说明根据实施方式的修改例的图像处理方法的说明图(部分1)。
[0027]图15是用于说明根据实施方式的修改例的图像处理方法的说明图(部分2)。
[0028]图16是用于说明根据实施方式的修改例的图像处理方法的说明图(部分3)。
[0029]图17是用于说明根据本公开的第二实施方式的成像装置的配置的示例的说明图。
[0030]图18是用于说明根据本公开的第三实施方式的图像处理方法的说明图。
[0031]图19是用于说明难以检测移动对象的情况的说明图。
[0032]图20是用于说明根据本公开的第四实施方式的图像处理方法的说明图。
[0033]图21是用于说明根据本公开的第五实施方式的成像装置的配置的示例的说明图。
[0034]图22是示出实现图像处理装置的功能的计算机的示例的硬件配置图。
具体实施方式
[0035]在下文中，将参照附图详细描述本公开的优选实施方式。注意，在本说明书和附图中，具有基本相同功能配置的部件用相同的附图标记表示，并且省略冗余的描述。此外，在本说明书和附图中，可以通过在相同的附图标记后添加不同的字母来区分不同实施方式的相似部件。然而，在不需要特别区分每个相似部件的情况下，仅分配相同的附图标记。
[0036]注意，将按以下顺序给出描述。
[0037]1.直到根据本公开的实施方式的创建的历史
[0038]1.1直到根据本公开的实施方式的创建的历史
[0039]1.2本公开的实施方式的概念
[0040]2.第一实施方式
[0041]2.1成像装置的概述
[0042]2.2处理单元的细节
[0043]2.3.生成单元的细节
[0044]2.4.图像处理方法
[0045]2.5.修改例
[0046]3.第二实施方式
[0047]4.第三实施方式
[0048]5.第四实施方式
[0049]6.第五实施方式
[0050]7.总结
[0051]8.硬件配置
[0052]9.补充
[0053]<<1.直到根据本公开的实施方式的创建的历史>>
[0054]<1.1直到根据本公开的实施方式的创建的历史>
[0055]首先，在描述根据本公开的实施方式的细节之前，将参照图1至图5描述直到本申请的专利技术人创建根据本公开的实施方式的历史。图1是用于说明图像传感器的像素的布置的示例的说明图，并且图2是用于说明像素相位的说明图。图3是用于说明高分辨率图像生成方法的示例的说明图，图4是用于说明奈奎斯特定理的说明图，并且图5是用于说明差异生成机制的说明图。
[0056]在电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器中，使用原色滤光片并且将用于检测红、绿和蓝光的多个像素布置在平面上的配置被广泛使用。例如，如图1所示，在图像传感器单元130中，可以使用其中分别检测蓝光、绿光和红光的多个像素132b、132g本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种成像装置，包括：成像模块，其包括图像传感器，在所述图像传感器中，布置有用于将光转换成电信号的多个像素；驱动单元，其使所述成像模块的一部分移动，以使得所述图像传感器能够按照预定像素相位下的参考图像、多个生成图像和所述预定像素相位下的检测图像的顺序依次获取所述预定像素相位下的参考图像、所述多个生成图像和所述预定像素相位下的检测图像；以及检测单元，其基于所述参考图像与所述检测图像之间的差异来检测移动对象。2.根据权利要求1所述的成像装置，其中，所述驱动单元使所述图像传感器移动。3.根据权利要求1所述的成像装置，其中，所述驱动单元使包括在所述成像模块中的光学透镜移动。4.根据权利要求1所述的成像装置，还包括：生成单元，其基于所述移动对象的检测结果，使用所述多个生成图像来生成输出图像。5.根据权利要求4所述的成像装置，还包括：比较单元，其将所述移动对象所对应的移动对象区域的面积与预定阈值进行比较，其中，所述生成单元基于所述比较的结果改变所述输出图像的生成模式。6.根据权利要求5所述的成像装置，其中，在所述移动对象区域的面积小于所述预定阈值的情况下，所述生成单元对通过从所述多个生成图像的每个生成图像中排除所述移动对象而获得的多个静止对象图像进行组合，以生成合成图像，以及通过将所述参考图像拟合到所述合成图像中来生成所述输出图像。7.根据权利要求6所述的成像装置，其中，所述生成单元包括：差异检测单元，其检测所述参考图像与所述检测图像之间的差异；运动矢量检测单元，其基于所述参考图像与所述检测图像来检测所述移动对象的运动矢量；提取图生成单元，其基于所述差异和所述运动矢量来估计在获取所述生成图像中的每个生成图像的定时处所述移动对象在图像上的位置，并且生成包括设置在所估计的位置处的所述移动对象的多个提取图；静止对象图像生成单元，其通过从除所述参考图像之外的所述多个生成图像中减去对应的所述提取图来生成所述多个静止对象图像；合成图像生成单元，其对所述多个静止对象图像进行组合以生成所述合成图像；以及输出图像生成单元，其通过将所述参考图像拟合到所述合成图像中来生成所述输出图像。8.根据权利要求5所述的成像装置，其中，在所述移动对象区域的面积大于所述预定阈值的情况下，
所述生成单元基于由所述图像传感器依次获取的所述多个生成图像来预测所述移动对象的运动，以及生成基于预测的结果经过运动补偿处理的所述输出图像。9.根据权利要求1所述的成像装置，其中，所述驱动单元使所述成像模块的一部分移动，以使得所述图像传感器能够依次获取除所述预定像素相位之外的像素相位下的所述多个生成图像。10.根据权利要求1所述的成像装置，其中，所述驱动单元使所述成像模块的一部分移动，以使得所述图像传感器能够重复地按照所述生成图像和所述检测图像的顺序依次获取所述生成图像和所述检测图像。11.根据权利要...

【专利技术属性】
技术研发人员：市桥英之，横川昌俊，西智裕，竺逸雯，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：