多光圈相机系统及其操作方法技术方案

一种多光圈相机系统及其操作方法，包括：第一光圈，引入RGB光信号；第二光圈，区别于所述第一光圈，引入与所述RGB光信号不同波长带的光信号；图像传感器，处理经由所述第一光圈引入的所述RGB光信号来获取与被拍摄物体相关的第一图像，且处理经由所述第二光圈引入的与所述RGB光信号不同波长带的光信号来获取与所述被拍摄物体相关的第二图像；以及距离决定部，利用所述第一图像与所述第二图像之间的视差，决定所述图像传感器与所述被拍摄物体之间的距离，其中，所述第一光圈和所述第二光圈以具有互相错位的中心位置的方式形成在单一光学系统上。

Multi aperture camera system and operation method thereof

Including a multi aperture camera system and its operation method: first, the introduction of RGB aperture optical signal; second aperture, different from that of the first aperture, the introduction of optical signals of different wavelengths and the RGB optical signal; image sensor, and photographed the first image object to obtain the optical signal into the RGB processing through the first aperture, and different wavelength and the RGB optical signal with optical signal is introduced via the second aperture to obtain the objects photographed second image correlation; and distance, the disparity between the first image and the second image, determine the image the sensor and the object to be shot the distance between the center position of the first aperture and the second aperture with each other to form in a single optical system.

【技术实现步骤摘要】
多光圈相机系统及其操作方法
下述实施例涉及一种利用视差(disparity)的多光圈相机系统，其是一种利用通过多个光圈获取的图像间的视差来决定多光圈相机系统所包括的图像传感器与被拍摄物体间的距离的技术。
技术介绍
现有的决定图像传感器和被拍摄物体间的距离的散焦测距(DFD，DepthFromDefocus)技术利用通过多个光圈获取的各个图像中的模糊大小来推定图像传感器与被拍摄物体间的距离。但现有的DFD技术由于在使图像模糊化进而同一地制造出各个图像中的模糊大小后，基于模糊的程度来推定图像传感器与被拍摄物体间的距离，因此存在不能精确计算图像传感器与被拍摄物体间的距离的缺点。对此，为了决定图像传感器与被拍摄物体间的距离，建议了一种利用通过多个光圈获取的图像间的视差的技术。具体来讲，现有的利用视差的技术通过在两个光学系统的每个中设置光圈和图像传感器，通过两个光学系统的每个的光圈，利用在图像传感器获取的图像间的视差来决定图像传感器与被拍摄物体间的距离。这种现有的利用视差的技术由于在结构上必须设置两个光学系统，存在难以适用于小型化相机模块的缺点，并且也存在制造成本上升的问题。因此，为了解决现有的DFD技术以及现有的利用视差的技术的缺点和问题，下述实施例建议了一种决定图像传感器与被拍摄物体间的距离的技术。
技术实现思路
一个实施例为了解决现有DFD技术和利用现有视差的技术的缺点和问题，提供了一种按照以图像传感器的水平方向、竖直方向或倾斜(oblique)方向中的任一方向移位(offset)而具有互相错位中心位置的方式，利用形成在单一光学系统上的多个光圈而决定图像传感器与被拍摄物体间的距离的多光圈相机系统及其动作方法。并且，一个实施例按照以图像传感器的水平方向、竖直方向或倾斜(oblique)方向中的任一方向移位(offset)而具有互相错位中心位置的方式，利用经由形成在单一光学系统上的多个光圈引入RGB光信号的第一光圈以及引入与RGB光信号不同波长带的光信号的第二光圈，提供了一种保障图像传感器获取的RGB图像质量的多光圈相机系统及其动作方法。并且，一个实施例针对相同的光学系统或光学镜头通过包含至少两个光圈的相机来推定相机与被拍摄物体间的距离，可按相比立体照相机尺寸小、费用低的方式制造相机。并且，一个实施例针对相同的光学系统或光学镜头通过使用包含至少两个光圈的相机，不需要立体照相机要求的校准(calibration)过程，且能改善因校准误差而发生的问题。并且，一个实施例通过第一光圈在不损伤RGB光信号的情况下而进行引入，即使不经过额外的图像信号处理过程，也能按低复杂度获取高质量的RGB图像。并且，一个实施例通过第一光圈和第二光圈的排序，使用于推定距离的扫描线处理算法容易适用，可大幅度改善运算的复杂度以及硬件的复杂度。具体来讲，一个实施例提供了一种多光圈相机系统及其动作方法，以通过第一光圈获取的第一图像中与被拍摄物体相关的源区域为基准，根据搜索范围，搜索通过第二光圈获取的第二图像中与被拍摄物体相关的多个目标区域，且计算多个目标区域的每一个与源区域之间的相关度进而选择多个目标区域中任意一个目标区域，且利用选择的任意一个目标区域与源区域之间的视差来决定图像传感器与被拍摄物体之间的距离。并且，一个实施例提供了一种多光圈相机系统及其动作方法，在搜索多个目标区域的过程中，将源区域和多个目标区域的高度和宽度按多个值进行变更，且搜索多个目标区域。并且，一个实施例提供了一种多光圈相机系统及其动作方法，将形成有第一光圈和第二光圈的单一光学系统按针对图像传感器相对配置在多个位置的方式进行移动，且利用获取的多个图像组每一个中的视差来决定图像传感器与被拍摄物体之间的距离。根据一个实施例，利用视差的多光圈相机系统包括：第一光圈，引入RGB光信号；第二光圈，区别于所述第一光圈，引入与所述RGB光信号不同波长带的光信号；图像传感器，处理经由所述第一光圈引入的所述RGB光信号来获取与被拍摄物体相关的第一图像，且处理经由所述第二光圈引入的与所述RGB光信号不同波长带的光信号来获取与所述被拍摄物体相关的第二图像；以及距离决定部，利用所述第一图像与所述第二图像之间的视差，决定所述图像传感器与所述被拍摄物体之间的距离，所述第一光圈和所述第二光圈按照具有沿所述图像传感器的水平方向、竖直方向或倾斜方向中的至少一个方向移位的中心位置的方式而形成。所述第二光圈引入IR光信号。所述第一光圈和所述第二光圈形成为具有圆、椭圆、三角、四角、多角或组合上述之形态中的任一形态。所述第二光圈设置有多个，用于搜索针对所述被拍摄物体的隐藏区域。所述多个第二光圈引入互相不同波长带的光信号。所述第一光圈按照具有与所述单一光学系统的中心位置相同的中心位置的方式而形成。所述距离决定部基于所述第一图像与所述第二图像之间的视差、所述第一光圈的中心位置与所述第二光圈的中心位置之间的距离、所述图像传感器焦点对准的被拍摄物体距离以及焦距，计算从所述被拍摄物体至形成有所述第一光圈和所述第二光圈的单一光学系统的距离。所述多光圈相机系统进一步包括SIR透光镜，防止与所述RGB光信号不同波长带的光信号泄露到用于获取所述第一图像而处理所述RGB光信号的RGB像素中，其中所述RGB像素包含在所述图像传感器中。所述多光圈相机系统进一步包括双频道滤光镜，为了防止与所述RGB光信号不同波长带的光信号泄漏到用于获取所述第一图像而处理所述RGB光信号的RGB像素中，配置于所述第一光圈和所述第二光圈上部，进而选择性地引入所述RGB光信号或与所述RGB光信号不同波长带的光信号中的任一个光信号。所述第一光圈和所述第二光圈在所述单一光学系统上互相不重叠地独立形成。所述第一光圈和所述第二光圈在所述单一光学系统上至少一部分区域互相重叠而形成。所述第二光圈形成于所述第一光圈区域内。所述距离决定部，以所述第一图像中与所述被拍摄物体相关的源区域为基准，根据搜索范围，搜索所述第二图像中与所述被拍摄物体相关的多个目标区域，且计算所述多个目标区域的每一个与所述源区域之间的相关度进而选择所述多个目标区域中任意一个目标区域，且利用所述选择的任意一个目标区域与所述源区域之间的视差来决定所述图像传感器与所述被拍摄物体之间的距离。所述距离决定部，将所述源区域和所述多个目标区域的高度和宽度按多个值进行变更，且以所述源区域为基准，根据所述搜索范围，在所述第二图像中搜索所述多个目标区域。根据一个实施例，一种利用视差的多光圈相机系统的动作方法，包括如下步骤：通过第一光圈引入RGB光信号；通过与所述第一光圈相区别的第二光圈，引入与所述RGB光信号不同波长带的光信号；在图像传感器中，分别处理经由所述第一光圈引入的所述RGB光信号以及与经由所述第二光圈引入的所述RGB光信号不同波长带的光信号，获取与被拍摄物体相关的第一图像和第二图像；以及在距离决定部中，利用所述第一图像和所述第二图像之间的视差，决定所述图像传感器与所述被拍摄物体之间的距离，其中，所述第一光圈和所述第二光圈以具有互相错位的中心位置的方式形成在单一光学系统上。根据一个实施例，一种利用视差的多光圈相机系统，包括：单一光学系统，形成有引入RGB光信号的第一光圈以及引入与所述RGB光信号不同波长带的光本文档来自技高网...

【技术保护点】
一种多光圈相机系统，利用视差，所述多光圈相机系统包括：第一光圈，配置为引入RGB光信号；第二光圈，区别于所述第一光圈，并且配置为引入与所述RGB光信号不同波长的红外线(IR)光信号；图像传感器，配置为处理经由所述第一光圈引入的所述RGB光信号来获取物体的第一图像，且配置为处理经由所述第二光圈引入的所述IR光信号来获取所述物体的第二图像；以及距离决定部，配置为利用所述第一图像与所述第二图像之间的视差，决定所述图像传感器与所述物体之间的距离，其中，所述第一光圈和所述第二光圈以互相具有不同中心的方式形成在单一光学系统上。

【技术特征摘要】
2015.11.23 KR 10-2015-0164214;2016.02.01 KR 10-2011.一种多光圈相机系统，利用视差，所述多光圈相机系统包括：第一光圈，配置为引入RGB光信号；第二光圈，区别于所述第一光圈，并且配置为引入与所述RGB光信号不同波长的红外线(IR)光信号；图像传感器，配置为处理经由所述第一光圈引入的所述RGB光信号来获取物体的第一图像，且配置为处理经由所述第二光圈引入的所述IR光信号来获取所述物体的第二图像；以及距离决定部，配置为利用所述第一图像与所述第二图像之间的视差，决定所述图像传感器与所述物体之间的距离，其中，所述第一光圈和所述第二光圈以互相具有不同中心的方式形成在单一光学系统上。2.如权利要求1所述的多光圈相机系统，其中，所述第一光圈和所述第二光圈按照具有沿所述图像传感器的水平方向、竖直方向或倾斜方向中的至少一个方向移位的中心的方式而形成。3.如权利要求1所述的多光圈相机系统，其中，所述第一光圈和所述第二光圈的形状为圆、椭圆、三角、四角、多角或上述形状的组合。4.如权利要求1所述的多光圈相机系统，其中，所述第二光圈设置有多个，用于搜索针对所述物体的隐藏区域。5.如权利要求4所述的多光圈相机系统，其中，多个所述第二光圈引入不同波长的IR光信号。6.如权利要求1所述的多光圈相机系统，其中，所述第一光圈按照具有与所述单一光学系统的中心相同的中心的方式而形成。7.如权利要求1所述的多光圈相机系统，其中，所述距离决定部基于所述第一图像与所述第二图像之间的视差、所述第一光圈的中心与所述第二光圈的中心之间的距离、所述图像传感器焦点对准的物体距离以及焦距，计算从所述物体至形成有所述第一光圈和所述第二光圈的所述单一光学系统的距离。8.如权利要求1所述的多光圈相机系统，进一步包括：选择IR(SIR)滤光镜，配置为防止光信号引入到包含在所述图像传感器中并且为所述第一图像而处理所述RGB光信号的RGB像素中。9.如权利要求1所述的多光圈相机系统，进一步包括：双频道滤光镜，配置于所述第一光圈和所述第二光圈上部，并且配置为选择性地引入所述RGB光信号和与所述RGB光信号不同波长的光信号中的一个光信号，为了防止与所述RGB光信号不同波长的光信号引入到为所述第一图像而处理所述RGB光信号的RGB像素中，所述RGB像素包括在所述图像传感器中。10.如权利...

【专利技术属性】
技术研发人员：庆宗旻，文俊护，
申请(专利权)人：财团法人多次元智能IT融合系统，
类型：发明
国别省市：韩国,KR