双传感器摄像系统及其深度图计算方法技术方案

本发明专利技术提供一种双传感器摄像系统及其深度图计算方法。双传感器摄像系统包括至少一个色彩传感器、至少一个红外线传感器、存储装置及处理器。处理器经配置以加载并执行存储在存储装置中的计算机程序以：控制色彩传感器及红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；从多张色彩图像及多张红外线图像中适应性选择出彼此可对比的色彩图像及红外线图像的组合；以及使用所选择的色彩图像及红外线图像计算摄像场景的深度图。算摄像场景的深度图。算摄像场景的深度图。

【技术实现步骤摘要】
双传感器摄像系统及其深度图计算方法


[0001]本公开涉及一种摄像系统及方法，尤其涉及一种双传感器摄像系统及其深度图计算方法。

技术介绍

[0002]相机的曝光条件(包括光圈、快门、感亮度)会影响所拍摄图像的质量，因此许多相机在拍摄图像的过程中会自动调整曝光条件，以获得清晰且明亮的图像。然而，在低光源或是背光等高反差的场景中，相机调整曝光条件的结果可能会产生噪声过高或是部分区域过曝的结果，无法兼顾所有区域的图像质量。
[0003]对此，目前技术有采用一种新的图像传感器架构，其是利用红外线(IR)传感器高光敏感度的特性，在图像传感器的色彩像素中穿插配置IR像素，以辅助亮度检测。举例来说，图1是现有使用图像传感器获取图像的示意图。请参照图1，现有的图像传感器10中除了配置有红(R)、绿(G)、蓝(B)等颜色像素外，还穿插配置有红外线(I)像素。因此，图像传感器10能够将R、G、B颜色像素所获取的色彩信息12与I像素所获取的亮度信息14结合，而获得色彩及亮度适中的图像16。
[0004]然而，在上述单一图像传感器的架构下，图像传感器中每个像素的曝光条件相同，因此只能选择较适用于颜色像素或红外线像素的曝光条件来获取图像，结果仍无法有效地利用两种像素的特性来改善所获取图像的图像质量。

技术实现思路

[0005]本专利技术提供一种双传感器摄像系统及其深度图计算方法，可精确地算出摄像场景的深度图。
[0006]本专利技术的双传感器摄像系统包括至少一个色彩传感器、至少一个红外线传感器、存储装置以及耦接所述色彩传感器、红外光传感器及存储装置的处理器。所述处理器经配置以加载并执行存储在存储装置中的计算机程序以：控制色彩传感器及红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；从多张色彩图像及多张红外线图像中适应性选择出彼此可对比的色彩图像及红外线图像的组合；以及使用所选择的色彩图像及红外线图像计算摄像场景的深度图。
[0007]本专利技术的双传感器摄像系统的深度图计算方法，适用于包括至少一个色彩传感器、至少一个红外线传感器及处理器的双传感器摄像系统。所述方法包括下列步骤：控制色彩传感器及红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；从多张色彩图像及多张红外线图像中适应性选择出彼此可对比的色彩图像及红外线图像的组合；以及使用所选择的色彩图像及红外线图像计算摄像场景的深度图。
[0008]基于上述，本专利技术的双传感器摄像系统及其深度图计算方法，通过在独立配置的色彩传感器及红外线传感器上采用适于当前摄像场景的不同曝光条件来获取多张图像，并
从中选择出彼此可对比的色彩及红外线图像来计算摄像场景的深度图，因此可精确地算出摄像场景的深度图。
[0009]为让本公开能还明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
[0010]图1是现有使用图像传感器获取图像的示意图；
[0011]图2是依照本专利技术一实施例所示出的使用图像传感器获取图像的示意图；
[0012]图3是依照本专利技术一实施例所示出的双传感器摄像系统的方块图；
[0013]图4是依照本专利技术一实施例所示出的双传感器摄像系统的深度图计算方法的流程图；
[0014]图5是依照本专利技术一实施例所示出的双传感器摄像系统的深度图计算方法的流程图；
[0015]图6是依照本专利技术一实施例所示出的双传感器摄像系统的深度图计算方法的范例；
[0016]图7是依照本专利技术一实施例所示出的双传感器摄像系统的深度图计算方法的流程图。
[0017]符号说明
[0018]10、20：图像传感器
[0019]12：色彩信息
[0020]14：亮度信息
[0021]16：图像
[0022]22：色彩传感器
[0023]22a、62：色彩图像
[0024]24：红外线传感器
[0025]24a、64：红外线图像
[0026]26：场景图像
[0027]30：双传感器摄像系统
[0028]32：色彩传感器
[0029]34：红外线传感器
[0030]36：存储装置
[0031]38：处理器
[0032]62a：人脸区域
[0033]66：深度图
[0034]R、G、B、I：像素
[0035]S402～S406、S502～S510、S702～S710：步骤
具体实施方式
[0036]本专利技术实施例适用在独立配置有色彩传感器及红外线传感器的双传感器摄像系统。其中，由于色彩传感器及红外线传感器之间具有像差(parallex)，其所获取的色彩图像
及红外线图像可用以计算摄像场景的深度图。针对色彩传感器所获取的色彩图像可能会因为摄像场景中的光线反射、阴影、高反差等因素的影响而有过曝或曝光不足的情况，本专利技术实施例利用红外线图像具有较佳的信噪比(Signal to noise ratio，SNR)且包含较多的摄像场景的纹理细节的优点，使用红外线图像所提供的纹理信息来辅助缺陷区域的深度值的计算，从而可获得精确的摄像场景的深度图。
[0037]图2是依照本专利技术一实施例所示出的使用图像传感器获取图像的示意图。请参照图2，本专利技术实施例的图像传感器20采用独立配置色彩传感器22与红外线(IR)传感器24的双传感器架构，利用色彩传感器22与红外线传感器24各自的特性，采用适于当前拍摄场景的多个曝光条件分别获取多张图像，并从中选择曝光条件适当的色彩图像22a与红外线图像24a。在一些实施例中，透过图像融合的方式，可使用红外线图像24a来补足色彩图像22a中缺乏的纹理细节，从而获得色彩及纹理细节均佳的场景图像26。而在一些实施例中，则可使用色彩图像22a与红外线图像24a来计算摄像场景的深度图，并利用红外线图像24a所提供的纹理细节来补偿色彩图像中缺乏的纹理细节，并辅助计算缺陷区域的深度值。
[0038]图3是依照本专利技术一实施例所示出的双传感器摄像系统的方块图。请参照图3，本实施例的双传感器摄像系统30可配置于手机、平板计算机、笔记本电脑、导航装置、行车纪录器、数字相机、数字摄影机等电子装置中，用以提供摄像功能。双传感器摄像系统30包括至少一个色彩传感器32、至少一个红外线传感器34、存储装置36及处理器38，其功能分述如下：
[0039]色彩传感器32例如包括电荷耦合器件(Charge Coupled Device，CCD)、互补金属氧化物半导体(Complementary Metal
‑
Oxide Semiconductor，CMOS)器件或其他种类的感光器件，而可感测光线强度以产生摄像场景的图像。色彩传感器32例如是红绿蓝(RGB)图像传感器，其中包括红(R)、绿(G)、蓝(B)颜色像素，用以获取摄像场景中的红光、绿光、蓝光等色彩信息，并将这些色彩信息合成以生成摄像场景的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双传感器摄像系统，包括：至少一色彩传感器；至少一红外线传感器；存储装置，存储计算机程序；以及处理器，耦接所述至少一色彩传感器、所述至少一红外光传感器及所述存储装置，经配置以加载并执行所述计算机程序以：控制所述至少一色彩传感器及所述至少一红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；从所述多张色彩图像及所述多张红外线图像中适应性选择出彼此可对比的所述色彩图像及所述红外线图像的组合；以及使用所选择的所述色彩图像及所述红外线图像计算所述摄像场景的深度图。2.根据权利要求1所述的双传感器摄像系统，其中所述处理器包括：从所述多张色彩图像中选择能显露出所述摄像场景的颜色细节的色彩图像作为基准图像；识别所述基准图像中缺乏纹理细节的至少一缺陷区域；以及从所述多张红外线图像中选择能显露出所述缺陷区域的所述纹理细节的红外线图像，用以作为与所述基准图像彼此对比的组合。3.根据权利要求2所述的双传感器摄像系统，其中所述处理器还包括：利用所述色彩图像执行自动对焦，以取得所述摄像场景中所拍摄物体的焦距，并根据所述焦距决定可显露所述物体的所述颜色细节最多的色彩图像作为所述基准图像。4.根据权利要求1所述的双传感器摄像系统，其中所述处理器包括：计算各所述色彩图像及各所述红外线图像的图像直方图；以及选择所述色彩图像其中之一或所述红外线图像其中之一作为基准，比较各所述色彩图像及各所述红外线图像的所述图像直方图，以确定彼此可对比的所述色彩图像及所述红外线图像的组合。5.根据权利要求4所述的双传感器摄像系统，其中所述处理器包括：选择所述色彩图像其中之一作为基准图像，并选择所述红外线图像其中之一与所述基准图像比较，而依据所述图像直方图判断所选择的所述红外线图像的亮度是否高于所述基准图像的亮度；若是，从所获取的所述多张红外线图像中选择曝光时间较所选择的所述红外线图像的曝光时间短的红外线图像，或控制所述至少一红外线传感器采用较所选择的所述红外线图像的曝光时间短的曝光时间获取红外线图像，用以作为与所述基准图像彼此对比的组合；以及若否，从所获取的所述多张红外线图像中选择曝光时间较所选择的所述红外线图像的曝光时间长的红外线图像，或控制所述至少一红外线传感器采用较所选择的所述红外线图像的曝光时间长的曝光时间获取红外线图像，用以作为与所述基准图像彼此对比的组合。6.根据权利要求4所述的双传感器摄像系统，其中所述处理器包括：选择所述红外线图像其中之一作为基准图像，并选择所述色彩图像其中之一与所述基准图像比较，而依据所述图像直方图，判断所选择的所述色彩图像的亮度是否高于所述基
准图像的亮度；若是，从所获取的所述多张色彩图像中选择曝光时间较所选择的所述色彩图像的曝光时间短的色彩图像，或控制所述至少一色彩传感器采用较所选择的所述色彩图像的曝光时间短的曝光时间获取色彩图像，用以作为与所述基准图像彼此对比的组合；以及若否，从所获取的所述多张色彩图像中选择曝光时间较所选择的所述色彩图像的曝光时间长的色彩图像，或控制所述至少一色彩传感器采用较所选择的所述色彩图像的曝光时间长的曝光时间获取色彩图像，用以作为与所述基准图像彼此对比的组合。7.根据权利要求1所述的双传感器摄像系统，其中所述处理器包括：检测所选择的所述色彩图像中缺乏颜色细节或纹理细节的至少一遮盖；以及执行空洞填补算法，以根据所选择的所述红外线图像所提供的各所述遮盖周围的纹理细节，由各所述遮盖周围多个像素的深度值决定所述遮盖的深度值。8.根据权利要求7所述的双传感器摄像系统，其中所述双传感器摄像系统还包括红外线投射器，所述处理器还包括：在检测到所述遮盖时，控制所述红外线投射器投射红外线至所述摄像场景，并控制所述至少一红外线传感器获取所述摄像场景的红外线图像；以及根据所获取的所述红外线图像所提供的各所述遮盖周围的纹理细节，由各所述遮盖周围的多个像素的深度值决定所述遮盖的深度值。9.根据权利要求1所述的双传感器摄像系统，其中所述处理器包括：获取所选择的所述色彩图像及所述红外线图像中特征强健的多个特征点；以及根据所述色彩图像及所述红外线图像中彼此相对应的所述特征点的位置，计算所述摄像场景的所述深度图。10.根据权利要求1所述的双传感器摄像系统，其中所述处理器包括：控制所述至少一色彩传感器及所述至少一红外线传感器中的至少一者采用标准曝光条件获取所述摄像场景的至少一标准图像，并使用所述至少一标准图像识别所述摄像场景。11.一种双传感器摄像系统的深度图计算方法，所述双传感器摄像系统包括至少一色彩传感器、至少一红外线传感器及处理器，所述方法包括下列步骤：由所述处理器控制所述至少一色彩传感器及所述至少一红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；由所述处理器从所述多张色彩图...

【专利技术属性】
技术研发人员：彭诗渊，郑书峻，黄旭鍊，李运锦，赖国铭，
申请(专利权)人：聚晶半导体股份有限公司，
类型：发明
国别省市：