一种组合摄像系统、移动终端及图像处理方法技术方案

本发明专利技术公开了一种组合摄像系统、移动终端及图像处理方法，组合摄像系统包括第一摄像装置、第二摄像装置、激光投影装置和处理器；激光投影装置用于，向第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；第一摄像装置用于，采集共有视场中的第一可见光彩色图像；第二摄像装置用于，采集共有视场中的可见光灰度图像；第一摄像装置和第二摄像装置中的一者还用于采集共有视场中的不可见光图像；处理器用于，利用第一可见光彩色图像和可见光灰度图像合成第二可见光彩色图像，以及利用不可见光图像计算深度图像。本发明专利技术能以更小的体积、更低的功耗实现对目标的高质量彩色图像以及深度图像的采集。

【技术实现步骤摘要】

本专利技术涉及光学测量及电子领域，尤其涉及一种组合摄像系统、移动终端及图像处理方法。
技术介绍
RGB图像能够记录物体的颜色特征，在模式识别方面已经得到广泛的应用，比如人脸识别、物品检测等。近年来随着深度测量技术的发展，特别是基于结构光技术的发展，利用深度相机测量物体深度信息进一步进行体感操控、3D重建、追踪及避障等应用也逐渐得到重视。在计算设备上配备彩色相机以及深度相机使得设备具有更加广泛的功能，但考虑到移动设备像手机、平板等体积较小的计算设备上，设置许多相机是不明智的，一方面占有大量的空间；另一方面也会带来更大的功耗。
技术实现思路
为了克服现有技术的不足，本专利技术提供了一种组合摄像系统、移动终端及图像处理方法，以较少资源实现高质量的彩色图像采集以及深度图像采集。一种组合摄像系统，包括第一摄像装置、第二摄像装置、激光投影装置和处理器；所述激光投影装置用于，向所述第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；所述第一摄像装置用于，采集所述共有视场中的第一可见光彩色图像；所述第二摄像装置用于，采集所述共有视场中的可见光灰度图像；所述第一摄像装置和第二摄像装置中的一者还用于采集所述共有视场中的不可见光图像；所述处理器用于，利用所述第一可见光彩色图像和可见光灰度图像合成第二可见光彩色图像，以及利用所述不可见光图像计算深度图像。优选的，所述激光投影装置用于交替地向所述共有视场投射所述结构光图案和关闭投射所述结构光图案；所述第一摄像装置和第二摄像装置中采集所述不可见光图像的一者用于，在所述激光投影装置投射所述结构光图案期间采集第一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第二不可见光图像；所述处理器用于，利用所述第一不可见光图像与第二不可见光图像的差分图像计算所述深度图像。优选的，在所述激光投影装置交替投射和关闭投射所述结构光图案的周期内，投射所述结构光图案的时长大于关闭投射所述结构光图案的时长。优选的，所述第一摄像装置的透镜焦距与所述第二摄像装置的透镜焦距不同。优选的，所述不可见激光为红外光激光。优选的，所述激光投影装置设置在所述第一摄像装置与第二摄像装置之间。本专利技术还提供了一种移动终端，包括所述的组合摄像系统。本专利技术还提供了一种图像获取方法，包括如下步骤：投射步骤：激光投影装置向第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；第一采集步骤：所述第一摄像装置采集所述共有视场中的第一可见光彩色图像，所述第二摄像装置采集所述共有视场中的可见光灰度图像；第二采集步骤：所述第一摄像装置和第二摄像装置中的一者还采集所述共有视场中的不可见光图像；处理步骤：所述处理器利用所述第一可见光彩色图像和可见光灰度图像合成第二可见光彩色图像，以及利用所述不可见光图像计算深度图像。优选的，在所述投射步骤中：所述激光投影装置交替地向所述共有视场投射所述结构光图案和关闭投射所述结构光图案；在所述第一采集步骤中：所述第一摄像装置和第二摄像装置中采集所述不可见光图像的一者，在所述激光投影装置投射所述结构光图案期间采集第一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第二不可见光图像；在所述处理步骤中：所述处理器利用所述第一不可见光图像与第二不可见光图像的差分图像计算所述深度图像。优选的，在所述激光投影装置交替投射和关闭投射所述结构光图案的周期内，投射所述结构光图案的时长大于关闭投射所述结构光图案的时长。本专利技术的有益效果是：相比于现有技术，本专利技术能以更小的体积、更低的功耗实现对目标的高质量彩色图像以及深度图像的采集。【附图说明】图1是本专利技术一种实施例的组合摄像系统示意图图2是本专利技术一种实施例的摄像装置的结构示意图图3是本专利技术一种实施例的第一摄像装置的滤光片示意图图4是本专利技术另一种实施例的第二摄像装置的滤光片示意图图5是本专利技术一种实施例的激光投影装置的投影时序图图6是本专利技术一种实施例的移动终端示意图【具体实施方式】以下对专利技术的较佳实施例作进一步详细说明。如图1所示，一种实施例的组合摄像系统，包括第一摄像装置、第二摄像装置、激光投影装置和处理器，处理器分别与第一摄像装置、第二摄像装置和激光投影装置电连接。所述激光投影装置用于，向所述第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；所述第一摄像装置用于，采集所述共有视场中的第一可见光彩色图像，所述第二摄像装置用于，采集所述共有视场中的可见光灰度图像；所述第一摄像装置和第二摄像装置中的一者还用于采集所述共有视场中的不可见光图像；所述处理器用于，利用所述第一可见光彩色图像和可见光灰度图像合成第二可见光彩色图像，以及利用所述不可见光图像计算深度图像。图1中，FOV表示第一摄像装置和第二摄像装置的视角，激光投影装置的投射范围覆盖了第一摄像装置和第二摄像装置的共有视场。如图2所示，摄像装置的典型结构示意图，包括图像传感器1、滤光片2和透镜3，光经过透镜3的汇聚再经过滤光片3后被图像传感器采集。滤光片2用于通过特定波长的光，图像传感器1用于将光转换为数字电信号。普通的RGB相机采用的拜尔滤光片，滤光片具有与图像传感器像素数量相同并一一对应的滤光单元，拜尔滤光片具有用于分别通过红光、绿光以及蓝光的滤光单元，光经过某个滤光单元后入射到与该滤光单元对应的图像传感器的像素。考虑到人眼对绿光更加敏感，因此通常将三者的比例设置为R(25％):G(50％):B(25％)。如图3所示，一种实施例中，第一摄像装置用于采集第一可见光彩色图像以及不可见光图像，第二摄像装置仅用于采集可见光灰度图像。例如第一摄像装置采用RGB-IR相机，其采用的滤光片与拜尔滤光片不同，本实施例的滤光片由四种不同的滤光单元组成，分别可以通过R、G、B以及红外光(IR)分量，四者的比例为R(25％):G(25％):B(25％):IR(25％)，通过采用这种滤光片2，第一摄像装置既可以采集可见光彩色图像，也可以采集不可见的红外光图像。当然，也可以采用其他不可见光的滤光单元替代IR滤光单元，以配合激光投影装置投射的其他不可见激光。本实施例的滤光片的各滤光单元的排列方式及各分量占比并非唯一，也可以有其他的排列及分布方式。第一摄像装置中的图像传感器获取了各个分量(如R、G、B、IR)的光信息之后，由于每一光信息都只占有部分的像素，因而需要通过插值的方式恢复每个像素上的其他三种分量的光强度信息，从而最终实现同步获取RGB图像以及IR图像。插值的方法有多种，比如加权平均等，由于为已有技术因而在这里不加以详述。本实施例中的第二摄像装置是灰度相机，其滤光片是透明的，或者不具有滤光片。由于并没有过滤某些波长的光，因而可以采集到更加强烈的光信号，即使在灰暗的环境下也能保证有较好的图像效果。如图4所示，在另一个实施例中，第一摄像装置仅仅用于采集第一可见光彩色图像，第二摄像装置用于采集可见光灰度图像以及不可见光图像。图4是一种实施例中第二摄像装置采用的滤光片，其中IR表示红外滤光单元，W表示白光过滤单元即透明单元，可以通过任何波长的光。激光投影装置根据投射的结构光图案不同，其结构也不同。本实施例以散斑颗粒结构光图案为例来说明。激光投影装置一般由光源、准直透镜以及衍射光学元件(D本文档来自技高网...

【技术保护点】
一种组合摄像系统，其特征是，包括第一摄像装置、第二摄像装置、激光投影装置和处理器；所述激光投影装置用于，向所述第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；所述第一摄像装置用于，采集所述共有视场中的第一可见光彩色图像；所述第二摄像装置用于，采集所述共有视场中的可见光灰度图像；所述第一摄像装置和第二摄像装置中的一者还用于采集所述共有视场中的不可见光图像；所述处理器用于，利用所述第一可见光彩色图像和可见光灰度图像合成第二可见光彩色图像，以及利用所述不可见光图像计算深度图像。

【技术特征摘要】
1.一种组合摄像系统，其特征是，包括第一摄像装置、第二摄像装置、激光投影装置和处理器；所述激光投影装置用于，向所述第一摄像装置和第二摄像装置的共有视场投射不可见激光的结构光图案；所述第一摄像装置用于，采集所述共有视场中的第一可见光彩色图像；所述第二摄像装置用于，采集所述共有视场中的可见光灰度图像；所述第一摄像装置和第二摄像装置中的一者还用于采集所述共有视场中的不可见光图像；所述处理器用于，利用所述第一可见光彩色图像和可见光灰度图像合成第二可见光彩色图像，以及利用所述不可见光图像计算深度图像。2.如权利要求1所述的组合摄像系统，其特征是，所述激光投影装置用于交替地向所述共有视场投射所述结构光图案和关闭投射所述结构光图案；所述第一摄像装置和第二摄像装置中采集所述不可见光图像的一者用于，在所述激光投影装置投射所述结构光图案期间采集第一不可见光图像，在所述激光投影装置关闭投射所述结构光图案期间采集第二不可见光图像；所述处理器用于，利用所述第一不可见光图像与第二不可见光图像的差分图像计算所述深度图像。3.如权利要求1所述的组合摄像系统，其特征是，在所述激光投影装置交替投射和关闭投射所述结构光图案的周期内，投射所述结构光图案的时长大于关闭投射所述结构光图案的时长。4.如权利要求1所述的组合摄像系统，其特征是，所述第一摄像装置的透镜焦距与所述第二摄像装置的透镜焦距不同。5.如权利要求1所述的组合摄像系统，其特征是，所述不可见激光为红外光激光。6.如...

【专利技术属性】
技术研发人员：黄源浩，刘龙，肖振中，许星，
申请(专利权)人：深圳奥比中光科技有限公司，
类型：发明
国别省市：广东;44