全聚焦摄影装置及方法制造方法及图纸

本发明专利技术涉及一种全聚焦摄影装置及方法。本全聚焦图像摄影装置包括：深度传感器、可变焦相机、相机控制及图像处理器。全聚焦摄影装置首先由深度传感器获取摄像场景的深度图，在深度图与彩色图完成配准以后进而通过深度图的分割确定摄像场景中物体在图像中所占区域，然后通过变焦相机改变焦距为每一分割区域获取清晰图像，最终合成场景的全聚焦图像。本发明专利技术提供的全聚焦图像摄影装置及方法可实时获取高质量的全聚焦图像，使得摄像机的景深得到了大幅度的提升，可广泛用于专业摄影、安全监控、飞行器航拍等领域。

【技术实现步骤摘要】

本专利技术涉及一种全聚焦摄影装置及方法。技术背景如今形形色色的摄像机广泛应用于记录生活中的片段、影视制作、安全监控、天文观测、显微观察等，成为人们生活中不可或缺的一部分。一般摄像机在产生某一帧图像的时候总是在某一特定的参数下如焦距、光圈、快门等，其中只有处于特定距离的物体其影像才能真正处于摄像机的焦面上，在图像上反映出来就是总是图像中特定物体成像清晰而其他物体或多或少出现了模糊现象，当相机焦距较长时，其景深较短非对焦物体容易出现模糊现象，而当相机焦距较短时由于此时景深较长非对焦物体的模糊现象则不明显。而在诸如安全监控、显微观察、摇杆探测等应用场景中，一幅只有部分物体清晰的图像会丢失掉很多信息，非常不利于后续基于这些图像的分析处理。因此，本专利技术的目的在于针对已有技术的不足，提供一种全聚焦摄影装置及方法，可用于获取场景的全聚焦图像。
技术实现思路
为了达到上述目的，本专利技术采用下述技术方案：一种全聚焦摄影装置，包括可变焦相机(202)、深度传感器(203)和相机控制及图像处理器(201)，其特征在于：所述相机控制及图像处理器(201)连接可变相机和深度传感器(203)；所述深度传感器用于获取场景的深度信息；可变焦相机用于改变焦距获取场景多聚焦图像；图像处理器用于分析处理深度传感器输出的场景深度信息，分析可变焦相机获取的彩色图像驱动可变焦相机改变焦距获取多聚焦图像及合成全聚焦图像。一种全聚焦摄像方法，采用上述装置进行操作，其特征在于操作步骤如下：(1)获取场景深度图：视具体实施例可选用红外散斑技术、结构光技术、双目立体视觉技术、激光雷达等方案来获取场景深度信息。(2)深度图预处理：针对深度图中可能的无效数据，通过深度图预处理提升深度图质量。(3)深度图与彩色图配准：通过标定深度传感器与彩色图像传感器得到它们的内部参数和相对位置关系配准深度图与彩色图。(4)深度图分割：通过图像分割算法对预处理后的图像进行分割得到场景中不同物体在图像中的位置区域。(5)获取多聚焦图像：通过改变可调焦相机的焦距为步骤(4)中每一分割的区域获取最清晰的图像。(6)合成多聚焦图像：通过组合所有分割区域中的最清晰图像得到全聚焦图像。本专利技术与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：本专利技术提供的全聚焦摄影装置及方法，可实时获取高质量的全聚焦图像，使得摄像机的景深得到大幅度的提升，可广泛应用于专业摄影、安全监控和飞行器航拍等领域。附图说明图1是全聚焦摄像方法流程图图2是全聚焦摄像装置组成图图3是具体实施例的全聚焦摄像装置示意图图4是深度图中无效数据示意图图5修复后的深度图具体实施方式下面参照附图，详细地说明对本专利技术的优选实施例。实施例一：参加图1，本全聚焦摄影装置，包括一种全聚焦摄影装置，包括可变焦相机(202)、深度传感器(203)和相机控制及图像处理器(201)，其特征在于：所述相机控制及图像处理器(201)连接可变相机和深度传感器(203)；所述深度传感器用于获取场景的深度信息；可变焦相机用于改变焦距获取场景多聚焦图像；图像处理器用于分析处理深度传感器输出的场景深度信息，分析可变焦相机获取的彩色图像驱动可变焦相机改变焦距获取多聚焦图像及合成全聚焦图像。实施例二：本全聚焦摄影方法，采用上述装置进行操作，其特征在于步骤如下：(1)获取场景深度图：视具体实施例可选用红外散斑技术、结构光技术、双目立体视觉术和激光雷达来获取场景深度信息；(2)深度图预处理：针对深度图中可能的无效数据，通过深度图预处理提升深度图质量；(3)深度图与彩色图配准：通过标定深度传感器与彩色图像传感器得到它们的内部参数和相对位置关系配准深度图与彩色图；(4)深度图分割：通过图像分割算法对预处理后的图像进行分割得到场景中不同物体在图像中的位置区域；(5)获取多聚焦图像：通过改变可调焦相机的焦距为步骤(4)中每一分割的区域获取最清晰的图像；(6)合成多聚焦图像：通过组合所有分割区域中的最清晰图像得到全聚焦图像。实施例三：参阅图3，本全聚焦摄像装置由红外线发射器(301)，变焦彩色摄像机(302)，红外相机(303)组成。其中红外线发射器(301)与红外相机(303)组成深度传感器，其中红外线发射器(301)向空间投射随机散斑，这些散斑会随着距离的不同而变图案从而对空间进行标记。红外相机(303)记录这些散斑并与预先记录的空间散斑图案进行匹配即可获得空间的深度图。典型的采用这种方案的深度传感器是Microsoft的Kinect及ASUS的Xtion。在此全聚焦摄像装置下，全聚焦摄像方法通过以下步骤实现：(1)获取场景深度图(S101)：通过由红外线发射器(301)及红外相机(303)组成的深度传感器获取场景的深度图。(2)深度图预处理(S102)：在上述深度传感器的方案下，由于光线遮挡、物体表面非正常反射、随机测量误差等影像因素使得深度图具有无效数据，因而需要进行预处理。深度图中的无效数据参见图4中的黑洞部分，在本方法中采用各向异性扩散函数来恢复深度图中的无效数据。对于一幅图像I其各向异性扩散函数为：其中，div是散度算子，是梯度算子，Δ是拉普拉斯算子。c(x,y,t)是传导系数。在实际应用中某一无效位置数据可由以下方法进行恢复：其中，0≤λ≤1，是无效数据位置处相邻非无效数据与其相邻非无效数据的差值。传导系数选择如下：K为一常数。图5是用此深度图恢复办法恢复后的深度图，可见无效深度图的数据都得到了恢复。(3)深度图与彩色图配准(S103)：此步骤将深度图与彩色图对齐，根据相机成像模型，图像坐标系与世界坐标系之间的关系可以表述为：其中，为图像坐标系坐标，PC为相机坐标系坐标，PW为世界坐标系坐标。为一缩放因子为图像上一点距其在世界坐标系中对应点的距离。H为相机内部参数，R及T表征了相机坐标系与世界坐标系之间的相对位置关系为相机内参。据此深度图像坐标及彩色图坐标与世界坐标系之间的关系表达如下：从而深度图像与彩色图像之间的相对关系如下：其中，R及T表达了深度传感器与彩色传感器之间的相对位置关系。可通过双目标定方法标得到深度传感器及彩色传感器的内部参数(Hcolor,Hdepth)及它们之间的相对位置关系(R,T)从而将深度图与彩色图进行对齐。(4)深度图分割(S104)：通过分割深度图来确定场景中不同的物体在图像中所占的区域，图像的分割方法有多种如：基于图的分割、k均值分割、meanshift分割等。在本实施例中采用基于图的分割来对配准后的深度图进行分割。(5)获取多聚焦图像(S105)：在得到分割后的深度图后，通过改变可变焦彩色相机的焦距来调节每一分割区域的清晰程度，最清晰的图像则需要通过清晰度评价函数来确定。清晰度评价函数是一种图像清晰程度的量化指标，一般当图像最清晰时，清晰度评价函数达到最大值。在本实施例中推荐使用Sum-modified-Laplacian(SML)或NormalizedVariance(NV)来作为清晰度评价函数。它们的表达式如下：其中μ为图像的平均像素值。(6)合成多聚焦图像(S106)：最终的多聚焦图像通过组合各分割区域中的最清晰图像得到。本专利技术还能够通过以下方式来实现：深度传感器由两个彩色相机构成，根据立体视觉原理本文档来自技高网...

【技术保护点】
一种全聚焦摄影装置，包括可变焦相机(202)、深度传感器(203)和相机控制及图像处理器(201)，其特征在于：所述相机控制及图像处理器(201)连接可变相机和深度传感器(203)；所述深度传感器用于获取场景的深度信息；可变焦相机用于改变焦距获取场景多聚焦图像；图像处理器用于分析处理深度传感器输出的场景深度信息，分析可变焦相机获取的彩色图像驱动可变焦相机改变焦距获取多聚焦图像及合成全聚焦图像。

【技术特征摘要】
1.一种全聚焦摄影装置，包括可变焦相机(202)、深度传感器(203)和相机控制及图像处理器(201)，其特征在于：所述相机控制及图像处理器(201)连接可变相机和深度传感器(203)；所述深度传感器用于获取场景的深度信息；可变焦相机用于改变焦距获取场景多聚焦图像；图像处理器用于分析处理深度传感器输出的场景深度信息，分析可变焦相机获取的彩色图像驱动可变焦相机改变焦距获取多聚焦图像及合成全聚焦图像。2.一种全聚焦摄影方法，采用根据权利要求1所述的全聚焦摄影装置进行操作，其特征在于操作步骤如下：(1)获取场景深度图：视具体实施例可选用红外散斑技术、结构光技术、双目立体视觉术和激光雷达来获取场景深度信息；(2)深度图预处理：针对深度图中可能的无效数据，通过深度图预处理提升深度图质量；(3)深度图与彩色图配准：通过标定深度传感器与彩色图像传感器得到它们的内部参数和相对位置关系配准深度图与彩色图；(4)深度图分割：通过图像分割算法对预处理后的图像进行分割得到场景中不同物体在图像中的位置区域；(5)获取多聚焦图像：通过改变可调焦相机的焦距为步骤(4)中每一分割的区域获取最清晰的图像...

【专利技术属性】
技术研发人员：刘航，李恒宇，程洪涛，曹宁，丁长权，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海;31