一种多视点多焦距成像的景深拓展方法和系统技术方案

本发明专利技术公开了一种多视点多焦距成像的景深拓展方法和系统，属于景深拓展技术领域。多视点多焦距图像来自于不同视点，相较于传统的单视点焦点堆栈图像具有显著的区别，本发明专利技术方法克服了采用多视点多焦距图像进行拓展景深所面临的诸多挑战，实现了多视点中的每个视点聚焦在不同深度，在单次曝光下，来自于不同视点的焦点堆栈图像能被同时捕获，从而可在所有视点同时曝光下捕获用于拓展场景景深的基本元素，反复拍摄可实时记录动态场景的信息，从而为拓展动态场景的景深提供了可能。而为拓展动态场景的景深提供了可能。而为拓展动态场景的景深提供了可能。

【技术实现步骤摘要】
一种多视点多焦距成像的景深拓展方法和系统


[0001]本专利技术属于景深拓展
，更具体地，涉及一种多视点多焦距成像的景深拓展方法和系统。

技术介绍

[0002]在传统的成像过程中，受像差、衍射和其他因素等影响，所捕获的图像被限制在一个预定义的景深范围内。并且只有在景深范围内的区域是对焦的，在景深范围外的区域则是离焦模糊的。这是记录场景不完整信息的典型表现，在后续的视觉应用当中观察和分析这样具有狭小景深的图像将是不方便和有效的。图像融合技术通过整合多个聚焦在场景不同深度处的图像中的互补信息可以合成一张全景深图像以此来拓展成像系统的景深。通过观察这种全景深图像将有利于在显微成像中对细胞、结构和组织的观察，以及对自然场景的全面描述。
[0003]在过去的几十年当中，许多在多焦距图像融合上的研究已经被发表。它们可以被大致地分为四类：变换域方法、空间域方法、变换域和空间域混合方法以及深度学习方法。尽管这些方法取得了良好的视觉效果，但是受成像过程的机理限制，多焦距图像即焦点堆栈图像的应用被限制于静态场景。无论如何，在实际的应用中，由于相机的移动或者物体的运动，需要面对动态场景而不是静态场景。对于静态场景的焦点堆栈图像通常是在不同时刻通过改变成像系统的焦距或移动成像系统的焦平面所捕获的。显然，这种焦点堆栈图像的捕获方式是无法实现记录动态场景的。相反，需要在同一时刻捕获动态场景的焦点堆栈图像以确保完整记录场景信息。如果无法实时捕获动态场景的焦点堆栈图像，将不利于在物体识别与检测、显微成像、遥感监测和医学成像等不同计算机视觉应用当中获得更准确的结果。
[0004]随着消费电子和工业设备的发展，多视点技术变得越来越重要。相较于单视点，多视点具有宽泛和灵活的视场。受益于此，多视点技术更有利于满足工业生产、工业物联网和交互式媒体的视觉要求。但是多视点图像是仅仅聚焦在单一深度，从而其具有不灵活的景深，这使得多视点图像缺乏拓展景深的基本要素。通常，受限的景深是利用单视点下的焦点堆栈图像进行拓展的，但是单视点的焦点堆栈图像无法实时记录动态场景，从而导致无法拓展动态场景的景深。

技术实现思路

[0005]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种多视点多焦距成像的景深拓展方法和系统，其目的在于解决单视点的焦点堆栈图像无法实时记录动态场景，从而导致无法拓展动态场景景深的技术问题。
[0006]为实现上述目的，按照本专利技术的一个方面，提供了一种多视点多焦距成像的景深拓展方法，包括：S1.设置相机阵列中的各相机聚焦在不同的深度处；在所有相机同时曝光下捕获
场景的多视点多焦距图像；S2.从多视点多焦距图像中任选一个视角作为基准视角，将其他视角对齐到该基准视角下，获得对齐后的多视点多焦距图像；S3.选取聚焦在场景内部的多视点多焦距图像作为待融合源图像；S4.当待融合原图像为两张时，执行步骤S5；当待融合原图像为三张以上时，先对待融合源图像进行分组，分别对各个分组进行融合获得聚焦在前景和背景的图像后，执行步骤S5；S5.将待融合图像进行融合，并进行颜色空间逆变换获得在RGB颜色空间下的融合图像；并对融合图像的颜色分布进行优化；S6.对颜色优化后的融合图像进行边缘细化：以像素值增大的方向作为正方向去计算相应像素个数的变化率，并以变化率最小时所对应的最小像素值作为阈值来区分物体边缘附近的像素和背景区域的像素；当图像中的像素值大于等于该阈值时赋值为1，相反则赋值为0，检测出物体边缘附近的离焦区域；利用聚焦在前景和背景处的图像中的聚焦区域进行填充，获得边缘伪影去除后的最终结果图像。
[0007]进一步地，相机阵列中各相机的聚焦深度以S型递增的方式设置。
[0008]进一步地，步骤S2所述对齐具体包括：提取基准视角特征点并建立描述子，提取尚未进行对齐操作的基准视角相邻视角的特征点并建立描述子；匹配基准视角与相邻视角的特征点并进行匹配度排序，选取最优的特征点对；计算相邻视角与基准视角的单应性变换矩阵；利用3x3的平移变换矩阵作为修正矩阵与单应性矩阵相乘，获得修正后的单应性变换矩阵；按照修正后的单应性变换矩阵将相邻视角对其到基准视角下；以对齐后的相邻视角作为新的基准视角，重复上述对齐操作直至完成全部视角的对齐变换。
[0009]进一步地，所述修正矩阵为。
[0010]进一步地，步骤S4中所述当待融合原图像为三张以上时，对待融合源图像进行分组具体过程为：当待融合源图像的数量是奇数时，将待融合源图像按照聚焦深度的变化分成三组，对于每一组中的源图像依次进行融合，将前两组的结果进行融合作为聚焦在前景的结果，第三组的融合结果作为聚焦在背景的结果；当待融合源图像的数量是偶数时，将待融合源图像按照聚焦深度的变化分为两组，并分别依次进行融合获得聚焦在前景和背景的结果图像。
[0011]进一步地，将待融合图像在Y通道进行融合，具体执行过程为：待融合图像Y通道值由自适应权重块和相似性损失函数所训练的DenseNet网络进行融合。
[0012]进一步地，步骤S5中所述对融合图像的颜色分布进行优化具体过程为：以待融合源图像的直方图作为目标直方图，利用直方图匹配方法使融合图像的颜色分布与待融合源图像的颜色分布保持一致。
[0013]本专利技术还提供了一种多视点多焦距成像的景深拓展系统，包括：多视点多焦距成像模块，用于在相机阵列中所有相机同时曝光下捕获场景的多视点多焦距图像；所述相机阵列中的各相机聚焦在不同的深度处；
多视点多焦距图像对其模块；用于从多视点多焦距图像中任选一个视角作为基准视角，将其他视角对齐到该基准视角下，获得对齐后的多视点多焦距图像；多视点多焦距图像筛选模块，用于选取聚焦在场景内部的多视点多焦距图像作为待融合源图像；判断模块，用于当待融合原图像为两张时，执行多视点多焦距图像融合模块；当待融合原图像为三张以上时，先对待融合源图像进行分组，分别对各个分组进行融合获得聚焦在前景和背景的图像后，执行多视点多焦距图像融合模块；多视点多焦距图像融合模块，将待融合图像在Y通道、Cb/Cr通道进行融合，并进行颜色空间逆变换获得在RGB颜色空间下的融合图像；并对融合图像的颜色分布进行优化；融合图像边缘细化模块，用于以像素值增大的方向作为正方向去计算相应像素个数的变化率，并以变化率最小时所对应的最小像素值作为阈值来区分物体边缘附近的像素和背景区域的像素；当图像中的像素值大于等于该阈值时赋值为1，相反则赋值为0，检测出物体边缘附近的离焦区域；利用聚焦在前景和背景处的图像中的聚焦区域进行填充，获得边缘伪影去除后的最终结果图像。
[0014]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果。
[0015]（1）在以往的景深拓展研究当中，主要是针对于静态场景即在单视点下不同时刻所捕获的焦点堆栈图像，在实际的应用当中，由于相机的移动或者物体的运动，需要面对的是动态场景而不是静态场景。在利用传统的焦点堆栈成像技术捕获动态场景时，由于缺乏实时性从而无法在某一时刻捕获到可用于景深拓展的全部基本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多视点多焦距成像的景深拓展方法，其特征在于，包括：S1.设置相机阵列中的各相机聚焦在不同的深度处；在所有相机同时曝光下捕获场景的多视点多焦距图像；S2.从多视点多焦距图像中任选一个视角作为基准视角，将其他视角对齐到该基准视角下，获得对齐后的多视点多焦距图像；S3.选取聚焦在场景内部的多视点多焦距图像作为待融合源图像；S4.当待融合原图像为两张时，执行步骤S5；当待融合原图像为三张以上时，先对待融合源图像进行分组，分别对各个分组进行融合获得聚焦在前景和背景的图像后，执行步骤S5；S5.将待融合图像进行融合，并进行颜色空间逆变换获得在RGB颜色空间下的融合图像；并对融合图像的颜色分布进行优化；S6.对颜色优化后的融合图像进行边缘细化：以像素值增大的方向作为正方向去计算相应像素个数的变化率，并以变化率最小时所对应的最小像素值作为阈值来区分物体边缘附近的像素和背景区域的像素；当图像中的像素值大于等于该阈值时赋值为1，相反则赋值为0，检测出物体边缘附近的离焦区域；利用聚焦在前景和背景处的图像中的聚焦区域进行填充，获得边缘伪影去除后的最终结果图像。2.根据权利要求1所述的一种多视点多焦距成像的景深拓展方法，其特征在于，相机阵列中各相机的聚焦深度以S型递增的方式设置。3.根据权利要求2所述的一种多视点多焦距成像的景深拓展方法，其特征在于，步骤S2所述对齐具体包括：提取基准视角特征点并建立描述子，提取尚未进行对齐操作的基准视角相邻视角的特征点并建立描述子；匹配基准视角与相邻视角的特征点并进行匹配度排序，选取最优的特征点对；计算相邻视角与基准视角的单应性变换矩阵；利用3x3的平移变换矩阵作为修正矩阵与单应性矩阵相乘，获得修正后的单应性变换矩阵；按照修正后的单应性变换矩阵将相邻视角对其到基准视角下；以对齐后的相邻视角作为新的基准视角，重复上述对齐操作直至完成全部视角的对齐变换。4.根据权利要求3所述的一种多视点多焦距成像的景深拓展方法，其特征在于，所述修正矩阵为 。5.根据权利要求1所述的一种多视点多焦距成像的景深拓展方法，其特征在于，步骤S4中所述当待融合原图像为三张以上时，对待融合源图像进行分组具体过程为：当待融合源图像的数量是奇数时，将待融合源图像按照聚焦深度的变化分成三组，对于每一组中的源图像依次进行融合，将前两组的结果进行融合作为聚焦在前景的结果，第三组的融合结果作为聚焦在背景的结果；当待融合源图像的数量是偶数时，将待融合源图像按照聚焦深度的变化分为两组，并分别依次进行融合获得聚焦在前...

【专利技术属性】
技术研发人员：杨铀，李志龙，刘琼，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：