本发明专利技术公开了一种基于多源数据融合的实时合成孔径透视成像方法，用于解决现有基于能量最小化像素标记合成孔径成像方法实时性差的技术问题。技术方案是利用多源数据，根据第一帧深度图像，获取选定目标所处深度信息，结合目标深度范围分析，标记当前图像中前景像素点和未知深度像素点。然后利用场景的标记信息和目标隶属度函数得到当前彩色图像中像素点属于目标的概率，获取当前帧下的视角姿态信息。最后根据所获取的当前帧的目标存在概率和相机姿态，获取当前帧的合成图像，同时将产生的合成结果和有用信息作为下一帧的输入信息，通过迭代的方式实时获取合成结果。经测试，本发明专利技术能够在得到更清晰的合成图像的同时达到了实时处理的处理效果。
【技术实现步骤摘要】
本专利技术涉及一种实时合成孔径透视成像方法，特别是涉及一种。
技术介绍
基于相机阵列的合成孔径透视成像技术是计算机视觉领域的一个重要研究课题，其在对隐藏目标成像、检测、识别和跟踪以及自由深度视点成像等方面具有广泛的应用。目前的合成孔径透视成像方法主要有:基于平面+视差的合成孔径成像方法与基于能量最小化的像素标记合成孔径成像方法。文献“Synthetic Aperture Imaging using Pixel Labeling via Energy Minimization, PR, 46 (I): 174-187，2013”公开了一种基于能量最小化像素标记合成孔径成像方法。与传统基于平面+视差的合成孔径成像方法不同，该方法将透视成像转化为类别标记问题，而非简单的将所有相机视角下的图像进行平均。该方法首先对每个相机视角下的每一个像素利用能量最小化方法标记是否属于遮挡物，然后，在给定聚焦深度对没有被标记的像素进行平均，获得透视成像。虽然这种方法取得了实验效果，但是却只能解决静态前景遮挡物的标记问题，且对前景目标的分割是否精确具有较强依赖性。对于颜色较为相近的场景该方法同样不能准确分割遮挡物，成像结果依然存在模糊现象。而且作者对于获取特定深度下的目标图像非常耗时，无法实现对隐藏目标的实时透视成像。此外，这种方法只能适用于静态场景，对于前景中存在的动态遮挡物该方法无法进行标记，进而无法有效去除投影后属于动态遮挡物的点。
技术实现思路
为了克服现有基于能量最小化像素标记合成孔径成像方法实时性差的不足，本专利技术提供一种。该方法利用多源数据，首先根据第一帧深度图像，获取选定目标所处深度信息，结合目标深度范围分析，标记当前图像中前景像素点和未知深度像素点。然后利用场景的标记信息和目标隶属度函数得到当前彩色图像中像素点属于目标的概率，同时根据标记信息，利用并行追踪与绘制算法进行相机姿态估计，获取当前帧下的视角姿态信息。最后根据所获取的当前帧的目标存在概率和相机姿态，利用上一帧获取的合成图像信息及其他信息，获取当前帧的合成图像，同时将产生的合成结果和有用信息作为下一帧的输入信息，通过迭代的方式实时获取合成结果。通过在已构建的移动成像平台利用深度彩色相机拍摄的多源数据进行测试，本专利技术能够在得到更清晰以及更接近现实的合成图像的同时达到实时处理的处理效果。本专利技术解决其技术问题所采用的技术方案是:一种，其特点是包括以下步骤:步骤一、采用Kinect体感摄影机获取场景的深度信息和彩色信息，并根据采集的第一帧图像确定成像目标及成像目标在深度图像中的深度值。将第一帧对应的虚拟视角确定为虚拟参考视角，继续采集视频数据，作为数据输入。步骤二、获取前景遮挡物的标记信息和深度未知区域的标记信息。假设目标所处深度为d，则将深度小于d-3 O并且大于零的区域标记为前景遮挡物区域，其中O根据成像目标所在的深度范围调节。由于Kinect成像原理，未知深度区域的深度值为0，因此将深度图中深度等于0的区域标记为深度未知区域。步骤三、获取已知深度区域中像素点属于目标的隶属度。首先构造模糊集合:{?”!!!。，其中隶属度函数!!!0:?: — [0，1]，?T表示第T帧中和目标处于同一深度的像素集合。对于每一个像素X G ?T，m0的值表示像素X和目标处于同一深度的隶属度。设计隶属度函数如下:本文档来自技高网...
【技术保护点】
一种基于多源数据融合的实时合成孔径透视成像方法，其特征在于包括以下步骤：步骤一、采用Kinect体感摄影机获取场景的深度信息和彩色信息，并根据采集的第一帧图像确定成像目标及成像目标在深度图像中的深度值；将第一帧对应的虚拟视角确定为虚拟参考视角，继续采集视频数据，作为数据输入；步骤二、获取前景遮挡物的标记信息和深度未知区域的标记信息；假设目标所处深度为d，则将深度小于d?3σ并且大于零的区域标记为前景遮挡物区域，其中σ根据成像目标所在的深度范围调节；由于Kinect成像原理，未知深度区域的深度值为0，因此将深度图中深度等于0的区域标记为深度未知区域；步骤三、获取已知深度区域中像素点属于目标的隶属度；首先构造模糊集合：{Θτ,mΘ}，其中隶属度函数mΘ:Θτ→[0,1]，Θτ表示第τ帧中和目标处于同一深度的像素集合；对于每一个像素x∈Θτ，mΘ的值表示像素x和目标处于同一深度的隶属度；设计隶属度函数如下：mΘ(x)=1(2πσ2)1/2exp{-12σ2(dx-dτ)2}---(1)其中，σ控制目标分布范围，dx为像素x的深度值，dτ表示目标在第τ帧中对应的深度值；获取全部可视区域像素点属于目标的隶属度；首先构造模糊集合：{Ψτ,mΨ}，其中隶属度函数为mΨ：Ψτ→[0,1]，Ψ表示第τ帧中所有未被遮挡物遮挡的可视像素集合，其中将未知深度区域的像素也归为该集合；对于每一个像素Ψτ，mΨ的值表示像素x属于未被遮挡区域的隶属度；设计隶属度函数：其中，Oζ={O1,…,On}表示属于遮挡物的像素集合；d(xΨ,Oζ)表示属于深度未知区域的像素x到属于遮挡物的欧式距离；Z=1/max{min{d(xΨ,Oζ)}}；当获取已知深度区域中像素点属于目标的隶属度和全部可视区域像素点属于目标的隶属度后，根据模糊集合理论估计彩色图像中像素x属于目标的概率mΩ(x)：mΩτ(x)=(Ψτ∩θτ)=min{mΨ(x),mΘ(x)}---(3) 其中，Ωτ表示第τ帧的所有像素；步骤四、首先获取相邻两帧之间的所有匹配点对集合Sl，然后结合前景遮挡物的标记信息，将所有属于前景遮挡的匹配点集合So去掉，得到可视匹配点集合Sv；利用集合Sv中的匹配点对计算获取初始的基本矩阵Finit，使用基本矩阵Finit来筛选之前去掉的属于前景遮挡的匹配点对；根据Finit计算集合So中每个匹配点对之间的Sampson距离如果小于一个给定的阈值Td，就将这个匹配点对重新加入到集合Sv中，同时从集合So中删除该匹配点对；利用更新后的Sv重新计算基本矩阵F，重复以上过程，迭代更新特征点集合Sv；最终得到的匹配点对集合Sv中既包含了属于背景和目标上的匹配点，也包含属于静态前景上面的匹配点，进而将集合Sv作为PTAM的输入，获得精确的相机姿态；步骤五、获取被遮挡目标的合成图像；将合成孔径成像设计为线性加权函数，权值由步骤三所计算的每一帧彩色图像中像素点属于目标的概率给出；对于输入的第τ帧彩色图像，根据针孔相机模型获取虚拟聚焦平面上的聚焦图像中的所有像素点在当前帧下对应的投影点；根据步骤三获取投影点属于目标的概率，将该概率作为该投影点的权重；计算当前帧下的合成图像：Sτ=1Σk=1τmkΩ(x)Σk=1τmkΩ(x)·Ik---(4)其中，表示第k帧中的像素属于目标的概率；为了能够获取实时处理结果，该过程表示为如下公式：Sτ=1Σk=1τmkΩ(x)(Sτ-1Σk=1τ-1mkΩ(x)+mkΩ(x)·Ik)---(5)根据实时成像结果，当成像结果达到成像要求时结束数据输出，获取最终成像结果。FDA0000428516160000012.jpg,FDA0000428516160000026.jpg,FDA0000428516160000025.jpg,FDA0000428516160000022.jpg...
【技术特征摘要】
1.一种基于多源数据融合的实时合成孔径透视成像方法，其特征在于包括以下步骤: 步骤一、采用Kinect体感摄影机获取场景的深度信息和彩色信息，并根据采集的第一帧图像确定成像目标及成像目标在深度图像中的深度值；将第一帧对应的虚拟视角确定为虚拟参考视角，继续采集视频数据，作为数据输入； 步骤二、获取前景遮挡物的标记信息和深度未知区域的标记信息； 假设目标所处深度为山则将深度小于d-3o并且大于零的区域标记为前景遮挡...
【专利技术属性】
技术研发人员：杨涛，张艳宁，马文广，王斯丙，冉令燕，仝小敏，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。