一种混合合成运动矢量与亮度聚类的去遮挡方法技术

本发明专利技术公开了一种混合合成运动矢量与亮度聚类的去遮挡方法，包括：A1：输入被遮挡物对齐的子视角图像；A2：分别提取所有的子视角图像各自的合成运动矢量；A3：根据每一幅子视角图像的合成运动矢量判断空间中存在物体的平面层数，并在相应的每一幅子视角图像中筛选出被遮挡物所在的平面上的像素；A4：将步骤A3中在所有子视角图像中筛选出的被遮挡物所在的平面上的像素排列在重排列图像中；A5：对步骤A4中的重排列图像中的所有像素单元按照亮度进行聚类；A6：对步骤A5中的每一类图像进行合成，得到合成视角图像。本发明专利技术可以在得到合成视角图像实现去遮挡的功能，达到去除镜头前的遮挡物，获得被遮挡物体信息的效果，且大大提高了视觉效果。

【技术实现步骤摘要】
一种混合合成运动矢量与亮度聚类的去遮挡方法
本专利技术涉及计算机视觉与数字图像处理领域，尤其涉及一种混合合成运动矢量与亮度聚类的去遮挡方法。
技术介绍
1939年，A.Gershun提出光场的概念：光场即光线在空间中的分布。后来，E.H.Adelson和J.R.Bergen提出更加完善的光场理论，并用7维全光函数来描述光场。通常情况下，我们忽略光线的波长和发射时间，而通过记录空间中光线的位置和方向信息来记录光场。常用于记录光场的设备有：相机阵列、相机三维平移台和光场相机。光场技术不仅在深度估计、立体匹配等传统研究领域中作用突出，更在AR/VR等方面炙手可热。而基于光场的去遮挡技术更是在三维建模，点云合成等方面非常重要，具有非常大的现实意义，并且是很多研究方向的一个基础问题。现有的基于光场的去遮挡方法主要可以分为：基于像素平均的视角合成方法和基于像素挑选的视角合成方法。基于像素平均的视角合成方法也分为两种：直接平均和基于深度挑选的平均方法。其中直接平均法由于保留了来自遮挡物的像素，因而视觉效果不好；由于遮挡情况给深度估计带来了很大的困难，基于深度挑选的平均方法鲁棒性较差，容易被深度估计的误差影响。基于像素挑选的视角合成方法主要基于像素单元中像素的置信度或者能量函数来挑选像素，但是这些方法的视觉效果较差。综上所述，现有的子视角图像合成去遮挡方法总存在着视觉效果差的问题。以上
技术介绍
内容的公开仅用于辅助理解本专利技术的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。
技术实现思路
为了解决上述技术问题，本专利技术提出一种混合合成运动矢量与亮度聚类的去遮挡方法，可以在得到合成视角图像实现去遮挡的功能，达到去除镜头前的遮挡物，获得被遮挡物体信息的效果，且大大提高了视觉效果。为了达到上述目的，本专利技术采用以下技术方案：本专利技术公开了一种混合合成运动矢量与亮度聚类的去遮挡方法，包括以下步骤：A1：输入被遮挡物对齐的子视角图像；A2：分别提取所有的子视角图像各自的合成运动矢量；A3：根据每一幅子视角图像的合成运动矢量判断空间中存在物体的平面层数，并在相应的每一幅子视角图像中筛选出被遮挡物所在的平面上的像素；A4：将步骤A3中在所有子视角图像中筛选出的被遮挡物所在的平面上的像素排列在重排列图像中；A5：对步骤A4中的重排列图像中的所有像素单元按照亮度进行聚类；A6：对步骤A5中的每一类图像进行合成，得到合成视角图像。优选地，步骤A2具体包括：A21：判断步骤A1中输入的子视角图像的来源：如果步骤A1中输入的子视角图像是由光场相机拍摄得到，则执行步骤A22；如果步骤A1中输入的子视角图像是由相机阵列或者相机三维平移台得到，则执行步骤A23；A22：计算相邻子视角图像之间的运动矢量，并利用得到的运动矢量计算合成运动矢量；A23：计算相邻子视角图像之间的运动矢量并将该运动矢量按照空间位置进行等间距处理，再利用等间距处理后的运动矢量计算合成运动矢量。优选地，其中步骤A22具体包括：A221：分别计算子视角图像Iu,v及其相邻的子视角图像Iu-1,v,Iu+1,v,Iu,v+1,Iu,v-1之间的运动矢量，分别为MVu-1,v,MVu+1,v,MVu,v+1,MVu,v-1；A222：利用得到的运动矢量计算合成运动矢量：其中，Mvu,v表示子视角图像Iu,v的合成运动矢量，Mvu,v(x)和Mvu,v(y)分别为Mvu,v在行和列方向上的分量，MVu-1,v(x)和MVu+1,v(x)分别为MVu-1,v和MVu+1,v在行方向上的分量，MVu,v+1(y)和MVu,v-1(y)分别为MVu,v+1和MVu,v-1在列方向上的分量。优选地，其中步骤A23具体包括：A231：分别计算子视角图像Iu,v及其相邻的子视角图像Iu-1,v,Iu+1,v,Iu,v+1,Iu,v-1之间的运动矢量，分别为MVu-1,v,MVu+1,v,MVu,v+1,MVu,v-1；A232：利用相机中心的坐标对相邻子视角图像之间的运动矢量进行等间距处理：其中，(p,q)∈{(u-1,v),(u+1,v),(u,v-1),(u,v+1)}；MV′p,q(x)和MV′p,q(y)分别表示子视角图像Iu,v与某一相邻子视角图像Ip,q之间在行和列方向上的进行等间距处理后的运动矢量；Cu,v为子视角图像Iu,v的相机中心的坐标，Cu,v(x)和Cu,v(y)为Cu,v在行和列方向上的分量；Cp,q为子视角图像Ip,q的相机中心的坐标，Cp,q(x)和Cp,q(y)为Cp,q在行和列方向上的分量；A233：利用等间距处理后的运动矢量计算合成运动矢量：其中，Mvu,v表示子视角图像Iu,v的合成运动矢量，Mvu,v(x)和Mvu,v(y)分别为Mvu,v在行和列方向上的分量。优选地，步骤A3具体包括：A31：计算步骤A2中得到的合成运动矢量的模：其中，mvu,v表示子视角图像Iu,v的合成运动矢量的模，Mvu,v(x)和Mvu,v(y)分别为子视角图像Iu,v的合成运动矢量Mvu,v在行和列方向上的分量；A32：根据所有的子视角图像的合成运动矢量的模来判断空间中存在物体的平面的层数；A33：采用下式对合成运动矢量图中的像素进行筛选；其中，pixel(i,j)表示子视角图像Iu,v相对应的合成运动矢量图中坐标(i,j)处的像素，表示子视角图像Iu,v相对应的合成运动矢量图中坐标(i,j)处的合成运动矢量的模，threshold(mv)为筛选目标像素的阈值；A34：根据步骤A33筛选出来的像素，对相应的子视角图像Iu,v进行像素筛选，得到被遮挡物所在的平面上的像素：其中，pixel'(i,j)表示子视角图像Iu,v中坐标(i,j)处的像素。优选地，步骤A32具体为：统计所有的子视角图像的合成运动矢量图中所有的像素的模的大小的分布，然后根据合成运动矢量的模的直方图中包络线的波峰个数判断空间中有物体存在的平面的层数；步骤A33中threshold(mv)是根据合成运动矢量的模的直方图中除了0以外的第一个波峰的位置上选取的合成运动矢量的模的值；优选地，threshold(mv)是选取合成运动矢量的模的直方图中除了0以外的第一个波峰的开始增长的位置处对应的合成运动矢量的模的值。优选地，步骤A4具体包括：对于步骤A3得到的在所有子视角图像中筛选出的被遮挡物所在的平面上的像素，按照子视角图像拍摄时的空间位置，将所有子视角图像中有相同图像坐标的像素排列在一起，组成像素单元；所有的像素单元共同构成一张新的重排列图像。优选地，步骤A5具体包括：对步骤A4中的重排列图像中的所有像素单元按照亮度聚类成N类，其中，N表示步骤A3中判断得到的空间中存在物体的平面层数；优选地，采用模糊C均值算法来对步骤A4中的重排列图像中的所有像素单元按照亮度进行聚类。优选地，步骤A6具体包括：A61：像素亮度的融合：经过步骤A5之后，像素单元中的像素被聚为N类，满足下式的两类像素将被合并为同一类：|avgbri(k)-avgbri(g)|＜threshold(bri)(7)其中，threshold(本文档来自技高网...

【技术保护点】
1.一种混合合成运动矢量与亮度聚类的去遮挡方法，其特征在于，包括以下步骤：A1：输入被遮挡物对齐的子视角图像；A2：分别提取所有的子视角图像各自的合成运动矢量；A3：根据每一幅子视角图像的合成运动矢量判断空间中存在物体的平面层数，并在相应的每一幅子视角图像中筛选出被遮挡物所在的平面上的像素；A4：将步骤A3中在所有子视角图像中筛选出的被遮挡物所在的平面上的像素排列在重排列图像中；A5：对步骤A4中的重排列图像中的所有像素单元按照亮度进行聚类；A6：对步骤A5中的每一类图像进行合成，得到合成视角图像。

【技术特征摘要】
1.一种混合合成运动矢量与亮度聚类的去遮挡方法，其特征在于，包括以下步骤：A1：输入被遮挡物对齐的子视角图像；A2：分别提取所有的子视角图像各自的合成运动矢量；A3：根据每一幅子视角图像的合成运动矢量判断空间中存在物体的平面层数，并在相应的每一幅子视角图像中筛选出被遮挡物所在的平面上的像素；A4：将步骤A3中在所有子视角图像中筛选出的被遮挡物所在的平面上的像素排列在重排列图像中；A5：对步骤A4中的重排列图像中的所有像素单元按照亮度进行聚类；A6：对步骤A5中的每一类图像进行合成，得到合成视角图像。2.根据权利要求1所述的去遮挡方法，其特征在于，步骤A2具体包括：A21：判断步骤A1中输入的子视角图像的来源：如果步骤A1中输入的子视角图像是由光场相机拍摄得到，则执行步骤A22；如果步骤A1中输入的子视角图像是由相机阵列或者相机三维平移台得到，则执行步骤A23；A22：计算相邻子视角图像之间的运动矢量，并利用得到的运动矢量计算合成运动矢量；A23：计算相邻子视角图像之间的运动矢量并将该运动矢量按照空间位置进行等间距处理，再利用等间距处理后的运动矢量计算合成运动矢量。3.根据权利要求2所述的去遮挡方法，其特征在于，其中步骤A22具体包括：A221：分别计算子视角图像Iu,v及其相邻的子视角图像Iu-1,v,Iu+1,v,Iu,v+1,Iu,v-1之间的运动矢量，分别为MVu-1,v,MVu+1,v,MVu,v+1,MVu,v-1；A222：利用得到的运动矢量计算合成运动矢量：其中，Mvu,v表示子视角图像Iu,v的合成运动矢量，Mvu,v(x)和Mvu,v(y)分别为Mvu,v在行和列方向上的分量，MVu-1,v(x)和MVu+1,v(x)分别为MVu-1,v和MVu+1,v在行方向上的分量，MVu,v+1(y)和MVu,v-1(y)分别为MVu,v+1和MVu,v-1在列方向上的分量。4.根据权利要求2所述的去遮挡方法，其特征在于，其中步骤A23具体包括：A231：分别计算子视角图像Iu,v及其相邻的子视角图像Iu-1,v,Iu+1,v,Iu,v+1,Iu,v-1之间的运动矢量，分别为MVu-1,v,MVu+1,v,MVu,v+1,MVu,v-1；A232：利用相机中心的坐标对相邻子视角图像之间的运动矢量进行等间距处理：其中，(p,q)∈{(u-1,v),(u+1,v),(u,v-1),(u,v+1)}；MV′p,q(x)和MV′p,q(y)分别表示子视角图像Iu,v与某一相邻子视角图像Ip,q之间在行和列方向上的进行等间距处理后的运动矢量；Cu,v为子视角图像Iu,v的相机中心的坐标，Cu,v(x)和Cu,v(y)为Cu,v在行和列方向上的分量；Cp,q为子视角图像Ip,q的相机中心的坐标，Cp,q(x)和Cp,q(y)为Cp,q在行和列方向上的分量；A233：利用等间距处理后的运动矢量计算合成运动矢量：其中，Mvu,v表示子视角图像Iu,v的合成运动矢量，Mvu,v(x)和Mvu,v(y)分别为Mvu,v在行和列方向上的分量。5.根据权利要求1所述的去遮挡方法，其特征在于，步骤A3具体包括：A31：计算步骤A2中得到的合成运动矢量的模：其中，mvu,v表示子视角图...

【专利技术属性】
技术研发人员：金欣，张恒，戴琼海，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东,44