基于结构保持和多对多匹配的大视差图像拼接方法及装置制造方法及图纸

本发明专利技术提供了一种基于结构保持和多对多匹配的大视差图像拼接方法及装置，涉及图像处理的技术领域，包括：获取参考图片以及目标图片，并对参考图片以及目标图片进行预对齐；将目标图片进行网格变换并进行网格优化以获取第一目标图片；对第一目标图片进行点线匹配约束以获取第二目标图片；基于目标图片进行合并以及划分，采用quasi

【技术实现步骤摘要】
基于结构保持和多对多匹配的大视差图像拼接方法及装置


[0001]本专利技术涉及图像拼接的
，尤其是涉及一种基于结构保持和多对多匹配的大视差图像拼接方法及装置。

技术介绍

[0002]图像拼接技术是一个将两个或多个具有重叠区域的图像组合成一张高分辨率和的大视场图像的过程。已经广泛应用于工农业、航空以及人们的日常生活中。比如全景图像合成、遥感图像处理、医学图像分析、虚拟现实技术等等。
[0003]大多数图像拼接方法都遵循类似的步骤：首先从待拼接图像检测并匹配特征点，然后根据特征之间的对应关系建立变换模型，统一坐标变换，最后将待拼接图像的重叠区域进行融合，得到平滑无缝自然的全景图像。
[0004]但当场景不是平面或相机基线很大时，同一静止物体在不同图像中的相对位置发生变化，待拼接图像会呈现大视差，导致拼接结果中容易出现视差伪影和结构失真问题。此外，当待拼接图像中存在复杂的多行人时，由行人移动导致前景物体与背景的相对位置发生变化，拼接结果中同一人可能会被复制或者被切割，即产生了合成伪影。大视差场景和复杂多移动行人都给图像拼接任务带来了很大的挑战。
[0005]经过十多年的研究，图像拼接领域已经取得了一些进展。最近，SPW 算法同时强调了单视角变换下的不同特征，包括对齐、失真和显著性。SLSM 将点
‑
线特征作为对齐项来对齐图像，并使用像素差异值评估模型计算沿接缝切割的像素成本，迭代计算和更新平滑项以求找到最合适的接缝。贾琪教授等人提出了特征数来匹配输入图像的共面局部子区域，并将全局共线结构引入目标函数。Flores,A教授专注于从谷歌街景图像中移除行人，基于Liebe来提取行人的边界框，使用seam
‑
driven的方法来消除伪影。OGIE 算法提出了一种物体感知的合成伪影消除方法，使用目标检测SSD的方法检测场景中的移动物体。随着深度学习算法的发展，Lang Nie等人提出了一种基于重建的无监督的深度图像拼接框架:无监督粗对齐和无监督重建，并公开了首个真实场景的无监督图像拼接数据集。以上方法扩大了图像拼接的应用领域，应用前景广阔。但应对复杂多行人的大视差场景的挑战时图像拼接效果仍不是很好。

技术实现思路

[0006]有鉴于此，本专利技术的目的在于提供一种基于结构保持和多对多匹配的大视差图像拼接方法及装置，以避免视差伪影，很好地保持拼接结果的整体结构，而且能有效消除由复杂多行人引起的合成伪影，得到自然的拼接结果。
[0007]本专利技术一种基于结构保持和多对多匹配的大视差图像拼接方法，包括：
[0008]获取参考图片以及目标图片，并对所述参考图片以及所述目标图片进行预对齐；
[0009]将所述目标图片进行网格变换并进行网格优化以获取第一目标图片；
[0010]对所述第一目标图片进行点线匹配约束以获取第二目标图片；
[0011]基于所述目标图片进行合并以及划分，采用quasi
‑
homography变换对交叉线进行优化；
[0012]采用YOLOV4，利用匈牙利算法进行多匹配，并选择保留区域以及无线图像融合。
[0013]优选的，所述获取参考图片以及目标图片，并对所述参考图片以及所述目标图片进行预对齐的步骤包括：
[0014]采用如下公式获取计单应性变换矩阵：
[0015][0016]其中{(p
i
,p
′
i
)}
i＝1,2,
…
,N
和{(l
j
,l
′
j
)}
j＝1,2,
…
,L
分别是在参考图片和目标图片中检测和匹配的点对和线对集合，N和L分别是点对和线对的数量，线段l
j
可以由它的两个端点表示，H是由匹配点线对计算的初始单应性矩阵，通过SVD最小化匹配点线对的欧式距离，就是预变换后所需的全局单应性矩阵。
[0017]采用如公式定义总能量函数：
[0018][0019]通过增强匹配点和线的对齐能力来消除视差伪影，通过保证局部和全局线不被弯曲和拉伸来解决结构保存问题，通过保持交叉线对应的斜率和长度来减少失真。
[0020]优选的，所述对所述第一目标图片进行点线匹配约束以获取第二目标图片的步骤包括：
[0021][0022][0023][0024]其中是点对齐项，是线对齐项，λ
p
和λ
l
分别是每一项的权重，设置为1和5；尽可能对齐匹配点特征，其中匹配点p
′
i
∈I1,p
i
∈I2，变换后的点可以表示为保证了重叠区域的对齐。最小化的匹配线之间的距离，变换后的线可以表示为线l
′
j
∈I1可以表示为a
j
x+b
j
y+c
j
＝0，＝0，不仅增强了图像的对齐，而且保持了直线结构的直线性。
[0025][0026][0027][0028]其中是线保存项，为了最小化相邻采样点之间的距离，将其划分为局部保留项和全局保留项λ
lq
和λ
lg
分别是它们的权重，设置为50和150用于保持线性结构。根据LSD给出的原始线集合S
l
，合并并划分出局部线S
lq
和全局线S
lg
，在每一条局部线和全局线上分别进行采样，记为和Q和G是局部线和全局线的数量，M
q
和M
g
是每条线上采样点的数量。
[0029]优选的，所述基于所述目标图片进行合并以及划分，采用 quasi
‑
homography变换对交叉线进行优化的步骤包括：
[0030][0031][0032][0033]将失真控制项划分为全局失真控制项和非重叠区域失真控制项其中λ
ds
和λ
dn
分别代表和的权重，设置为50和 100用于最小化失真。给定交叉线特征的集合：和其中和平行于l
u
和l
v
，和表示变换后的线，和分别是和的法向量，S 和T是交叉线特征的个数，在交叉线上均匀采样L
i
和K
j
个点，记为和相应的变换后的点可以用表示。
[0034]优选的，所述采用YOLOV4，利用匈牙利算法进行多匹配，并选择保留区域以及无线图像融合的步骤包括：
[0035]采用如下公式：
[0036][0037][0038]和是采用YOLOV4在变换目标图片和变换参考图片中检测到的行
人坐标信息集合，存储了行人的坐标信息；T0和S0分别表示检测出来的个数。ξ1设置为0.15用于判断是否合并重叠物体，当时，表示和有很大的重叠区域，取二者的最大范围赋值给同时清空掉进行更新，将用同样的方法更新。经过上述操作，行人数量将更新为T1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于结构保持和多对多匹配的大视差图像拼接方法，其特征在于，包括：获取参考图片以及目标图片，并对所述参考图片以及所述目标图片进行预对齐；将所述目标图片进行网格变换并进行网格优化以获取第一目标图片；对所述第一目标图片进行点线匹配约束以获取第二目标图片；基于所述目标图片进行合并以及划分，采用quasi
‑
homography变换对交叉线进行优化；采用YOLOV4，利用匈牙利算法进行多匹配，并选择保留区域以及无线图像融合。2.根据权利要求1所述的方法，其特征在于，所述获取参考图片以及目标图片，并对所述参考图片以及所述目标图片进行预对齐的步骤包括：采用如下公式获取计单应性变换矩阵：其中{(p
i
，p
′
i
)}
i＝1，2，...，N
和{(l
j
，l
′
j
)}
j＝1，2，...，L
分别是在参考图片和目标图片中检测和匹配的点对和线对集合，N和L分别是点对和线对的数量，线段l
j
可以由它的两个端点表示，H是由匹配点线对计算的初始单应性矩阵，通过SVD最小化匹配点线对的欧式距离，就是预变换后所需的全局单应性矩阵。采用如公式定义总能量函数：采用如公式定义总能量函数：通过增强匹配点和线的对齐能力来消除视差伪影，通过保证局部和全局线不被弯曲和拉伸来解决结构保存问题，通过保持交叉线对应的斜率和长度来减少失真。3.根据权利要求1所述的方法，其特征在于，所述对所述第一目标图片进行点线匹配约束以获取第二目标图片的步骤包括：束以获取第二目标图片的步骤包括：束以获取第二目标图片的步骤包括：其中是点对齐项，是线对齐项，λ
p
和λ
l
分别是每一项的权重，设置为1和5；尽可能对齐匹配点特征，其中匹配点p
′
i
∈I1，p
i
∈I2，变换后的点可以表示为保证了重叠区域的对齐。最小化的匹配线之间的距离，变换后的线可以表示为线l
′
j
∈I1可以表示为a
j
x+b
j
y+c
j
＝0，＝0，不仅增强
了图像的对齐，而且保持了直线结构的直线性。了图像的对齐，而且保持了直线结构的直线性。了图像的对齐，而且保持了直线结构的直线性。其中是线保存项，为了最小化相邻采样点之间的距离，将其划分为局部保留项和全局保留项λ
lq
和λ
lg
分别是它们的权重，设置为50和150用于保持线性结构。根据LSD给出的原始线集合S
l
，合并并划分出局部线S
lq
和全局线S
lg
，在每一条局部线和全局线上分别进行采样，记为和Q和G是局部线和全局线的数量，M
q
和M
g
是每条线上采样点的数量。4.根据权利要求3所述的方法，其特征在于，所述基于所述目标图片进行合并以及划分，采用quasi
‑
homography变换对交叉线进行优化的步骤包括：homography变换对交叉线进行优化的步骤包括：homography变换对交叉线进行优化的步骤包括：将失真控制项划分为全局失真控制项和非重叠区域失真控制项其中λ
ds
和λ
dn
...

【专利技术属性】
技术研发人员：薛万利，陈园园，陈胜勇，
申请(专利权)人：天津理工大学，
类型：发明
国别省市：