一种图像拼接方法和装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种图像拼接方法、装置、计算机设备及存储介质，包括：通过基于自学习迭代回归思想的图像拼接模型学习求解方法，将图像拼接中的模型求解问题视作回归问题，通过多次迭代更新教师

【技术实现步骤摘要】
一种图像拼接方法和装置、计算机设备及存储介质


[0001]本专利技术实施例涉及计算机
，尤其是一种图像拼接方法、 装置、计算机设备及存储介质。

技术介绍

[0002]实际生活中某些特定场景下如监控，由于摄像机硬件条件的限制， 因此多个摄像机拍摄视频或图像时，得到的图像数据会因为环境光源 或者相机曝光参数的变化而产生亮度差异。此外，图像数据还会因为 相机拍摄时的角度和位置不同而产生结构差异，也就是同一物体会在 不同图像中有不同的形状或位置。因此直接进行图像数据的组合拼接 会产生严重的拼接误差。为了解决上述问题，多种有效的图像拼接方 法已经被提出，主要可以分为以下三类：
[0003]一、全局拼接算法。此类算法先提取图像的特征点，然后匹配 特征点对，利用正确特征点对求解出图像间的投影变换矩阵，根据投 影变换矩阵将所有图像变换到一个基准的图像平面上，最后对图像重 叠区域进行平滑过渡处理，最终得到高质量的拼接图像。这类方法利 用了全局一致的投影变换矩阵和相关图像融合算法，对于重叠区域无 视差变化的图像有较好的拼接效果。但是该方法并不能处理图像间的 结构差异现象，会导致重叠区域存在视差变化的图像的拼接结果中出 现重影或者扭曲的现象。
[0004]二、最优拼缝算法。此类算法希望在输入图像数据的重叠区域 内寻找到一条最佳分割线，通过这条线将存在结构差异的地方分开， 得到不同结构的分割区域。如果该方法能够成功计算出最佳分割线， 即能成功避免结构差异的问题，得到优异的拼接图像。但是往往很多 图像数据并不存在这样的一条分割线，因此最优拼缝算法依然会在拼 接结果中产生物体边缘的撕裂和弯曲。
[0005]三、局部结构拼接算法。此类算法核心思想是计算多个局部变 换投影矩阵，以满足不同的图像结构，从而消除输入图像数据的重叠 区域的结构差异，最终得到质量好的拼接图像。然而局部结构拼 接算法使用了RANSAC算法来获取匹配特征点对，从而学习不同的数 学模型。当输入数据重叠区域场景中没有深度变化，也就是输入数据 为相机单视点拍摄的数据时，RANSAC算法的阈值需要设为非常小， 才能保证匹配点对都是正确的；而当输入数据重叠区域场景中存在深 度变化，输入数据为相机多视点拍摄的数据时，RANSAC算法需要设 置比较大的阈值才能确保正确的匹配点对不被滤掉，此时的阈值通常 是单视点数据时的10～100倍，如果这时候的匹配点对中有错误的匹 配，拼接结果就会有严重错误。因此该类方法均需要手动调整阈值才 能在各个数据集上都有较好的表现。
[0006]综上所述，现有图像拼接方法主要存在以下几点问题：拼接后的 全景图像中出现模糊和重影等异常现象以及需要手动调整阈值才能 在各个数据集上都有较好的表现。

技术实现思路

[0007]本专利技术实施例提供一种图像拼接方法、装置、计算机设备及存储 介质。
[0008]为解决上述技术问题，本专利技术创造的实施例采用的一个技术方案 是：提供一种图像拼接方法，包括下述步骤：
[0009]获取基准图像和待拼接图像，根据预设的尺度不变特征变换算法 分别检测所述基准图像和所述待拼接图像的特征点得到基准图像特 征点集和待拼接图像特征点集；
[0010]根据预设的近邻显著性算法对所述基准图像特征点集和所述待 拼接图像特征点集进行检测得到粗检测匹配点对集；
[0011]按照预设的局部特征点对称约束教师模型将所述粗检测匹配点 对集中的元素分为伪正确特征点对集和伪错误特征点对集；
[0012]按照预设的教师
‑
学生自学习的模型迭代回归更新所述伪正确特 征点对集和所述错误特征点对集得到正确点对集；
[0013]根据所述正确点对集生成图像变换模型，并利用所述图像变换模 型将所述待拼接图像进行变换拼接得到拼接图像。
[0014]进一步地，所述根据预设的尺度不变特征变换算法分别检测所述 基准图像和所述待拼接图像的特征点得到基准图像特征点集和待拼 接图像特征点集，包括：
[0015]利用预设的尺度不变特征变换算法分别对所述基准图像I(x,y)和 所述待拼接图像J(x,y)进行计算得到各自的高斯算子建立高斯差分塔；
[0016]通过所述高斯差分塔分别获取基准图像特征点和待拼接图像的 邻域梯度方向m和幅值θ；
[0017]将所述基准图像I(x,y)中的横坐标x、纵坐标y、邻域梯度方向m 和幅值组合成128维的特征描述子，生成所述基准图像特征点集F
I
，F
I
＝{u
i
}＝{(x
i
,y
i
)}，u
i
为所述基准图像特征点，x
i
和y
i
分别为所述基 准图像特征点的坐标；
[0018]将所述待拼接图像J(x,y)中的横坐标x、纵坐标y、邻域梯度方向 m和幅值θ组合成128维的特征描述子，生成所述待拼接图像特征 点集F
J
，F
J
＝{v
j
}＝{(x
j
,y
j
)}，v
j
为所述基准图像特征点，x
j
和y
j
分别 为所述基准图像特征点的坐标。
[0019]进一步地，所述根据预设的近邻显著性算法对所述基准图像特征 点集和所述待拼接图像特征点集进行检测得到粗检测匹配点对集，包 括：
[0020]所述粗检测匹配点对集F
i
＝(u
i
,v
′
i
)，
[0021]其中，v
′
i
∈F
J
为与所述基准图像特征点粗匹配的特征点，满足whereδ∈(0,1)，d
i1
＝‖u
i
‑
v
i
′
‖2，d
i2
＝||u
i
‑
v
j2
||2，v
i
′
和v
j2
分别表示F
J
中与u
i
欧氏距离最小的特征点和欧式距离第二最小的特 征点。
[0022]进一步地，所述按照预设的局部特征点对称约束教师模型将所述 粗检测匹配点对集中的元素分为伪正确特征点对集和伪错误特征点 对集，包括：
[0023]利用预设的局部特征点对称约束教师模型H
t
对所述基准图像特 征点u
i
进行变换得到匹配的待检测特征点v
i
；
[0024]在v
i
邻近的预设的圆形区域内搜索真实对应的匹配特征点v
’
i
；
[0025]对所述真实对应的匹配特征点v
’
i
进行局部区域约束以及对称约 束得到伪正确特征点对集F1，并将所述基准图像特征点集F...

【技术保护点】

【技术特征摘要】
1.一种图像拼接方法，其特征在于，包括下述步骤：获取基准图像和待拼接图像，根据预设的尺度不变特征变换算法分别检测所述基准图像和所述待拼接图像的特征点得到基准图像特征点集和待拼接图像特征点集；根据预设的近邻显著性算法对所述基准图像特征点集和所述待拼接图像特征点集进行检测得到粗检测匹配点对集；按照预设的局部特征点对称约束教师模型将所述粗检测匹配点对集中的元素分为伪正确特征点对集和伪错误特征点对集；按照预设的教师
‑
学生自学习的模型迭代回归更新所述伪正确特征点对集和所述错误特征点对集得到正确点对集；根据所述正确点对集生成图像变换模型，并利用所述图像变换模型将所述待拼接图像进行变换拼接得到拼接图像。2.根据权利要求1所述的图像拼接方法，其特征在于，所述根据预设的尺度不变特征变换算法分别检测所述基准图像和所述待拼接图像的特征点得到基准图像特征点集和待拼接图像特征点集，包括：利用预设的尺度不变特征变换算法分别对所述基准图像I(x,y)和所述待拼接图像J(x,y)进行计算得到各自的高斯算子建立高斯差分塔；通过所述高斯差分塔分别获取基准图像特征点和待拼接图像的邻域梯度方向m和幅值θ；将所述基准图像I(x,y)中的横坐标x、纵坐标y、邻域梯度方向m和幅值组合成128维的特征描述子，生成所述基准图像特征点集F
I
，F
I
＝{u
i
}＝{(x
i
,y
i
)}，u
i
为所述基准图像特征点，x
i
和y
i
分别为所述基准图像特征点的坐标；将所述待拼接图像J(x,y)中的横坐标x、纵坐标y、邻域梯度方向m和幅值θ组合成128维的特征描述子，生成所述待拼接图像特征点集F
J
，F
J
＝{v
j
}＝{(x
j
，y
j
)}，v
j
为所述基准图像特征点，x
j
和y
j
分别为所述基准图像特征点的坐标。3.根据权利要求2所述的图像拼接方法，其特征在于，所述根据预设的近邻显著性算法对所述基准图像特征点集和所述待拼接图像特征点集进行检测得到粗检测匹配点对集，包括：所述粗检测匹配点对集F
i
＝(u
i
，v
i
′
)，其中，v
i
′
∈F
J
为与所述基准图像特征点粗匹配的特征点，满足whereδ∈(0，1)，d
i1
＝||u
i
‑
v
i
′
||2，d
i2
＝||u
i
‑
v
j2
||2，v
′
i
和v
j2
分别表示F
J
中与u
i
欧氏距离最小的特征点和欧式距离第二最小的特征点。4.根据权利要求1所述的图像拼接方法，其特征在于，所述按照预设的局部特征点对称约束教师模型将所述粗检测匹配点对集中的元素分为伪正确特征点对集和伪错误特征点对集，包括：利用预设的局部特征点对称约束教师模型H
t
对所述基准图像特征点u
i
进行变换得到匹配的待检测特征点v
i
；在v
i
邻近的预设的圆形区域内搜索真实对应的匹配特征点v
’
i
；对所述真实对应的匹配特征点v
’
i
进行局部区域约束以及对称约束得到伪正确特征点
对集F1，并将所述基准图像特征点集F
i
中除所述伪正确...

【专利技术属性】
技术研发人员：裴继红，钟梦帆，赵阳，杨烜，
申请(专利权)人：深圳大学，
类型：发明
国别省市：