【技术实现步骤摘要】
本专利技术涉及计算机视觉和图像处理，尤其涉及一种基于缝合线搜索的双目视频拼接方法。
技术介绍
1、随着计算机视觉和图像处理技术的快速发展，视频拼接技术在多个领域得到了广泛应用，如虚拟现实、全景视频制作、监控系统和智能驾驶等。视频拼接技术旨在将来自不同视角的视频流无缝地拼接在一起，形成一个连续、完整的视频画面，从而扩展视野，提高视频的视觉效果和信息量。然而，现有的视频拼接技术在处理动态场景、尤其是包含运动物体的场景时，仍然面临许多挑战。
2、传统的静态图像拼接方法主要包括配准、缝合线查找和融合三个步骤。视频拼接技术可以视为图像拼接的扩展，每个视频帧可以独立进行拼接，也可以通过固定对齐视频拼接框架进行拼接。然而，在实际应用中，视频拼接不仅要求对齐精度高，还需要在拼接过程中实时处理帧间变化，特别是在有运动物体穿过接缝时，需要有效消除运动伪影和重影现象。
3、现有的图像拼接技术主要采用全局投影扭曲和图割优化方法进行对齐和拼接。全局投影扭曲方法通过对图像进行全局变换，使其在整体上对齐，但对于包含大视差的双目视频，容易导致局部区域的失真和错位。图割优化方法通过在图像重叠区域构建能量函数，寻找最优缝合线，但计算复杂度高，难以满足实时视频拼接的要求。
4、针对这些问题，现有技术提出了一些改进方法。例如，基于网格优化的方法通过将图像划分为多个网格单元，利用特征点和网格顶点进行对齐，能够提高对齐的精度和鲁棒性。然而，这些方法在处理动态场景时，仍然存在重影和伪影现象，特别是在运动物体穿过接缝时，难以保证拼接效果的一
5、在实际应用中，视频拼接的另一个难点在于运动检测和缝合线的更新。运动检测是判断视频帧中是否有运动物体的关键步骤，对于拼接过程中出现的运动伪影和重影现象，必须进行有效检测和处理。传统的运动检测方法主要基于帧差法和背景减除法，但这些方法在复杂场景中容易受到噪声和光照变化的影响，检测精度不高。
6、因此，如何提供一种基于缝合线搜索的双目视频拼接方法是本领域技术人员亟需解决的问题。
技术实现思路
1、本专利技术的一个目的在于提出一种基于缝合线搜索的双目视频拼接方法，本专利技术采用改进网格优化算法和动态规划的缝合线搜索算法，实现了高精度、实时的双目视频拼接。通过实时更新缝合线和运动检测，有效消除运动伪影和重影现象，适应动态场景，确保拼接结果一致性和完整性，具备高精度、高效率和广泛应用前景的优点。
2、根据本专利技术实施例的一种基于缝合线搜索的双目视频拼接方法，包括如下步骤：
3、s1、视频采集与预处理：使用双目摄像头获取视频流，并对每帧图像进行预处理，得到左视点视频序列和右视点视频序列；
4、s2、标定阶段：采用改进的网格优化算法对每个视频帧进行特征点提取和网格构建，将网格特征点对齐，并生成标定数据；
5、s3、查找表生成：根据标定数据生成查找表，将每个像素映射到新的位置，使左视点图像和右视点图像对齐；
6、s4、缝合线查找：在视频拼接过程中，利用基于动态规划的缝合线搜索算法进行缝合线查找；
7、s5、运动检测与缝合线更新：计算缝合线区域的梯度差异，判断是否有运行物体穿过接缝，若有运动物体穿过接缝，则更新缝合线，反之则不更新缝合线；
8、s6、图像融合：对接缝区域进行平均融合，通过对重叠区域的像素值进行加权平均，消除拼接缝。
9、进一步的，所述标定阶段使用帧差法提取包含移动物体的区域和移动物体外的背景区域，对所述背景区域进行特征提取，将连续两帧的图像数据进行差分法：
10、d(x,y)＝|in+1(x,y)-in(x,y)|；
11、
12、其中，d(x,y)表示图像数据的差分，in+1(x,y)表示第n+1帧图像，in(x,y)表示第n帧图像，r(x,y)表示运动图像的掩码，t表示运动检测预测，值设为30。
13、更进一步，所述s4具体包括：
14、s41、构建能量图，将图像颜色差异强度值和图像结构差异强度值相加，得到每个像素点的能量值；
15、s42、计算累计能量图，累计能量图中第一行的值与能量图一致，从第二行开始遍历每一行，每个像素对应累计能量值为当前位置能量值与上一行中的三个像素位置对应最小的能量值的和；
16、s43、查找最小累计能量值所对应的缝合线，在最后一行中找到最小能量值以及对应的列索引，从倒数第二行遍历每一行，找到记录的列索引与左右两个相邻像素的累计能量值进行比较，记录最小能量值对应的列索引，完成遍历后，存储的列索引即为最小能量图对应的最佳缝合线位置。
17、更进一步，所述最佳缝合线的能量函数构造准则为：
18、e(x,y)＝ecolor2(x,y)+egeometry(x,y)；
19、其中，ecolor表示图像颜色差异强度值，egeometry表示图像结构差异强度值；
20、所述图像颜色差异强度值ecolor的求解公式为：
21、ecolor＝|i1(x,y)-i2(x,y)|；
22、其中，i1(x,y)表示重叠区域内左视图的图像像素值，i2(x,y)表示重叠区域内右视图的图像像素值；
23、引入sobel算子，用来计算某像素点在水平和垂直方向上的梯度信息，卷积模板如下：
24、
25、
26、所述图像结构差异强度值egeometry的求解公式为：
27、egeometry(x,y)＝[sx·(i1(x,y)-i2(x,y))]2+
28、[sy·(i1(x,y)-i2(x,y))]2；
29、其中，sx和sy分别表示3×3的sobel算子在x和y方向的模板。
30、更进一步，所述运动检测具体包括：
31、判断像素pi是否发生变化：
32、
33、其中，表示当前接缝中像素pi的原始梯度，表示时间t接缝中像素pi的梯度，δ表示常数；
34、如果ct中的总像素数大于n，则重叠区域中存在新的移动对象，并且应更新最佳接缝，其中n表示设定的常数。
35、更进一步，所述s6具体包括：
36、s61、对左视点图像和右视点图像的重叠区域进行处理，获取接缝区域的像素值；
37、s62、计算重叠区域内左视点图像和右视点图像的像素加权平均值：
38、ifused(x,y)＝w1·i1(x,y)+w2·i2(x,y)；
39、其中，ifused(x,y)表示融合后的图像像素值，i1(x,y)表示左视点图像像素值，i2(x,y)表示右视点图像像素值，w1表示左视点的加权系数，w2表示右视点的加权系数，满足w1+w2＝1；
40、s63、对接缝区域的像素梯度进行计算，获取梯度信息和
41、s64、根据梯度信息调本文档来自技高网...
【技术保护点】
1.一种基于缝合线搜索的双目视频拼接方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于缝合线搜索的双目视频拼接方法，其特征在于，所述标定阶段使用帧差法提取包含移动物体的区域和移动物体外的背景区域，对所述背景区域进行特征提取，将连续两帧的图像数据进行差分法：
3.根据权利要求1所述的一种基于缝合线搜索的双目视频拼接方法，其特征在于，所述S4具体包括：
4.根据权利要求3所述的一种基于缝合线搜索的双目视频拼接方法，其特征在于，所述最佳缝合线的能量函数构造准则为：
5.根据权利要求1所述的一种基于缝合线搜索的双目视频拼接方法，其特征在于，所述运动检测具体包括：
6.根据权利要求1所述的一种基于缝合线搜索的双目视频拼接方法，其特征在于，所述S6具体包括：
【技术特征摘要】
1.一种基于缝合线搜索的双目视频拼接方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于缝合线搜索的双目视频拼接方法，其特征在于，所述标定阶段使用帧差法提取包含移动物体的区域和移动物体外的背景区域，对所述背景区域进行特征提取，将连续两帧的图像数据进行差分法：
3.根据权利要求1所述的一种基于缝合线搜索的双目视频拼接方法，其特征...
【专利技术属性】
技术研发人员：周瑞，潘家航，董辉，林文杰，黄光普，吴旻诚，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。