一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法制造技术

本发明专利技术涉及计算机视觉领域，特指一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法。其包括以下内容：步骤S1，建立基于自适应的图像配准模型，通过自适应计算出最佳的图像平移参数；步骤S2，根据步骤S1中最佳的图像平移参数，基于渐入渐出的加权平均法对两帧图像重合区域分别进行图像融合处理，使两幅目标图像融合拼接成一幅全景图像，实现对于目标视频的拼接；步骤S3，采用双边滤波器对步骤S2所得的全景图像进行去噪处理后，输出高质量清晰的拼接图像。本发明专利技术的算法计算效率高且计算量小，充分满足实时性的要求。

【技术实现步骤摘要】
一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法
本专利技术涉及计算机视觉领域，特指一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法。
技术介绍
在日常生活中，时常需要获取宽视角、大场景的全景图像，但是由于摄像设备中物理因素的限制一般只能得到大场景中的局部图像。一些硬件设备，如鱼眼摄像机和广角镜头虽然可以得到全景图像，但成本较高，不适合广泛使用。为了获取实时全局大尺度图像信息，在机场、码头、广场交通路口等视野开阔的大型场景中，通常需要布设多台网络摄像机。这种方法虽然可以获得更多的监控范围，但是场景的显示被分割成多个子窗口，不能够自然全面地直接反映真实的场景。视频拼接是基于图像拼接的一种获取实时视频流的技术。为了满足视频拼接中实时性的要求，必须针对视频流中每帧图像的拼接步骤进行优化。随着数字图像处理和微电子技术的不断发展，图像拼接已经应用在虚拟现实、计算机视觉、航空航天、医学图像分析、遥感图像等多个领域。图像的拼接主要步骤包括图像配准与融合。传统的图像配准算法普遍存在各种不足：如大部分算法因为计算复杂且计算量大，难以满足实时性的要求，或者无法滤出图像融合中产生的鬼影等问题。因此需要针对目前的多路实时视频拼接场景，克服以上现有算法的一些弊端，专利技术一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法。
技术实现思路
本专利技术针对全景监控系统中多路实时视频拼接这个特定问题，为了使监控视频便于观察，提升全景视频的效果，并使其满足实时性需求，提出一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法。本专利技术采取的技术方案具体如下：一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法，具体包括如下步骤：步骤S1，建立基于自适应的图像配准模型，通过自适应计算出最佳的图像平移参数；步骤S2，根据步骤S1中最佳的图像平移参数，基于渐入渐出的加权平均法对两帧图像重合区域分别进行图像融合处理，使两幅目标图像融合拼接成一幅全景图像，实现对于目标视频的拼接；步骤S3，采用双边滤波器对步骤S2所得的全景图像进行去噪处理后，输出高质量清晰的拼接图像。作为本专利技术技术方案的改进，所述步骤S1中，对于任意两帧实时拼接图像，采用基于积分图像的SURF算法进行匹配，对于进行过SURF算法的特征点匹配后得到的匹配点用RANSAC算法进行过滤，得到平移参数；根据两张待融合图像的灰度直方图，得到巴氏距离，不断自适应调节，得到最佳的平移参数；在匹配度计算中，巴氏距离dBhattacharyya的计算公式如下式所示：式中，H1(i)，H2(i)是两个图像的灰度直方图。作为本专利技术技术方案的改进，所述步骤S2包括：在重叠部分由前一幅图像慢慢过渡到第二幅图像，即将图像重叠区域的像素值按一定的权值相加合成新的图像，并裁剪去垂直方向错开的图像部分，记对应的前后两幅图像重叠部分的对应像素点的RGB分量值分别为(R1,G1,B1)和(R2,G2,B2)，则融合后的图像中对应像素点的RGB分量值(R3,G3,B3)可以通过下列计算得到：R3＝d*R1+(1-d)*R2(1)G3＝d*G1+(1-d)*G2(2)B3＝d*B1+(1-d)*B2(3)上式中的参数d是渐变因子，用来调和相邻图像的颜色，产生加权平均的作用，其取值范围限制在(0,1)之间；同时在图像融合计算中，基于渐入渐出的加权平均，对于两幅图像重叠中的对应的两个点I1(x,y)和I2(x,y)，给予两个权重系数W1，W2，其中权重系数值与该点的位置有关，如下式所示：其中，式中，xR和xL分别为图像I1(x,y)和I2(x,y)重叠区域的左右边界，I(x,y)表示融合后的图像；根据以上原理使两幅目标图像融合拼接成一幅全景图像，实现对于目标视频的拼接。作为本专利技术技术方案的改进，所述步骤S1中自适应调节流程具体包括如下步骤：(S1.1)根据用RANSAC算法过滤得到的平移参数，计算两幅图像的匹配度，该匹配度为第一匹配度；(S1.2)增加平移参数，当增加方向匹配连续增加两次，停止增加，保存增加方向最佳匹配度和其对应的平移参数，该增加方向最佳匹配度为第二匹配度。(S1.3)减小平移参数，当减小方向匹配连续减小两次，停止减小，保存减小方向最佳匹配度和其对应的平移参数，该减小方向最佳匹配度为第三匹配度。(S1.4)比较第一匹配度、第二匹配度和第三匹配度的匹配度，从三个匹配度中选取最佳匹配度，并保存其相应的平移参数。与现有技术相比，本专利技术具有以下有益效果：提出一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法，计算效率高且计算量小，充分满足实时性的要求，有效克服无法滤出图像融合中产生的鬼影等问题。附图说明：图1是本算法所述算法整体流程图。图2是本算法所述渐入渐出拼接方法原理图。图3是现有加权平均算法处理效果示意图。图4是本算法所述算法处理效果示意图。具体实施方式：以普通ORB算法的图像配准和图像融合并行的多路视频快速拼接为例，结合附图对本专利技术具体实施例做进一步详细说明。图像融合效果评估较为复杂，涉及到评估准则、指标体系和评估方法。评估方法目前分为两大类，即主观评估方法和客观评估方法。主观评估方法是采用目测方法，评价重复性差，带有较强的片面性；客观评价方法是计算两幅图像的灰度直方图，根据两幅图像的灰度直方图，通过巴氏距离计算两幅图像的匹配度，匹配度范围是0～1，其中0表示匹配度最小，1表示匹配度最大。灰度直方图是灰度级的函数，它表示图像中具有某种灰度级的像素的个数，反映了图像中某种灰度出现的频率。本实施例具体包括以下步骤：步骤S1：建立基于自适应的图像配准模型，通过自适应计算出最佳的图像平移参数；对于任意两帧实时拼接图像，当系统启动时，先基于积分图像的SURF(SpeededUpRobustFeatures快速鲁棒特征)算法，通过基于积分图像的方形滤波器来近似高斯-拉普拉斯算子，匹配精度较高，适合实时视频拼接的运算速度要求。对于进行过SURF算法的特征点匹配后得到的匹配点用RANSAC(随机抽样一致性)算法进行过滤，此算法应用广泛，在失配率高的情况下还能保持有效，能有效剔除误匹配点，得到平移参数。根据两张待融合图像的灰度直方图，得到巴氏距离，不断自适应调节，得到最佳的平移参数。自适应调节具体流程如下：1)根据用RANSAC算法过滤得到的平移参数，计算两幅图像的匹配度，该匹配度为第一匹配度；2)增加平移参数，当增加方向匹配连续增加两次，停止增加，保存增加方向最佳匹配度和其对应的平移参数，该增加方向最佳匹配度为第二匹配度。3)减小平移参数，当减小方向匹配连续减小两次，停止减小，保存减小方向最佳匹配度和其对应的平移参数，该减小方向最佳匹配度为第三匹配度。4)比较第一匹配度、第二匹配度和第三匹配度的匹配度，从三个匹配度中得到最佳匹配度，并保存其相应的平移参数。图1为自适应模型的整体流程图。流程图清楚地表述了本实施例步骤S1中所述的自适应算法模型。在匹配度计算中，巴氏距离dBhattacharyya的计算公式如下式所示：式中，H1(i)，H2(i)是两个图像的灰度直方图。S2根据平移参数，基于渐入渐出的加权平均法对两帧图像重合区域分别进行图像融合处理；本文档来自技高网...

【技术保护点】
一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法，其特征在于，具体包括如下步骤：步骤S1，建立基于自适应的图像配准模型，通过自适应计算出最佳的图像平移参数；步骤S2，根据步骤S1中最佳的图像平移参数，基于渐入渐出的加权平均法对两帧图像重合区域分别进行图像融合处理，使两幅目标图像融合拼接成一幅全景图像，实现对于目标视频的拼接；步骤S3，采用双边滤波器对步骤S2所得的全景图像进行去噪处理后，输出拼接图像。

【技术特征摘要】
1.一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法，其特征在于，具体包括如下步骤：步骤S1，建立基于自适应的图像配准模型，通过自适应计算出最佳的图像平移参数；步骤S2，根据步骤S1中最佳的图像平移参数，基于渐入渐出的加权平均法对两帧图像重合区域分别进行图像融合处理，使两幅目标图像融合拼接成一幅全景图像，实现对于目标视频的拼接；步骤S3，采用双边滤波器对步骤S2所得的全景图像进行去噪处理后，输出拼接图像。2.根据权利要求1所述的一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法，其特征在于，所述步骤S1中，对于任意两帧实时拼接图像，采用基于积分图像的SURF算法进行匹配，对于进行过SURF算法的特征点匹配后得到的匹配点用RANSAC算法进行过滤，得到平移参数；根据两张待融合图像的灰度直方图，得到巴氏距离，不断自适应调节，得到最佳的平移参数；在匹配度计算中，巴氏距离dBhattacharyya的计算公式如下式所示：式中，H1(i)，H2(i)是两个图像的灰度直方图。3.根据权利要求1所述的一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法，其特征在于，所述步骤S2包括：在重叠部分由前一幅图像慢慢过渡到第二幅图像，即将图像重叠区域的像素值按一定的权值相加合成新的图像，并裁剪去垂直方向错开的图像部分，记对应的前后两幅图像重叠部分的对应像素点的RGB分量值分别为(R1,G1,B1)和(R2,G2,B2)，则融合后的图像中对应像素点的RGB分量值(R3,G3,B3)可以通过...

【专利技术属性】
技术研发人员：张斯尧，姜德财，
申请(专利权)人：湖南源信光电科技有限公司，
类型：发明
国别省市：湖南,43