一种基于特征筛选的室外场景图像拼接方法技术

本发明专利技术公开了一种基于特征筛选的室外场景图像拼接方法，包括：采用SIFT特征点提取算法提取参考图像和目标图像的特征点并利用RANSAC算法获得特征点的对应关系；根据基于贝叶斯模型的特征点筛选算法得到精确的特征点集P1；基于距离的特征筛选方法筛选出用于全局单应计算的特征点集P2；计算全局单应变换矩阵，进行全局配准；进行局部配准；利用相似变换模型与最佳拼接缝方法，实现图像拼接。本发明专利技术针对室外场景图像的特征分布特点，通过对图像特征的有效筛选和基于网格的形变模型，提高了图像的配准精度，取得了精确，自然的拼接效果，解决了室外场景中配准精度降低、整体几何变形大、重叠区重影等问题，使得室外场景图像的拼接效果得到明显提升。

【技术实现步骤摘要】
一种基于特征筛选的室外场景图像拼接方法
本专利技术属于图像处理领域，具体涉及一种基于特征筛选的室外场景图像拼接方法。
技术介绍
随着社会的不断发展，在安防、自动驾驶、医疗成像等领域，对大视场图像的需求越发强烈，受限于现有的单个标准镜头无法获得大视场图像，而广角和超广角镜头会造成严重的图像畸变问题，图像拼接技术应运而生。图像拼接是指将同一场景下若干幅具有一定重叠区域的图像，通过一系列技术手段，拼合在一起，形成一幅包含全部场景的大视角图像。室外场景下多视角拍摄的图像，常常视角变化大、图像重叠度小，造成同名点局部分布，现有拼接方法的结果常常出现图像匹配精度低、整体几何变形大、重叠区重影等问题，难以在实际中应用。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，提供一种基于特征点筛选的室外场景图像拼接方法，通过对特征点多次优化，并采用全局配准和局部配准相结合的策略，较好地解决了现有拼接方案在室外场景中配准精度降低等问题。技术方案：为实现上述目的，本专利技术提供一种基于特征筛选的室外场景图像拼接方法，包括如下步骤：S1：采用SIFT特征点提取算法提取参考图像和目标图像的特征点并利用RANSAC算法获得特征点的对应关系；S2：根据基于贝叶斯模型的特征点筛选算法得到精确的特征点集P1；S3：根据特征点集P1，基于距离的特征筛选方法筛选出用于全局单应计算的特征点集P2；S4：利用特征点集P2计算全局单应变换矩阵，进行全局配准；S5：利用特征点集P1和基于网格的形变模型计算进行局部配准；S6：利用相似变换模型与最佳拼接缝方法，消除图像重影和形变，实现图像拼接。进一步地，所述步骤S2中特征点集P1的获取方法为：根据薄板样条函数的特性计算每一对匹配点的权重，再根据贝叶斯定理，去除误匹配点，筛选出精确的匹配点对。进一步地，所述步骤S2中特征点集P1的具体获取过程为：对于一对有重叠区域的待拼接图像I和J，图像I和J分别为参考图像和目标图像，记其中的一对匹配点为(pi,pj)，在经过全局配准之后，记为p'i＝(x'i,y'i)T，p'i为根据全局单应模型得到的点pi在图像平面J内的投影点，p'i处的视差用投影偏差gi＝p'i-pj＝(gi,hi)T表示，其中(gi,hi)T表示x方向和y方向的形变分量，根据薄板样条函数的特性，权重(ωi,υi)由p'i处的投影偏差gi和p'i附近区域其他特征点对的投影偏差之间的差异决定，各个特征点对的权重系数与通过求解如下线性方程组得到：其中，K＝(rij2lnrij)∈Rn×n，G＝(g1,...,gn)T∈Rn×2，λ为一个常量；最终计算出各个特征点的权重(ωi,υi)，权重系数(ωi,υi)的取值近似地服从正态分布，即ωi～N(0,σω),υi～N(0,συ)，其中σω和συ分别代表了ωi和υi的标准差；根据贝叶斯定理，在|ωi|＞tσω的情况下，匹配点对{pi,qi}是误匹配的后验概率是：根据3σ原则，取t＝3，则Φ(t)＝0.9987，当p1∈[0,0.9973]时，有p(τi＝0|Ai)≥0.5，即事件Ai＝{|ωi|＞3σω}发生时，匹配点对{pi,qi}是误匹配的概率不小于50％；因此pi∈[0,0.9973]的前提下，当出现|ωi|＞3σω或|υi|＞3συ时，即认为匹配点对{pi,qi}是误匹配并将其删除。进一步地，所述步骤S3中特征点集P2的筛选方法为：计算每个特征点在y方向上与其他点的平均距离，并筛选出平均距离最大的点，同时保留部分平均距离较小的特征点，即密集区域的特征点，以保证模型的鲁棒性，并确定用于全局配准的特征点集。所述步骤S3中在室外场景中，特征点的分布不均主要体现在y方向上的分布不均，而且特征点分布越稀疏的区域，它和其他特征点的平均距离越大，因此，仅计算每个特征点在y方向上与其他点的平均距离，并筛选出平均距离最大的点。同时保留部分平均距离较小的特征点，即密集区域的特征点，以保证模型的鲁棒性。通过这样的筛选策略，使得用于全局配准的特征点，密集与稀疏区域的特征点比例由原来的1:4变为1:1，提高了稀疏区域的特征点在计算全局配准模型中的权重，使得计算出的全局配准模型更侧重于特征点分布稀疏的配准。进一步地，所述步骤S3中特征点集P2的筛选过程为：A1：首先计算每个特征点在y方向上与其他点的平均距离；将特征点集P1作为初始特征点集，Lij_y表示第i特征点与其他点在y方向上的平均距离，计算公式如下：其中，pi表示第i特征点，pj表示除了第i点以外的其他特征点；A2：将每个特征点的距离lij_y构建成集合，并进行排序，得到集合Lij_y；A3：在集合Lij_y中，选出距离最大的前α％的值，并对剩余的1-α％的值进行采样，采样频率设置为μ，获得集合Lij_y_select；A4：利用映射关系，将集合Lij_y_select映射到对应的点上，得到特征点集P2。这里的映射关系指每个特征点和特征点计算出的距离的映射关系。这个映射关系具体就是，集合P1中的每个点pi映射到集合Lij_y中的每个点对应的距离lij_y上，每个点pi都可以算出它的距离lij_y。在得到集合Lij_y_select后，也可以映射回对应的点集P2。进一步地，所述步骤S4中进行全局配准是通过已知的点集P2中的所有匹配点，将其带入全局单应性近似模型，通过估计全局单应变换矩阵，使得所有匹配点的累积平方和误差最小。具体为：利用特征点集P2中的匹配点(p,q)估计全局单应性模型，其中匹配点的横纵坐标分别表示为(xp,yp)，(xq,yq)；首先将单应性近似模型q～Hp表达为如下公式：将其展开得到两个线性方程为如下公式：对该公式进行直接线性变化，将待估计的全局单应性矩阵转变为变量向量h＝(h1,h2,…h9)T，同时将匹配特征点对(p,q)的已知变量关系转变成已知线性参数矩阵为如下公式：因而，得到如下公式：ah＝0通过累积平方和误差最小来评估求解h，公式如下：其中，|·|表示L2范式，即欧式距离；组合矩阵A满足以下等式：表示所有ai(i＝1,2,…,n)的纵向排列；利用SVD分解A矩阵，获得最小二乘解进一步地，所述步骤S5是利用点集P1，构造用于最优形变的能量函数，并以网格的形式表现，通过将能量函数最小化，实现局部配准。具体为：构造形变函数如下公式：g(x,y)＝(g(x,y),h(x,y))T该公式表示图像Iq的形变量，其中，g(x,y)和h(x,y)分别表示x方向和y方向的形变分量；根据薄板样条的理论，对于g(x,y)，用于估计最优形变的能量函数为：Jλ＝JD+λJS其中，配准项JD和平滑项JS的取值分别为：...

【技术保护点】
1.一种基于特征筛选的室外场景图像拼接方法，其特征在于，包括如下步骤：/nS1：采用SIFT特征点提取算法提取参考图像和目标图像的特征点并利用RANSAC算法获得特征点的对应关系；/nS2：根据基于贝叶斯模型的特征点筛选算法得到特征点集P1；/nS3：根据特征点集P1，基于距离的特征筛选方法筛选出用于全局单应计算的特征点集P2；/nS4：利用特征点集P2计算全局单应变换矩阵，进行全局配准；/nS5：利用特征点集P1和基于网格的形变模型计算进行局部配准；/nS6：利用相似变换模型与最佳拼接缝方法，消除图像重影和形变，实现图像拼接。/n

【技术特征摘要】
1.一种基于特征筛选的室外场景图像拼接方法，其特征在于，包括如下步骤：
S1：采用SIFT特征点提取算法提取参考图像和目标图像的特征点并利用RANSAC算法获得特征点的对应关系；
S2：根据基于贝叶斯模型的特征点筛选算法得到特征点集P1；
S3：根据特征点集P1，基于距离的特征筛选方法筛选出用于全局单应计算的特征点集P2；
S4：利用特征点集P2计算全局单应变换矩阵，进行全局配准；
S5：利用特征点集P1和基于网格的形变模型计算进行局部配准；
S6：利用相似变换模型与最佳拼接缝方法，消除图像重影和形变，实现图像拼接。


2.根据权利要求1所述的一种基于特征筛选的室外场景图像拼接方法，其特征在于，所述步骤S2中特征点集P1的获取方法为：根据薄板样条函数的特性计算每一对匹配点的权重，再根据贝叶斯定理，去除误匹配点，筛选出精确的匹配点对。


3.根据权利要求2所述的一种基于特征筛选的室外场景图像拼接方法，其特征在于，所述步骤S2中特征点集P1的具体获取过程为：
对于一对有重叠区域的待拼接图像I和J，图像I和J分别为参考图像和目标图像，记其中的一对匹配点为(pi,pj)，在经过全局配准之后，记为p′i＝(x′i,y′i)T，p′i为根据全局单应模型得到的点pi在图像平面J内的投影点，p′i处的视差用投影偏差gi＝p′i-pj＝(gi,hi)T表示，其中(gi,hi)T表示x方向和y方向的形变分量，根据薄板样条函数的特性，权重(ωi,υi)由p'i处的投影偏差gi和p'i附近区域其他特征点对的投影偏差之间的差异决定，各个特征点对的权重系数与通过求解如下线性方程组得到：



其中，K＝(rij2lnrij)∈Rn×n，
G＝(g1,...,gn)T∈Rn×2，λ为一个常量；
最终计算出各个特征点的权重(ωi,υi)，权重系数(ωi,υi)的取值近似地服从正态分布，即ωi～N(0,σω),υi～N(0,συ)，其中σω和συ分别代表了ωi和υi的标准差；
根据贝叶斯定理，在|ωi|＞tσω的情况下，匹配点对{pi,qi}是误匹配的后验概率是：



根据3σ原则，取t＝3，则Φ(t)＝0.9987，当p1∈[0,0.9973]时，有p(τi＝0|Ai)≥0.5，即事件Ai＝{|ωi|＞3σω}发生时，匹配点对{pi,qi}是误匹配的概率不小于50％；
因此pi∈[0,0.9973]的前提下，当出现|ωi|＞3σω或|υi|＞3συ时，即认为匹配点对{pi,qi}是误匹配并将其删除。


4.根据权利要求1所述的一种基于特征筛选的室外场景图像拼接方法，其特征在于，所述步骤S3中特征点集P2的筛选方法为：计算每个特征点在y方向上与其他点的平均距离，并筛选出平均距离最大的点，同时保留密集区域的特征点，以保证模型的鲁棒性，并确定用于全局配准的特征点集。


5.根据权利要求4所述的一种基于特征筛选的室外场景图像拼接方法，其特征在于，所述步骤S3中特征点集P2的筛选过程为：
A1：首先计算每个特征点在y方向上与其他点的平均距离；
将特征点集P1作为初始特征点集，lij_y表示第i特征点与其他点在y方向上的平均距离，计算公式如下：



其中，pi表示第i特征点，pj表示除了第i点以外的其他特征点；
A2：将每个特征点的距离lij_y构建成集合，并进行排序，得到集合Lij_y，P1中的每一个点pi都可映射到集合Lij_y的距离lij_y；
A3：在集合Lij_y中，选出距离最大的前α％的值，并对剩余的1-α％的值进行采样，采样频率设置为μ，获得集合Lij_y_select；
A4：利用映射...

【专利技术属性】
技术研发人员：柳稼航，李春彬，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32