一种输电线路无人机航拍图像拼接方法技术

本发明专利技术公开了一种输电线路无人机航拍图像拼接方法，包括：获取多张航拍图像；检测有重叠区域的两张航拍图像的SIFT特征点及其匹配点；基于SIFT特征点及其匹配点，采用APAP算法计算有重叠区域的两张航拍图像的对齐项；采用ARAP算法计算有重叠区域的两张航拍图像的局部相似项；执行APAP算法后，计算每个航拍图像的焦距和最佳旋转角度；航拍图像旋转后，计算有重叠区域的两张航拍图像的全局相似项；基于对齐项、局部相似项和全局相似项，进行图像合成。本发明专利技术通过特征点检测与匹配、对齐项、局部相似项、焦距和旋转估计、全局相似项将无人机拍摄的线路局部图像拼接成完整的全景图，供相关人员掌握线路的整体情况。关人员掌握线路的整体情况。关人员掌握线路的整体情况。

【技术实现步骤摘要】
一种输电线路无人机航拍图像拼接方法


[0001]本专利技术涉及输电线路巡检
，具体涉及一种输电线路无人机航拍图像拼接方法。

技术介绍

[0002]输电线路巡视检查是沿着线路详细巡视线路设备的运行情况，及时发现设备存在的缺陷和故障点，并详细记录，以作为线路检修的依据。
[0003]传统的人工巡线不仅工作量大而且条件艰苦，特别是对山区和跨越大江大河的输电线路的巡查，因此现有多采用无人机巡检。但，无人机在高空飞行拍摄只能获取局部线路的图像，巡检范围有限。
[0004]因此需采用图像拼接技术，将无人机的航拍图像集拼成一张完整的输电线路全景图，供相关人员观察。

技术实现思路

[0005]针对现有技术中存在的上述问题，本专利技术提供一种输电线路无人机航拍图像拼接方法。
[0006]本专利技术公开了一种输电线路无人机航拍图像拼接方法，包括：
[0007]获取多张航拍图像；
[0008]检测有重叠区域的两张航拍图像的SIFT特征点及其匹配点；
[0009]基于所述SIFT特征点及其匹配点，采用APAP算法计算有重叠区域的两张航拍图像的对齐项；
[0010]采用ARAP算法计算有重叠区域的两张航拍图像的局部相似项；
[0011]执行APAP算法后，计算每个航拍图像的焦距和最佳旋转角度；
[0012]航拍图像旋转后，计算有重叠区域的两张航拍图像的全局相似项；
[0013]基于所述对齐项、局部相似项和全局相似项，进行图像合成。
[0014]作为本专利技术的进一步改进，所述对齐项的计算方法，包括：
[0015]将每个图像划分成m
×
n个四边形网格，用特征点所在网格的四个顶点的线性组合表示特征点；
[0016]单个图像的所有网格顶点从1到(m+1)
×
(n+1)进行编号，第i个图像网格顶点集合V
i
：
[0017][0018][0019]式中，为第i个图像第k个顶点的坐标；
[0020]第i个图像网格边集合E：
[0021][0022]式中，与为相邻顶点；
[0023]APAP两个图像重叠区域在一张图像I
i
上的特征点用表示，在另一张图像I
j
上的对应点用表示，为特征点匹配对，对齐项能量函数：
[0024][0025]式中，表示特征点所在网格的四个顶点的线性组合，J是有重叠区域的图像集合，N表示所拼图像总数，是最终要求的所有网格变换之后的顶点。
[0026]作为本专利技术的进一步改进，所述局部相似项的能量函数为：
[0027][0028][0029]其中表示边表示该边变形之后的结果，是边(k,l)旋转变换，和表示为该边顶点坐标的线性组合，c作用于横坐标，s作用于纵坐标，这种组合就使得该边进行旋转变换。
[0030]作为本专利技术的进一步改进，所述焦距和最佳旋转角度的计算方法，包括：
[0031]根据两个图像的单应性，估计两个图像的焦距；
[0032]将这些估计的中位数作为焦距的初始化，初始化矩阵为K
i
；
[0033]根据相机参数估计模型，通过投影误差估计两张图像相机相对旋转矩阵R
ij
；
[0034]计算得到所有初始的K
i
和R
ij
后，使用捆绑调整算法计算得到图像I
i
的焦距f
i
和旋转矩阵R
i
；其中，若以I1为全景图基准，I
i
的相对尺度大小为：
[0035]s
i
＝f1/f
i
[0036]将旋转矩阵R
ij
分解得到相对于相机z轴的旋转角度，使用线特征匹配估计和捆绑调整估计的相结合计算图像最佳选转角的方法得到最佳旋转角度θ
i
。
[0037]作为本专利技术的进一步改进，所述全局相似项的能量函数为：
[0038][0039][0040]I
i
中每条边的都进行旋转变换；其中，权重函数为远离重叠区域的边缘分配更多的权重，β和γ为控制参数，表示具有公共边(j,k)∈E
i
的网格集合，M
i
表示重叠区域，表示网格中心到重叠区域的距离，m
i
和n
i
分别表示图像I
i
的行列网格数；
[0041]总的能量函数为：
[0042][0043][0044]其中A
a
,A
ls
,A
gs
和0,0,b
gs
分别表示对齐项，局部相似项和全局相似项在顶点集对应的雅可比矩阵和残差向量；通过最优化计算，得到最终顶点集
[0045]作为本专利技术的进一步改进，所述图像合成，包括：
[0046]两张航拍图像的网格顶点坐标经过最优化计算后，得到其对应的全景图顶点坐标；
[0047]将单个四边形网格分割成两个三角形网格，切割从四边形右上角坐标到左下角坐标；
[0048]由三对顶点的映射关系计算得到三角形之间的仿射变换，完成纹理映射；
[0049]在建立了输出图像像素点与输入图像像素点之间的映射关系后，使用线性融合方式融合图像。
[0050]与现有技术相比，本专利技术的有益效果为：
[0051]本专利技术通过特征点检测与匹配、对齐项、局部相似项、焦距和旋转估计、全局相似项将无人机拍摄的线路局部图像拼接成完整的全景图，供相关人员掌握线路的整体情况。
附图说明
[0052]图1为本专利技术一种实施例公开的输电线路无人机航拍图像拼接方法的流程图。
具体实施方式
[0053]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0054]下面结合附图对本专利技术做进一步的详细描述：
[0055]如图1所示，本专利技术提供一种输电线路无人机航拍图像拼接方法，包括：
[0056]步骤1、获取多张航拍图像；
[0057]步骤2、检测有重叠区域的两张航拍图像I
i
,I
j
的SIFT特征点及其匹配点，配准两个图像；
[0058]步骤3、基于SIFT特征点及其匹配点，采用APAP算法计算有重叠区域的两张航拍图
像的对齐项；具体为：
[0059]通过保持匹配点与其对应点对齐来确保变形后的对齐质量，对齐项使用APAP算法，该算法是一种基于网格对齐的图像配准算法；APAP根据步骤2得到的特征点及其匹配点来对齐两个图像，将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种输电线路无人机航拍图像拼接方法，其特征在于，包括：获取多张航拍图像；检测有重叠区域的两张航拍图像的SIFT特征点及其匹配点；基于所述SIFT特征点及其匹配点，采用APAP算法计算有重叠区域的两张航拍图像的对齐项；采用ARAP算法计算有重叠区域的两张航拍图像的局部相似项；执行APAP算法后，计算每个航拍图像的焦距和最佳旋转角度；航拍图像旋转后，计算有重叠区域的两张航拍图像的全局相似项；基于所述对齐项、局部相似项和全局相似项，进行图像合成。2.如权利要求1所述的输电线路无人机航拍图像拼接方法，其特征在于，所述对齐项的计算方法，包括：将每个图像划分成m
×
n个四边形网格，用特征点所在网格的四个顶点的线性组合表示特征点；单个图像的所有网格顶点从1到(m+1)
×
(n+1)进行编号，第i个图像网格顶点集合V
i
：：式中，为第i个图像第k个顶点的坐标；第i个图像网格边集合E：式中，与为相邻顶点；APAP两个图像重叠区域在一张图像I
i
上的特征点用表示，在另一张图像I
j
上的对应点用表示，为特征点匹配对，对齐项能量函数：式中，表示特征点所在网格的四个顶点的线性组合，J是有重叠区域的图像集合，N表示所拼图像总数，是最终要求的所有网格变换之后的顶点。3.如权利要求2所述的输电线路无人机航拍图像拼接方法，其特征在于，所述局部相似项的能量函数为：
其中表示边表示边表示该边变形之后的结果，是边(k,l)旋转变换，和表示为该边顶点坐标的线性组合，c作用于横坐标，s作用于纵坐标，这种组合就使得该边进行旋转变换。4.如权利要求3所述的输电线路无人机航拍图像拼接方法，其特征在于，所述焦距和最佳旋转角度的计算方法，包括：根据两个图像的单应性，估计两个图像的焦距；将这些估计的中位数作为焦距的初始化，初始化矩阵为K
i
；根据相机参数估计模型，通过投影误差估计两张图像相机相对旋转矩阵Ri
j

【专利技术属性】
技术研发人员：朱株，张杰兰，庄振华，邹文凯，张晓航，何茂丽，
申请(专利权)人：浙江奥脉特智能科技有限公司，
类型：发明
国别省市：