【技术实现步骤摘要】
本专利技术涉及电力运维，具体涉及电力运维场景巡检图像拼接方法。
技术介绍
1、近年来，随着国家经济的快速发展，对电力安全供应的要求不断提高，而且电网整体架构日趋庞大复杂，电网安全与设备运维监控成为电网企业安全生产常抓不懈的焦点。电能从生产到消费要经过发电，传输，变压，分配等多个环节，任何一个环节出问题，都会影响到电能的正常供应。而电力设备在野外运行时，经常遭受雷击、酸雨腐蚀以及风暴沙尘等的危害，导致高压电线出现断股、绝缘子劣化等问题，若不及时维修极易造成电力线路断线或短路。因此需要通过不断地检修维护来保证电网系统的正常运行。
2、一直以来，电力巡检都是由人工完成的。巡检工作枯燥且繁琐，一次典型的变电站巡视工作涉及的巡视点极多，这通常需要工作人员花费6-7个工时去完成，而且每次巡检对运维人员的体力也是一大负担。另外，随着大规模电网建设，输变配电运行设备大幅增加，但负责新设备定期检修的专业技术人员却严重匮乏。在现有的人员规模情况下，如何使人力投入更少、运维效率更高，是摆在所有电力人面前的一道亟待解决的难题。
3、随着大数据、云计算、人工智能、5g通讯、信息安全防护、物联网等数字信息技术的创新突破，以数字驱动为特征、数据资源为要素的数字经济得到了蓬勃发展。智能化的新生产方式加快到来，基于无人机的巡检技术在电力运维场景下得到广泛应用。但无人机提供的图像只包含部分电力设备信息，电力运维场景需要包含电力设备的大视角图像。目前无人机巡检并不能满足大视角图像的获取。
4、为此我们提供电力运维场景巡检图像拼接方
技术实现思路
1、针对上述现有技术存在的问题，本专利技术提供了电力运维场景巡检图像拼接方法，利用图像拼接技术，运维人员可以获得无人机巡检的大视角图像，对电力系统设备及周边环境有一个更加全面的了解。而且，采用图像拼接技术进行远程运维，不仅节省了运维人员实地考察的时间，使运维过程效率更高、更加有效，而且还提高了运维过程的安全性。另外，结合人工智能算法，能够提供预测性的维护建议，实现智能化的电力运维管理。
2、为了实现上述目的，本专利技术采用的电力运维场景巡检图像拼接方法，电力运维场景巡检图像拼接方法，包括：
3、第一步：构件模型框架；
4、模型框架包括粗图像对齐阶段和图像融合阶段；
5、其中，在粗图像对齐阶段，以具有一定重叠率的两幅高分辨率运维图像为输入，利用深度单应性网络估计其二者的单应性矩阵，然后使用拼接域变化方法对输入图像进行扭曲，使其粗对齐；
6、其中，在图像融合阶段，融合网络中包含一个低分辨率扭曲分支和高分辨率细化分支，前者学习低分辨率下的图像拼接的扭曲规则，后者用于进一步提高低分辨率分支输出图像的分辨率；
7、第二步：在粗图像对齐阶段网络中，目标图像和参考图像依次由focus层和两个conv层处理，每个conv层后采用c3层，focus层输出通道数为64，两个conv层滤波器数量分别为128和256，网络提取出，三个层次的特征；
8、采用特征相关层计算参考图像特征和目标图像特征的全局相关性和局部相关性；
9、将整幅图像作为输入，其中包含所有重叠区域，而且在进行图像对齐时，不再填充扭曲图像中的无效像素，把无效像素对应位置的内容消融,此时，目标函数为：
10、
11、其中，⊙为逐像素相乘，e为和ia大小相同的全一矩阵,ia，ib分别是参考图像和目标图像的完整图像，为使用估计单应性把图像与另一张图像对齐的操作；
12、第三步：图像融合阶段；
13、在图像融合阶段中使用从特征到像素的融合方法；首先在低分辨率分支学习图像的变形规律，然后在高分辨率分支细化，提高图像质量；
14、在低分辨率分支中，先对从对齐阶段获得的扭曲图像进行下采样，获得尺寸为256×256的低分辨率图像，然后在融合网络中对图像进行从语义特征到rgb像素值的重构，最后输出低分辨率图像融合结果；
15、在高分辨率分支中，将低分辨率融合结果和扭曲图像融合在一起作为输入，在融合网络中进一步处理和细化图像特征，最后输出高分辨率rgb图像；
16、第四步：设计损失函数；
17、设计损失函数时，引入内容掩码和接缝掩码；
18、其中，内容掩码用于提取输出融合图像中属于参考图像和扭曲目标图像的内容；
19、接缝指参考图像和扭曲目标图像的交叉边界，接缝掩码用于提取输出融合图像、参考图像和扭曲目标图像中的接缝内容。
20、作为上述方案的进一步优化，在第二步中：在提取多尺度特征和计算特征相关性之后，采用回归网络预测四个顶点进行单应性变换对应的坐标偏移量，将偏移量送入dlt函数中，计算得到相应的单应性矩阵，每层利用特征进行单应性估计，并将估计得到的矩阵传输到下层。
21、作为上述方案的进一步优化，第一步中，图像进行扭曲时使用拼接域变换方法，规定拼接图像的最小矩形边界为拼接域，在拼接域变换方法中，首先，计算变形后目标图像四个顶点的位置：
22、
23、其中，和分别是变形后目标图像和原本目标图像的第k个顶点，(δxk,δyk)则是变形图像相对于原图像的偏移量，然后通过公式，可得到变形图像的尺寸(w*×h*)；
24、
25、其中为与参考图像的顶点坐标，其值与相同；
26、最后，在拼接域中完成目标图像的扭曲；
27、
28、其中，i，h分别是单位矩阵和对目标图像进行单应性估计得到的单应性矩阵；则是利用3×3矩阵对图像进行扭曲的操作；(ia,ib)为输入图像，(iaw,ibw)为扭曲图像。
29、作为上述方案的进一步优化，第三步中低分辨率网络中各卷积层滤波器数量为64，64，128，128，256，256，512，512，256，256，128，128，64，64，3，并通过跳跃式连接，将相同分辨率下的低级特征和高级特征联系起来。
30、作为上述方案的进一步优化，第三步中高分辨率分支包括三个独立的卷积层和8个残差块，卷积层滤波器数量为64，64，3；每个残差块由convolution、relu、convolution、sum、relu组成，并通过合并残差前后特征，保留输入图像的细节信息。
31、作为上述方案的进一步优化，第四步中，通过将公式(5)中ia，ib换为大小相同的全一矩阵e可获得内容掩码，且利用内容掩码进一步获取接缝掩码：
32、
33、其中，mac，mbc为内容掩码，mas，mbs为接缝掩码，(i.j)为图像中像素点的坐标，*为卷积运算，将所有元素限制在为0和1之间数值；
34、在内容掩码和接缝掩码的基础上，设计内容损失函数和接缝损失函数内容损失函数用于拉近融合图像的特征与参考图像和扭曲目标图像的特征，接缝损失函数则拉近位于接缝处的融合图像内容和参本文档来自技高网...
【技术保护点】
1.电力运维场景巡检图像拼接方法，其特征在于，包括：
2.根据权利要求1所述的电力运维场景巡检图像拼接方法，其特征在于：在第二步中：在提取多尺度特征和计算特征相关性之后，采用回归网络预测四个顶点进行单应性变换对应的坐标偏移量，将偏移量送入DLT函数中，计算得到相应的单应性矩阵，每层利用特征进行单应性估计，并将估计得到的矩阵传输到下层。
3.根据权利要求1所述的电力运维场景巡检图像拼接方法，其特征在于：第一步中，图像进行扭曲时使用拼接域变换方法，规定拼接图像的最小矩形边界为拼接域，在拼接域变换方法中，首先，计算变形后目标图像四个顶点的位置：
4.根据权利要求1所述的电力运维场景巡检图像拼接方法，其特征在于：第三步中低分辨率网络中各卷积层滤波器数量为64，64，128，128，256，256，512，512，256，256，128，128，64，64，3，并通过跳跃式连接，将相同分辨率下的低级特征和高级特征联系起来。
5.根据权利要求1所述的电力运维场景巡检图像拼接方法，其特征在于：第三步中高分辨率分支包括三个独立的卷积层和8个残差块，
6.根据权利要求1所述的电力运维场景巡检图像拼接方法，其特征在于：第四步中，通过将公式(5)中IA，IB换为大小相同的全一矩阵E可获得内容掩码，且利用内容掩码进一步获取接缝掩码：
7.根据权利要求1所述的电力运维场景巡检图像拼接方法，其特征在于：还包括设计两分支的联合损失函数，用于拉近高分辨率分支与低分辨率分支的输出结果：
...【技术特征摘要】
1.电力运维场景巡检图像拼接方法，其特征在于，包括：
2.根据权利要求1所述的电力运维场景巡检图像拼接方法，其特征在于：在第二步中：在提取多尺度特征和计算特征相关性之后，采用回归网络预测四个顶点进行单应性变换对应的坐标偏移量，将偏移量送入dlt函数中，计算得到相应的单应性矩阵，每层利用特征进行单应性估计，并将估计得到的矩阵传输到下层。
3.根据权利要求1所述的电力运维场景巡检图像拼接方法，其特征在于：第一步中，图像进行扭曲时使用拼接域变换方法，规定拼接图像的最小矩形边界为拼接域，在拼接域变换方法中，首先，计算变形后目标图像四个顶点的位置：
4.根据权利要求1所述的电力运维场景巡检图像拼接方法，其特征在于：第三步中低分辨率网络中各卷积层滤波器数量为64，64，128，128，256，256，512，512，256，2...
【专利技术属性】
技术研发人员：梅宇聪，李帆，杨阳，童超，华桦，
申请(专利权)人：国网江西省电力有限公司电力科学研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。