一种基于自监督学习的电力线图像实时分割方法技术

本发明专利技术公开了一种基于自监督学习的电力线图像实时分割方法。同批次输入电力线样本图像及电力线样本图像掩膜的集合输入到区域生长算法得单条电力线子图像及单条电力线掩膜的集合；随机提取至少一对单条电力线图像对组合，并与随机背景图片结合生成电力线随机背景融合图像和电力线随机背景掩膜的集合；进行随机不重复区域生长得图像修复区域，和图像修复区域形成分割掩膜，经图像修复算法得电力线分割图像，输入到电力线实时分割网络训练，对待测进行预测分割。本发明专利技术用较小的感受野以减少模型参数，提高模型运行速度，拼接多个尺度特征图，融合浅层的细节信息和深层的语义信息，以获得更好的分割效果；在较少数据量的情况下精度有较大提升。精度有较大提升。精度有较大提升。

【技术实现步骤摘要】
一种基于自监督学习的电力线图像实时分割方法


[0001]本专利技术涉及了一种电力线图像分割的方法，尤其是涉及了一种基于深度学习的电力线图像实时分割方法。

技术介绍

[0002]随着我国电力行业的快速发展，输配电线路规模变得越来越庞大，电力巡检成为保障输配电线路安全稳定运行的重要一环。目前基于无人机的智能巡检已成为电力行业不可或缺的重要运维手段，已在多处开展常态化作业。
[0003]目前的无人机巡检大都由作业人员手动控制完成，由于电力线一般尺寸极小，作业人员仅通过回传图像很难察觉潜在的危险，察觉到了也很难对可能发生的事故做出及时而有效的反应。正因如此，在实际的巡检过程中无人机的机翼很容易和电力线发生碰撞或者缠绕，给无人机的飞行安全和电力设施的稳定运行都带来了极大的风险。为此，电力线分割通过从无人机拍摄的图片中定位出电力线的位置，用以调整无人机的飞行姿态，对实现无人机自动避障、保障无人机低空飞行安全具有重要意义，同时电力线分割也是实现无人机自动跟线巡检的关键技术之一。
[0004]但是传统基于线和线段的算法只能在一些简单特定的场景下应用，在复杂场景下极容易出现误检、漏检情况，而基于深度学习的分割模型由于需要大量的有标签数据训练和需要较大的算力而无法部署在实际的无人机嵌入式设备上。

技术实现思路

[0005]为了解决
技术介绍
中的问题，本专利技术提出了一种基于自监督学习的电力线图像实时分割方法，以解决已有方法中存在的需要大量的有标签数据训练和模型较大需要较大的算力而无法部署在实际的无人机嵌入式设备上的问题。
[0006]本专利技术所采用的技术方案是：
[0007]1)区域分离：
[0008]将同一个批次的输入电力线样本图像集合Batch及输入电力线样本图像集合Batch对应的电力线样本图像掩膜集合BatchMask输入到区域生长算法，经区域生长算法处理获得每幅输入电力线样本图像中每条电力线所对应的单条电力线子图像及其对应的单条电力线掩膜，由所有输入电力线样本图像的单条电力线子图像构成了电力线子图像集合Batch'，由所有输入电力线样本图像的单条电力线子图像的单条电力线掩膜成了单条电力线掩膜集合BatchMask'；
[0009]2)随机组合：
[0010]2.1)电力线子图像集合Batch'中的每一幅电力线子图像与其在单条电力线掩膜集合BatchMask'中对应的单条电力线掩膜构成了一对单条电力线图像对，随机从电力线子图像集合Batch'和单条电力线掩膜集合BatchMask'中取出至少一对单条电力线图像对组合起来，并与一张随机背景图片结合生成电力线随机背景融合图像和电力线随机背景掩
膜；
[0011]2.2)重复步骤2.1)进行多次，各次随机取出至少一对单条电力线图像对与不同的随机背景图片进行结合，从而获得电力线随机背景融合图像集合Batch”和电力线随机背景掩膜集合BatchMask”；
[0012]所述的随机背景图片为与电力线检测场景匹配的但不带有电力线的图片，通常为室外大自然图片。
[0013]3)图像修复：
[0014]针对电力线随机背景融合图像集合Batch”和电力线随机背景掩膜集合 BatchMask”中的每一张电力线随机背景掩膜进行随机次数和随机步数的不重复区域生长获得图像修复区域，接着对每幅电力线随机背景掩膜生长得到的图像修复区域共同形成一幅修复掩膜，将修复掩膜输入到图像修复算法，对修复掩膜对应的电力线随机背景融合图像进行修复填充获得电力线分割图像，电力线随机背景掩膜减去修复掩膜得到最终的电力线分割掩膜，由电力线分割图像和电力线分割掩膜共同构成了电力线分割图像对，由电力线随机背景融合图像集合Batch”中的每一张电力图像和其在电力线随机背景掩膜集合BatchMask”中对应的电力线随机背景掩膜分别组成最终电力线图像集合Batch”'和最终电力线掩膜集合BatchMask”'；
[0015]所述的步骤3)中的图像修复(Inpainting)区域，是对每一个样本的掩膜进行随机次数和随机步数的不重复区域生长得到的生长区域。
[0016]4)将3)得到的最终电力线图像集合Batch”'和最终电力线掩膜集合 BatchMask”'输入到电力线实时分割网络SaSnet进行训练，以训练后的电力线实时分割网络SaSnet对待测的电力线场景图像进行处理，获得预测的分割结果。
[0017]所述的电力线场景图像为在电力线环境场景下拍摄的，需要分割电力线的图像。
[0018]按照本专利技术上述区域分离、随机组合和图像修复的依次处理能够对少量原始的输入电力线样本图像集合进行大量而不重复地扩充，进而生成大量有标签的电力线样本数据用于电力线实时分割网络SaSnet的训练。
[0019]所述的电力线实时分割网络SaSnet主要由输入模块、融合模块、输出模块三部分组成；电力线实时分割网络SaSnet的输入为RGB三通道的彩色图，输入模块是由连续连接的两个第一卷积归一化模块构成，第一卷积归一化模块主要由卷积层、批量归一化层和Relu激活函数依次连接构成，输出统一特征图，通道数为64；融合模块对统一特征图处理生成多个尺度特征图，并且拼接多个尺度特征图，融合其中浅层细节信息和深层语义信息；输出模块主要由一个卷积层、连续两个第一卷积归一化模块依次连接构成；
[0020]所述的融合模块包括三个尺度阶段，统一特征图分别输入到三个尺度阶段获得各自的尺度特征图，然后将各个各自的尺度特征图拼接后共同输入到输出模块；第一个尺度阶段是将统一特征图直接输出的处理；第二个尺度阶段主要由步距为2的卷积层、连续两个第一卷积归一化模块、转置卷积层依次连接构成；第三个尺度阶段与第二个尺度阶段基本相同，区别仅在于连续两个第一卷积归一化模块替换为连续两个第二卷积归一化模块，第二卷积归一化模块和第一卷积归一化模块的区别仅在于将卷积层替换为空洞卷积层。
[0021]所述2.1)中，具体是将至少一对单条电力线图像对中的各个电力线子图像均叠加到随机背景图片上获得电力线随机背景融合图像，将对应的单条电力线图像对中的各个单
条电力线掩膜进行叠加后获得电力线随机背景掩膜。
[0022]本专利技术所述步骤1)中的输入为一个批次的图像集合，输出为新的一个批次的图像集合，也即是一个在线的算法。
[0023]本专利技术对已有的少量有标签的电力线图像数据，通过区域分离、随机组合和图像修复的依次处理，对少量原始的输入电力线样本图像集合进行大量而不重复地扩充，进而生成大量有标签的电力线样本数据用于电力线实时分割网络 SaSnet的训练。
[0024]本专利技术中的电力线分割网络SaSnet抛弃了传统深度学习网络追求大感受野、长距离依赖的设计，用较小的感受野以减少模型参数，提高模型运行速度，同时拼接多个尺度特征图，融合浅层的细节信息和深层的语义信息，以获得更好的分割效果，减少了模型计算量，能够部署在实际的无人机嵌入式设备上，具有广泛的应用前景。
[0025]通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督学习的电力线图像实时分割方法，其特征在于方法包括：1)区域分离：将同一个批次的输入电力线样本图像集合Batch及输入电力线样本图像集合Batch对应的电力线样本图像掩膜集合BatchMask输入到区域生长算法，经区域生长算法处理获得每幅输入电力线样本图像中每条电力线所对应的单条电力线子图像及其对应的单条电力线掩膜，由所有输入电力线样本图像的单条电力线子图像构成了电力线子图像集合Batch'，由所有输入电力线样本图像的单条电力线子图像的单条电力线掩膜成了单条电力线掩膜集合BatchMask'；2)随机组合：2.1)电力线子图像集合Batch'中的每一幅电力线子图像与其在单条电力线掩膜集合BatchMask'中对应的单条电力线掩膜构成了一对单条电力线图像对，随机从电力线子图像集合Batch'和单条电力线掩膜集合BatchMask'中取出至少一对单条电力线图像对组合起来，并与一张随机背景图片结合生成电力线随机背景融合图像和电力线随机背景掩膜；2.2)重复步骤2.1)进行多次，各次随机取出至少一对单条电力线图像对与不同的随机背景图片进行结合，从而获得电力线随机背景融合图像集合Batch”和电力线随机背景掩膜集合BatchMask”；3)图像修复：针对电力线随机背景融合图像集合Batch”和电力线随机背景掩膜集合BatchMask”中的每一张电力线随机背景掩膜进行随机次数和随机步数的不重复区域生长获得图像修复区域，接着对每幅电力线随机背景掩膜生长得到的图像修复区域共同形成一幅修复掩膜，将修复掩膜输入到图像修复算法，对修复掩膜对应的电力线随机背景融合图像进行修复填充获得电力线分割图像，电力线随机背景掩膜减去修复掩膜得到最终的电力线分割掩膜，由电力线分割图像和电力线分割掩膜共同构成了电力线分割图像对，由电力线随机背景融合图像集合Batch”中的每一张电力图像和其在电力线随机背景掩膜集合BatchMask”中对应的电力线随机背景掩膜分别组成最终电力线图像集合Batch”'和最终电力线掩膜...

【专利技术属性】
技术研发人员：陈梅林，闫云凤，齐冬莲，
申请(专利权)人：浙江大学，
类型：发明
国别省市：