【技术实现步骤摘要】
本专利技术属于图像处理，涉及高压电塔姿态估计和安全检测，尤其涉及一种多类型高压电塔三粒度姿态估计系统及方法。
技术介绍
1、高压输电塔在现代社会的电力传输中发挥着至关重要的作用，是重要的基础设施。高压输电塔的安全状态会对大片区域产生重大影响，因此需要经常对其进行安全检查。这些检查通常利用无人机辅助视觉图像检查的方法进行。一般来说，电塔的设计是为了容纳输电线路、防雷线路并提供支撑结构，因此其安全检查的关键节点往往和电塔的姿态结构存在很强的关联性。例如：输电线路、绝缘子、阻尼器等关键部位分布和电塔姿态设计相关。鉴于此，高压电塔的安全检查无需无人机对每一个关键节点分别进行拍摄检查，而可以对无人机拍摄的电塔全景图像先预测所有的关键节点，然后再建立关键节点的联系以构造电塔姿态，最后将预测出的关键节点图像截取再进行安全检查即可。因此，可以将其视为多对象姿态估计任务；重点是估计高压电塔的不同部分的姿态。
2、传统的姿态估计模型无论是遵循自上而下还是自下而上的框架，还是采用热图软回归或直接坐标点回归，都会专门命名物体的所有关键节点。在预测过程中使用专用的热图通道确定特定的关键节点。然而在高压电塔的姿态估计任务中，一方面，电塔的多种类型导致该任务存在异构问题，对姿态估计模型泛化能力提出挑战；另一方面，姿态估计模型如何充分利用无人机拍摄的高压电塔全景图像，解决关键节点的混淆问题也存在挑战。
3、目前国内传统的高压输电塔的姿态估计和关键点安全检查方法以无人机拍摄的单一电塔图像进行姿态估计为主，且需要分别对每种类型的关键节点进行
4、然而，上述现有技术均存在以下问题：(1)由于传统的姿态估计方法，模型的训练过程中仅对关键节点的位置和类别进行分别的标记；且在将预测出的关键节点估计电塔姿态的过程中，没有考虑关键节点之间的联系；这使得这些传统姿态估计模型仅能预测单一简单的物体姿态；面对多类型、异构情况显著的高压电塔时，模型的泛化能力不足，难以处理电塔异构问题；(2)传统的姿态估计方法，没有充分考虑无人机拍摄的电塔图像中的粒度信息存在编码困难的问题，高压电塔的关键点密集且相似，模型很容易混淆相似的关键节点。
技术实现思路
1、本专利技术目的旨在针对上述现有技术中的不足，提供一种多类型高压电塔三粒度姿态估计系统，可对无人机拍摄电塔图像从电塔结构的主干、横向支架、整体结构细节三个不同粒度下进行关键节点检测，解决关键节点混淆问题；并结合部分亲和场(part affinityfields，paf)为关键点之间的连接提供位置方向信息，使模型在预测多类型电塔结构的姿态时，克服模型泛化能力不足、难以处理电塔异构的困难。
2、本专利技术另一目的旨在提供上述多类型高压电塔三粒度姿态估计系统的训练方法。
3、本专利技术第三个目的旨在提供一种多类型高压电塔三粒度姿态估计方法。
4、本专利技术的专利技术思路为：对无人机拍摄电塔图像按照电塔结构的主干、横向支架、整体结构细节对关键节点进行三种粒度的区分标注，并使用带增强颈部结构的hrnet的特征金字塔结构实现三种粒度关键点分类；在此基础之上，该方法为解决传统姿态估计方法面对电塔异构情况泛化能力不足的问题，利用paf(部分亲和场)为分类的关键点之间的连接提供位置方向信息，从而实现多类型塔的姿态估计；最终将关键节点的三粒度高斯热图和关键点连接的paf，生成目标结构化信息。
5、针对第一个专利技术目的，本专利技术所提供的多类型高压电塔三粒度姿态估计系统，包括：
6、姿态估计模型，用于对待测高压输电塔图像进行三种指定粒度下的关键点识别；所述姿态估计模型使用的是改进的hrner模型；所述关键点识别结果包括关键点位置信息和关键点的位置方向信息；
7、基于paf的关键点连接模块，用于依据每种粒度下的关键点及位置方向信息构建关键点连接；所述基于paf的关键点连接模块包括连接线构建单元、连接线得分计算单元和连接线筛选单元；
8、连接线构建单元，依据识别出的关键点，构建若干由起点和终点组成的连接点对，起点与终点之间连线即为连接线；
9、连接线得分计算单元，对任意连接点对的起点和终点之间的位置进行估计，并将各位置的paf向量与相应连接线的单位方向向量相乘得到该位置的paf得分，再对所有估计位置的paf得分求平均得到连接线得分；
10、连接线筛选单元，筛选出得分超过设定阈值的连接线；
11、高压输电塔姿态生成模块，用于依据不同粒度下得到的连接线构成高压输电塔的姿态。
12、上述多类型高压输电塔三粒度姿态估计系统，所述三种粒度为基于高压输电塔主干结构的第一粒度、基于高压输电塔主干和横向支架结构的第二粒度及基于高压输电塔整体结构的第三粒度。
13、上述多类型高压输电塔三粒度姿态估计系统，改进的hrnet模型由四个阶段组成，第一个阶段分为四层，分别包含1、1、4和3个卷积模块；第二个阶段分为三层，分别包含1、4和3个卷积模块；第三个阶段分为两层，分别包含4和3个卷积模块；第四个阶段包含3个卷积模块；四个阶段的相应层对齐，各阶段前一层的输出作为所有阶段后一层的输入；所有卷积模块均为resnet残差模块；四个阶段的输出特征通过特征金字塔进行融合得到模型的最终输出，所述特征金字塔包括三层，前一层的输出同时作为下一层的输入。
14、四个阶段的输出特征分别为c1、c2、c3和c4；所述特征金字塔包括三层：
15、第一层中，所述特征c4经上采样得到特征c4′；所述特征c3和特征c4′拼接后得到特征c34；所述特征c34经卷积操作得到第一输出特征；
16、第二层中，所述特征c34与第一输出特征拼接后得到特征c34-3；所述特征c34-3经上采样得到特征c3′；所述特征c3′与特征c2拼接后得到本文档来自技高网...
【技术保护点】
1.一种多类型高压输电塔三粒度姿态估计系统，其特征在于，包括：
2.根据权利要求1的多类型高压输电塔三粒度姿态估计系统，其特征在于，所述三种粒度为基于高压输电塔主干结构的第一粒度、基于高压输电塔主干和横向支架结构的第二粒度及基于高压输电塔整体结构的第三粒度。
3.根据权利要求1的多类型高压输电塔三粒度姿态估计系统，其特征在于，所述改进的HRNET模型由四个阶段组成，第一个阶段分为四层，分别包含1、1、4和3个卷积模块；第二个阶段分为三层，分别包含1、4和3个卷积模块；第三个阶段分为两层，分别包含4和3个卷积模块；第四个阶段包含3个卷积模块；各阶段前一层的输出作为所有阶段后一层的输入；四个阶段的输出特征通过特征金字塔进行融合得到模型的最终输出，所述特征金字塔包括三层，前一层的输出同时作为下一层的输入。
4.根据权利要求3的多类型高压输电塔三粒度姿态估计系统，其特征在于，四个阶段的输出特征分别为C1、C2、C3和C4；所述特征金字塔包括三层：
5.根据权利要求1的多类型高压输电塔三粒度姿态估计系统，其特征在于，对于连接线得分计算单元，假
6.根据权利要求1的多类型高压输电塔三粒度姿态估计系统，其特征在于，所述高压输电塔姿态生成模块，对于不同粒度下同一关键点相关的连接线，保留得分最高的连接线。
7.权利要求1至6任一项所述的多类型高压输电塔三粒度姿态估计系统训练方法，其特征在于，包括以下步骤：
8.权利要求7所述的多类型高压输电塔三粒度姿态估计系统训练方法，其特征在于，步骤S2包括以下分步骤：
9.根据权利要求8所述的多类型高压输电塔三粒度姿态估计系统训练方法，其特征在于，步骤S3中，模型损失表示为：
10.一种基于多类型高压输电塔三粒度姿态估计方法，其特征在于，使用权利要求1至6任一项所述的系统按照以下步骤进行：
...【技术特征摘要】
1.一种多类型高压输电塔三粒度姿态估计系统，其特征在于，包括：
2.根据权利要求1的多类型高压输电塔三粒度姿态估计系统，其特征在于，所述三种粒度为基于高压输电塔主干结构的第一粒度、基于高压输电塔主干和横向支架结构的第二粒度及基于高压输电塔整体结构的第三粒度。
3.根据权利要求1的多类型高压输电塔三粒度姿态估计系统，其特征在于，所述改进的hrnet模型由四个阶段组成，第一个阶段分为四层，分别包含1、1、4和3个卷积模块；第二个阶段分为三层，分别包含1、4和3个卷积模块；第三个阶段分为两层，分别包含4和3个卷积模块；第四个阶段包含3个卷积模块；各阶段前一层的输出作为所有阶段后一层的输入；四个阶段的输出特征通过特征金字塔进行融合得到模型的最终输出，所述特征金字塔包括三层，前一层的输出同时作为下一层的输入。
4.根据权利要求3的多类型高压输电塔三粒度姿态估计系统，其特征在于，四个阶段的输出特征分别为c1、c2、c3和c4；所述特征金字塔包括三层：
5.根据权利要求1的多类型高压输电塔三粒度姿态估计系...
【专利技术属性】
技术研发人员：吕磊，戴旭，霍耀冉，沈泺成，肖钰皓，刘从洪，李科，方夏，张宇鹏，
申请(专利权)人：国网四川省电力公司信息通信公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。