【技术实现步骤摘要】
本公开实施例涉及无人机巡检，尤其涉及一种无人机电力自动巡检中相对于杆塔位置的单目视觉估计方法。
技术介绍
1、相关技术中，电力系统使用的无人机检测技术主要有定点巡查和高空快巡两种形式。其中定点巡查主要采用在电力杆塔周围设置固定航点后检测特定角度的电力器件状态；高空快巡主要用以巡查架空线路周围的环境影响因素为主，这两种方法对gps的依赖性较高。其中，预设固定航点的工作量较大，在面对大规模输电线路的检修与维护时效率受到制约。
2、为解决上述问题，提出了无人机自动巡检向自主巡检迈进的技术要求。但是，无人机自主巡检中存在难以确定自身与电力杆塔相对位置的问题，面对复杂环境中搭建的电力杆塔，无法估计自身位置会导致无人机难以寻找关键的目标器件。
3、目前，使用基于特征点匹配的重定位方法进行位置解算是解决此问题的一种思路。然而，由于二维图像信息转向一维点集信息会导致大量的空间信息丢失，特征点判断提取条件同质化严重，面对复杂环境中搭建的电力杆塔难以估计自身位置。
技术实现思路
1、为了避免现有技术的不足之处，本专利技术提供一种无人机电力自动巡检中相对于杆塔位置的视觉估计方法，用以解决现有技术中存在由于二维图像信息转向一维点集信息会导致大量的空间信息丢失，特征点判断提取条件同质化严重，面对电力杆塔难以估计自身位置的问题。
2、根据本公开实施例，提供一种无人机电力自动巡检中相对于杆塔位置的视觉估计方法，该方法包括：
3、利用电力杆塔数据集训练目标检测模型；
4、将所述待检测图像输入至训练后的所述目标检测模型中进行检测，以识别出所述待检测图像中所有的待筛选电力杆塔；
5、根据所述无人机的视角，判断所述无人机与所述待筛选电力杆塔的相对位置的类型；
6、基于所有的所述待筛选电力杆塔筛选出所述目标电力杆塔，结合所述无人机与所述待筛选电力杆塔的相对位置的类型，得到所述无人机的估计位置。
7、进一步的，所述利用电力杆塔数据集训练目标检测模型的步骤中，包括：
8、对所述电力杆塔数据集中的电力杆塔图片组，所述电力杆塔图片组中包括若干张电力杆塔图片，对所述电力杆塔图片依次进行预处理；其中，所述预处理包括随机裁剪、随机缩放和随机拼接；
9、将预处理后的所述电力杆塔图片组的长宽尺寸缩放至预设尺寸，利用所述预处理后的电力杆塔图片组训练所述目标检测模型；其中，缩放处理后的所述电力杆塔图片组的空余部分利用黑色像素补全。
10、进一步的，将所述待检测图像输入至训练后的所述目标检测模型中进行检测，以识别出所述待检测图像中所有的待筛选电力杆塔的步骤中，包括：
11、对所述待检测图像进行处理，将所述待检测图像划分为若干个第一窗口；
12、对每个所述第一窗口进行注意力计算处理后进行拼接，得到第一特征图；
13、采用移动窗口的方式处理各个所述待检测图像，将所述待检测图像重新划分为若干个第二窗口；
14、对每个所述第二窗口进行注意力计算处理后进行拼接，得到第二特征图；
15、将所述第一特征图和所述第二特征图乘各自权值后相加，以得到注意力计算矩阵；
16、根据所述注意力计算矩阵得到目标特征图，并根据所述目标特征图识别出所述待检测图像中所有的待筛选电力杆塔。
17、进一步的，所述对每个所述第一窗口进行注意力计算处理后进行拼接，得到第一特征图的步骤中，包括：
18、通过线性投射得到每个所述第一窗口的三维数据，分别为第一查询数值矩阵、第一关键数值矩阵与第一本体数值矩阵；
19、进行注意力的点乘操作，将同一通道不同的所述第一窗口的所述第一查询数值矩阵和所述第一关键数值矩阵做内积，以确定两张所述第一窗口之间的相关性，将所述第一查询数值矩阵和所述第一关键数值矩阵内积的结果再经过softmax之后和所述第一本体数值矩阵做内积，表达式为：
20、
21、式中，qw，kw和分别为第一查询数值矩阵、第一关键数值矩阵和第一本体数值矩阵，d为第一查询数值矩阵和第一关键矩阵的维数，m2为窗口补丁数，bw为第一偏置矩阵。
22、进一步的，对每个所述第二窗口进行注意力计算处理后进行拼接，得到第二特征图的步骤中，包括：
23、通过线性投射得到每个所述第二窗口的三维数据，分别为第二查询数值矩阵、第二关键数值矩阵与第二本体数值矩阵；
24、进行注意力的点乘操作，将同一通道不同的所述第二窗口的所述第二查询数值矩阵和所述第二关键数值矩阵做内积，以确定两张所述第二窗口之间的相关性，将所述第二查询数值矩阵和所述第二关键数值矩阵内积的结果再经过softmax之后和所述第二本体数值矩阵做内积，表达式为：
25、
26、式中，qs，ks和分别为第二查询数值矩阵、第二关键数值矩阵与第二本体数值矩阵，bs为第二偏置矩阵。
27、进一步的，将所述第一特征图和所述第二特征图乘各自权值后相加，以得到注意力计算矩阵的步骤中，包括：
28、attention(q,k,v)＝α1wattention(qw,kw,vw)+α2sattention(qs,ks,vs)
29、式中，q，k和分别为总体查询数值矩阵、总体关键数值矩阵与总体本体数值矩阵，α1和α2分别为第一特征图的权值和第二特征图的权值。
30、进一步的，所述根据所述无人机的视角，判断所述无人机与所述待筛选电力杆塔的相对位置的类型的步骤中，包括：
31、基于识别出的所有所述待筛选电力杆塔，结合所述无人机的视角，判断所述无人机与所述待筛选电力杆塔的相对位置的类型；其中，所述无人机与目标电力杆塔的相对位置的类型包括所述无人机位于所述目标电力杆塔的正上方、所述无人机位于所述目标电力杆塔的侧上方、所述无人机位于所述目标电力杆塔的正下方、所述无人机位于所述目标电力杆塔的侧下方和所述无人机位于所述目标电力杆塔的其余位置。
32、进一步的，基于所述待检测图像中所有的所述待筛选电力杆塔筛选出距无人机最近的电力杆塔为目标杆塔，结合所述无人机与所述目标杆塔的相对位置类型，得到所述无人机的估计位置的步骤中，包括：
33、同一幅所述待检测图像中所有检测到所述待筛选电力杆塔的先验框的尺寸最大，且若所述先验框的尺寸占据所述待检测图像的尺寸大于等于四分之一，则对应的所述待筛选电力杆塔为所述目标电力杆塔。
34、进一步的，所述目标检测模型的损失函数包括先验框损失函数、置信度损失函数和分类器损失函数；其中，所述先验框损失函数采用p-iou损失函数，所述置信度损失函数和所述分类器损失函数均采用bce损失函数。
35、进一步的，所述p-iou损失函数包括：
36、iou损失和所述iou损失的上半部分；其中，
37、所述iou损失的表达式为：
38、
3本文档来自技高网...
【技术保护点】
1.一种无人机电力自动巡检中相对于杆塔位置的单目视觉估计方法，其特征在于，该方法包括：
2.根据权利要求1所述无人机电力自动巡检中相对于杆塔位置的单目视觉估计方法，其特征在于，所述利用电力杆塔数据集训练目标检测模型的步骤中，包括：
3.根据权利要求1所述无人机电力自动巡检中相对于杆塔位置的单目视觉估计方法，其特征在于，将所述待检测图像输入至训练后的所述目标检测模型中进行检测，以识别出所述待检测图像中所有的待筛选电力杆塔的步骤中，包括：
4.根据权利要求3所述无人机电力自动巡检中相对于杆塔位置的单目视觉估计方法，其特征在于，所述对每个所述第一窗口进行注意力计算处理后进行拼接，得到第一特征图的步骤中，包括：
5.根据权利要求4所述无人机电力自动巡检中相对于杆塔位置的单目视觉估计方法，其特征在于，对每个所述第二窗口进行注意力计算处理后进行拼接，得到第二特征图的步骤中，包括：
6.根据权利要求5所述无人机电力自动巡检中相对于杆塔位置的单目视觉估计方法，其特征在于，将所述第一特征图和所述第二特征图乘各自权值后相加，以得到注意力计算
7.根据权利要求6所述无人机电力自动巡检中相对于杆塔位置的单目视觉估计方法，其特征在于，所述根据所述无人机的视角，判断所述无人机与所述待筛选电力杆塔的相对位置的类型的步骤中，包括：
8.根据权利要求1所述无人机电力自动巡检中相对于杆塔位置的单目视觉估计方法，其特征在于，基于所述待检测图像中所有的所述待筛选电力杆塔筛选出距无人机最近的电力杆塔为目标杆塔，结合所述无人机与所述目标杆塔的相对位置类型，得到所述无人机的估计位置的步骤中，包括：
9.根据权利要求1所述无人机电力自动巡检中相对于杆塔位置的单目视觉估计方法，其特征在于，所述目标检测模型的损失函数包括先验框损失函数、置信度损失函数和分类器损失函数；其中，所述先验框损失函数采用P-IOU损失函数，所述置信度损失函数和所述分类器损失函数均采用BCE损失函数。
10.根据权利要求1所述无人机电力自动巡检中相对于杆塔位置的单目视觉估计方法，其特征在于，所述P-IOU损失函数包括：
...【技术特征摘要】
1.一种无人机电力自动巡检中相对于杆塔位置的单目视觉估计方法，其特征在于，该方法包括：
2.根据权利要求1所述无人机电力自动巡检中相对于杆塔位置的单目视觉估计方法，其特征在于，所述利用电力杆塔数据集训练目标检测模型的步骤中，包括：
3.根据权利要求1所述无人机电力自动巡检中相对于杆塔位置的单目视觉估计方法，其特征在于，将所述待检测图像输入至训练后的所述目标检测模型中进行检测，以识别出所述待检测图像中所有的待筛选电力杆塔的步骤中，包括：
4.根据权利要求3所述无人机电力自动巡检中相对于杆塔位置的单目视觉估计方法，其特征在于，所述对每个所述第一窗口进行注意力计算处理后进行拼接，得到第一特征图的步骤中，包括：
5.根据权利要求4所述无人机电力自动巡检中相对于杆塔位置的单目视觉估计方法，其特征在于，对每个所述第二窗口进行注意力计算处理后进行拼接，得到第二特征图的步骤中，包括：
6.根据权利要求5所述无人机电力自动巡检中相对于杆塔位置的单目视觉估计方法，其特征在于，将所述第一特征图和所述...
【专利技术属性】
技术研发人员：陈云浩，荣古尧，赵莉，马孟星，赵一帆，唐嘉宁，
申请(专利权)人：云南民族大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。