【技术实现步骤摘要】
本专利技术涉及航空飞行器机器人，特别是面向输电线路作业场景的无人机双目视觉定位方法及系统。
技术介绍
1、输电线路作业场景中视觉特征欠佳，但线特征丰富，以及场景中的动态干扰，对基于视觉的定位具有较大的干扰，本专利技术针对输电线路作业场景的这两个特点，利用双目视觉基于视觉同步定位与建图(slam)实现无人机定位。slam技术是指移动机器人在未知环境中，利用视觉传感器信息，创建3d环境地图的同时确定自身在地图中的位置，随着计算机视觉的迅速发展，该技术使用便宜和灵活的视觉传感器在无人机导航中表现出巨大的优势，使得无人机即使在gps拒止环境中，也能实现在多种输电线路作业场景中的鲁棒定位。
2、orb-slam2和lsd-slam等传统视觉slam技术在静态环境且环境特征丰富的假设下表现出出色的定位效果，输电线路作业场景中存在的动态或弱纹理场景，两类场景会造成无人机定位精度差或定位丢失，因此，无人机在输电线路作业场景中的定位仍存在以下问题：动态物体引起的特征漂移导致较大重投影误差；硬件约束和成像原理导致在弱纹理环境中无法提取丰富的特征信息，导致特征跟踪失败。
3、本专利技术针对输电线路作业场景中存在的两个问题，提出了面向输电线路作业场景的无人机双目视觉定位方法，利用实例分割剔除图像中潜在的动态物体减小重投影误差，融合点线特征增加弱纹理环境中可利用的特征信息，线特征的引入也弥补了动态区域剔除导致图像中特征点过少带来的影响，对于无人机在输电线路作业场景中鲁棒定位飞行有着十分重要的意义。
技术
1、鉴于现有的面向输电线路作业场景的无人机双目视觉定位方法及系统中存在的问题，提出了本专利技术。
2、因此，本专利技术的目的是提供面向输电线路作业场景的无人机双目视觉定位方法及系统，针对无人机在输电线路作业场景中定位不确定问题进行解决，本专利技术提出了面向输电线路作业场景的无人机双目视觉定位方法，弥补了动态区域剔除导致图像中特征点过少带来的影响，对于无人机在输电线路作业场景中定位问题进行解决。
3、为解决上述技术问题，本专利技术提供如下技术方案：
4、第一方面，本专利技术实施例提供了面向输电线路作业场景的无人机双目视觉定位方法，其包括，根据输电线路作业场景的特点，确定无人机双目视觉的定位方式，根据定位方式推导无人机双目视觉定位的优化模型；
5、根据定位方式和优化模型设计点线特征融合和动态内容剔除的定位方法，利用位姿优化技术对定位方法进行优化。
6、作为本专利技术所述面向输电线路作业场景的无人机双目视觉定位方法的一种优选方案，其中：所述定位方式包括根据动态场景和弱纹理场景对输电线路作业场景进行分析，所述动态场景包括将定位方式进行动态剔除，所述弱纹理场景的定位方式为点线特征融合，所述优化模型包括针对无人机双目视觉中所提取图像中的点线特征，对实际与模型之间的误差进行分析，所述分析包括通过设计定位优化方法来估计无人机位姿，建立无人机位姿优化模型，设计模型中的特征重投影误差，通过mask r-cnn的动态剔除方法对动态内容进行分割，所述设计模型中的特征重投影误差包括如下步骤：
7、通过点线特征获得当前帧与前一帧的特征匹配关系，根据匹配关系估计相机运动；
8、当前一帧到当前帧的变换矩阵不够准确时，则3d空间中的点线特征到平面的投影存在偏差，此时位姿优化模型的非线性最小二乘形式为：
9、
10、其中，ξ∈se(3)表示对应相机位姿tcw的李代数，下标c,w表示相机参考系和世界参考系，kf表示局部关键帧、p表示局部地图点，l表示局部地图线的集合，表示点特征重投影误差，表示线特征重投影误差，表示点的重投影误差的信息矩阵，表示线的重投影误差的信息矩阵，i表示关键帧。
11、作为本专利技术所述面向输电线路作业场景的无人机双目视觉定位方法的一种优选方案，其中：所述定位方法包括根据相机参考系和世界参考系得到坐标变换关系，具体步骤如下：
12、若i为第i个关键帧，则基于tcw∈se(3)相机位姿，通过检测到第j个特征的3d点，此时3d点tcw∈se(3)为相机位姿，变换到相机坐标系为
13、当通过检测到图像平面上的2d点时，则为第k个线特征的两个3d端点，此时变换到相机坐标系为和为对应投影到图像平面的线特征的2d端点，为图像平面上检测到的线特征的2d端点，为对应的齐次坐标；
14、基于坐标变换关系计算关键帧中的特征点、特征线端点的世界坐标和像素坐标的关系，具体计算公式为：
15、
16、
17、
18、其中，sj表示第j个特征点，k为相机内参。
19、作为本专利技术所述面向输电线路作业场景的无人机双目视觉定位方法的一种优选方案，其中：所述动态内容剔除包括根据点线特征到平面的投影存在偏差计算得到特征点投影到图像平面的点之间的差异，具体计算公式为：
20、
21、其中，sj表示第j个特征点，k为相机内参，表示特征点投影到图像平面的点差异值；
22、根据线特征重投影误差计算得到投影线特征端点mk,nk到检测线特征的距离，具体计算公式为：
23、
24、其中，dm,dn表示线特征端点mk,nk到线特征的路径；
25、将路径进行归一化，具体计算公式为：
26、
27、其中，为图像平面上检测到的线特征的2d端点，为对应的齐次坐标；
28、所述分割包括将mask r-cnn的实例分割结果对动态内容进行过滤；
29、当视觉slam系统接收到关键帧时，系统提取图像平面上的图像特征，使用mask r-cnn框架检测动态内容，通过掩膜过滤掉位于动态内容上的特征。
30、作为本专利技术所述面向输电线路作业场景的无人机双目视觉定位方法的一种优选方案，其中：所述利用位姿优化技术对定位方法进行优化包括将过滤掉的特征通过局部位姿和全局位姿对无人机位姿和关键帧之间的变换关系矩阵进行集束调整，将变换关系矩阵通过李代数形式进行表示，则世界坐标和相机坐标系的变换关系表示为：
31、
32、
33、
34、其中，ξ^为ξ的反对称矩阵；
35、所述反对称矩阵包括基于点线特征相机的位姿优化方法计算得到雅可比矩阵，具体步骤如下：
36、计算点特征关于相机位姿优化的雅可比矩阵公式为：
37、
38、其中，fx,fy为相机内参；
39、对点特征位置优化的雅可比矩阵公式为：
40、
41、其中，sj表示第j个特征点，fx,fy为相机内参；
42、线特征重投影误差对相机位姿的雅可比矩阵公式为：
43、
44、其中，则为第k个线特征的两个3d端点，fx,fy为相机内参，ξ^为ξ的反对称矩阵；
45、对线特征两个端点位本文档来自技高网...
【技术保护点】
1.面向输电线路作业场景的无人机双目视觉定位方法，其特征在于：包括，
2.如权利要求1所述的面向输电线路作业场景的无人机双目视觉定位方法，其特征在于：所述定位方式包括根据动态场景和弱纹理场景对输电线路作业场景进行分析，所述动态场景包括将定位方式进行动态剔除，所述弱纹理场景的定位方式为点线特征融合，所述优化模型包括针对无人机双目视觉中所提取图像中的点线特征，对实际与模型之间的误差进行分析，所述分析包括通过设计定位优化方法来估计无人机位姿，建立无人机位姿优化模型，设计模型中的特征重投影误差，通过Mask R-CNN的动态剔除方法对动态内容进行分割，所述设计模型中的特征重投影误差包括如下步骤：
3.如权利要求2所述的面向输电线路作业场景的无人机双目视觉定位方法，其特征在于：所述定位方法包括根据相机参考系和世界参考系得到坐标变换关系，具体步骤如下：
4.如权利要求3所述的面向输电线路作业场景的无人机双目视觉定位方法，其特征在于：所述动态内容剔除包括根据点线特征到平面的投影存在偏差计算得到特征点投影到图像平面的点之间的差异，具体计算公式为：
6.如权利要求5所述的面向输电线路作业场景的无人机双目视觉定位方法，其特征在于：所述全局位姿包括利用闭环检测消除累计误差，所述闭环检测包括根据关键帧与数据库中的候选关键帧相似性评分，判断当前位置是否建立图像特征，若建立，此时将当前关键帧和候选关键帧通过字典匹配对比图像特征，计算两帧的点和线相似度，具体计算公式为：
7.如权利要求6所述的面向输电线路作业场景的无人机双目视觉定位方法，其特征在于：所述评分包括将点特征和线特征提取的数量进行归一化权重，所述归一化权重包括将融合点线的闭环检测进行评分，基于评分结果进行优化，具体评分公式为：
8.面向输电线路作业场景的无人机双目视觉定位系统，基于权利要求1～7任一所述的面向输电线路作业场景的无人机双目视觉定位方法，其特征在于：包括，
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1～7任一所述的面向输电线路作业场景的无人机双目视觉定位方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1～7任一所述的面向输电线路作业场景的无人机双目视觉定位方法的步骤。
...【技术特征摘要】
1.面向输电线路作业场景的无人机双目视觉定位方法，其特征在于：包括，
2.如权利要求1所述的面向输电线路作业场景的无人机双目视觉定位方法，其特征在于：所述定位方式包括根据动态场景和弱纹理场景对输电线路作业场景进行分析，所述动态场景包括将定位方式进行动态剔除，所述弱纹理场景的定位方式为点线特征融合，所述优化模型包括针对无人机双目视觉中所提取图像中的点线特征，对实际与模型之间的误差进行分析，所述分析包括通过设计定位优化方法来估计无人机位姿，建立无人机位姿优化模型，设计模型中的特征重投影误差，通过mask r-cnn的动态剔除方法对动态内容进行分割，所述设计模型中的特征重投影误差包括如下步骤：
3.如权利要求2所述的面向输电线路作业场景的无人机双目视觉定位方法，其特征在于：所述定位方法包括根据相机参考系和世界参考系得到坐标变换关系，具体步骤如下：
4.如权利要求3所述的面向输电线路作业场景的无人机双目视觉定位方法，其特征在于：所述动态内容剔除包括根据点线特征到平面的投影存在偏差计算得到特征点投影到图像平面的点之间的差异，具体计算公式为：
5.如权利要求4所述的面向输电线路作业场景的无人机双目视觉定位方法，其特征在于：所述利用位姿优化技术对定位方法进行优化包括将过滤掉的特征通过局部位姿和全局位姿对无人机位姿和关键帧之间的变换关系矩阵进行集...
【专利技术属性】
技术研发人员：李泰霖，卓浩泽，蒋圣超，欧发斌，祝文姬，王斌，纪硕磊，杨欣，薛八阳，杨忠，裴云庆，
申请(专利权)人：广西电网有限责任公司电力科学研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。