一种协同三维建图方法及系统技术方案

本发明专利技术提供一种协同三维建图方法及系统，包括：通过云端检测视觉定位标记；通过所述视觉定位标记优化无人机视觉里程计的位姿估计；通过所述视觉定位标记优化无人车视觉里程计的位姿估计；通过所述云端完成ORB

【技术实现步骤摘要】
一种协同三维建图方法及系统


[0001]本专利技术涉及协同三维建图领域，具体是涉及一种协同三维建图方法及系统。

技术介绍

[0002]现有技术中存在采用路标与单目相机传感器技术实现多机器人的三维平面建图的技术，但现有技术系统实时性差；
[0003]还存在采用路标与云架构实现单机器人的二维平面建图，但这种系统不适合大规模环境应用。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术提供了一种协同三维建图方法及系统，具体技术方案如下所示：
[0005]一种协同三维建图方法，包括：
[0006]通过云端检测视觉定位标记；
[0007]通过所述视觉定位标记优化无人机视觉里程计的位姿估计；
[0008]通过所述视觉定位标记优化无人车视觉里程计的位姿估计；
[0009]通过所述云端完成ORB
‑
SLAM框架的局部地图构建线程和闭环检测线程。
[0010]在一个具体的实施例中，还包括：
[0011]采集环境信息，采用Docker作为云端容器，采用Kubernetes作为容器的调度服务，采用BRPC和Beego作为网络构架搭建云平台，使多智能体端与所述云端通讯；
[0012]多智能体包括一台所述无人机和一台所述无人车，所述无人机和所述无人车构成集中式体系结构，所述无人机前方位置装备第一单目相机且所述第一单目相机的镜头朝下，所述无人车前方位置装备第二单目相机且所述第二单目相机的镜头朝前；
[0013]选至少2处环境点，打上所述视觉定位标记。
[0014]在一个具体的实施例中，还包括：
[0015]所述环境信息包括图像信息，对所述图像信息采用ORB
‑
SLAM算法提取特征点和描述子；
[0016]通过PnP算法求得深度，得到点云信息；
[0017]利用所述云平台进行地图初始化，若所述云平台上有地图，则将所述图像信息与所述云端的所述关键帧进行匹配确定初始位置，若所述云平台上没有地图，则将所述图像信息和所述地图等信息作为云平台系统地图的起始；
[0018]通过匹配特征点对或者重定位方法估计相机位姿；
[0019]建立图像特征点和局部点云地图间的关系；
[0020]根据所述关键帧的判断条件，提取所述关键帧上传给所述云端。
[0021]在一个具体的实施例中，所述“建立图像特征点和局部点云地图间的关系”具体包括：
[0022]当局部地图由于环境上的遮挡或纹理缺失等原理导致跟踪失败时，系统采取下列方式进行重定位：
[0023]在所述无人机或所述无人车上的局部地图里去重新定位和匹配参考帧；
[0024]通过当前帧的信息在所述云平台上进行重定位。
[0025]在一个具体的实施例中，所述“通过云端检测视觉定位标记”具体包括：
[0026]进行图像边缘检测；
[0027]筛选出四边形的轮廓边缘；
[0028]对所述四边形的轮廓边缘进行解码，识别所述视觉定位标记。
[0029]在一个具体的实施例中，所述“通过视觉定位标记优化无人机视觉里程计的位姿估计”具体包括：
[0030]定义坐标系，定义无人机装载相机坐标系P
C
、无人机坐标系P
A
、视觉定位标记坐标系P
B
以及世界坐标系P
W
，所述世界坐标系P
W
定义为所述无人机第一帧；
[0031]所述无人机装载相机坐标系P
C
的YOZ平面与所述无人机坐标系P
A
的YOZ平面平行，并设置所述无人机坐标系P
A
的原点在所述无人机中心；
[0032]计算出所述无人机装载相机坐标系P
C
到所述世界坐标系P
W
的关系；
[0033]计算出所述无人机装载相机坐标系P
C
与所述视觉定位标记坐标系P
B
的相对位姿和
[0034]通过所述视觉定位标记得到的相对位姿和视觉里程计得到的相对位姿，求出轨迹误差，并将所述轨迹误差平分在所述无人机的每个关键帧上，使得闭环关键帧与实际误差减小。
[0035]在一个具体的实施例中，所述“计算出所述无人机装载相机坐标系P
C
到所述世界坐标系P
W
的关系”具体包括：
[0036]所述无人机坐标系P
A
与所述无人机装载相机坐标系P
C
是平行关系，既有：
[0037][0038]其中，P
A
表示所述无人机坐标系的坐标，P
C
表示所述无人机装载相机坐标系的坐标，为所述无人机坐标系P
A
与所述无人机装载相机坐标系P
C
之间的平移向量，表示所述相机距离所述无人机中心的距离；
[0039]所述视觉定位标记坐标系P
B
与所述世界坐标系P
W
之间的关系满足：
[0040][0041]其中，P
W
为所述世界坐标系的坐标，P
B
为所述视觉定位标记坐标系的坐标，为所述世界坐标系P
W
与所述视觉定位标记坐标系P
B
之间的平移向量；
[0042]角φ、θ和ψ分别是欧拉角，设所述世界坐标系P
W
到所述无人机坐标系P
A
的旋转矩阵为所述视觉定位标记坐标系P
B
到所述无人机装载相机坐标系P
C
的旋转矩阵为则：
[0043][0044][0045]上述c代表cos，s代表sin，根据上式可得所述视觉定位标记坐标系P
B
和所述无人机装载相机坐标系P
C
旋转关系包括：
[0046][0047]而所述无人机装载相机坐标系P
C
到所述视觉定位标记坐标系P
B
的关系表示是：
[0048][0049]其中，为所述无人机装载相机坐标系P
C
到所述视觉定位标记坐标系P
B
的旋转矩阵，为所述无人机装载相机坐标系P
C
到所述视觉定位标记坐标系P
B
的平移向量；
[0050]则得到所述无人机装载相机坐标系P
C
到所述世界坐标系P
W
的关系包括：
[0051][0052]其中，为所述无人机坐标系P
A
到所述世界坐标系P
W
的旋转矩阵，为所述无人机坐标系P
A
到所述世界坐标系P
W
的平移向量，为所述无人机坐标系P
A
到所述无人机装载相机坐标系P
C
的平移向量。
[0053]在一个具体的实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种协同三维建图方法，其特征在于，包括：通过云端检测视觉定位标记；通过所述视觉定位标记优化无人机视觉里程计的位姿估计；通过所述视觉定位标记优化无人车视觉里程计的位姿估计；通过所述云端完成ORB
‑
SLAM框架的局部地图构建线程和闭环检测线程。2.根据权利要求1所述的协同三维建图方法，其特征在于，还包括：采集环境信息，采用Docker作为云端容器，采用Kubernetes作为容器的调度服务，采用BRPC和Beego作为网络构架搭建云平台，使多智能体端与所述云端通讯；多智能体包括一台所述无人机和一台所述无人车，所述无人机和所述无人车构成集中式体系结构，所述无人机前方位置装备第一单目相机且所述第一单目相机的镜头朝下，所述无人车前方位置装备第二单目相机且所述第二单目相机的镜头朝前；选至少2处环境点，打上所述视觉定位标记。3.根据权利要求2所述的协同三维建图方法，其特征在于，还包括：所述环境信息包括图像信息，对所述图像信息采用ORB
‑
SLAM算法提取特征点和描述子；通过PnP算法求得深度，得到点云信息；利用所述云平台进行地图初始化，若所述云平台上有地图，则将所述图像信息与所述云端的所述关键帧进行匹配确定初始位置，若所述云平台上没有地图，则将所述图像信息和所述地图等信息作为云平台系统地图的起始；通过匹配特征点对或者重定位方法估计相机位姿；建立图像特征点和局部点云地图间的关系；根据所述关键帧的判断条件，提取所述关键帧上传给所述云端。4.根据权利要求3所述的协同三维建图方法，其特征在于，所述“建立图像特征点和局部点云地图间的关系”具体包括：当局部地图由于环境上的遮挡或纹理缺失等原理导致跟踪失败时，系统采取下列方式进行重定位：在所述无人机或所述无人车上的局部地图里去重新定位和匹配参考帧；通过当前帧的信息在所述云平台上进行重定位。5.根据权利要求1所述的协同三维建图方法，其特征在于，所述“通过云端检测视觉定位标记”具体包括：进行图像边缘检测；筛选出四边形的轮廓边缘；对所述四边形的轮廓边缘进行解码，识别所述视觉定位标记。6.根据权利要求1所述的协同三维建图方法，其特征在于，所述“通过视觉定位标记优化无人机视觉里程计的位姿估计”具体包括：定义坐标系，定义无人机装载相机坐标系P
C
、无人机坐标系P
A
、视觉定位标记坐标系P
B
以及世界坐标系P
W
，所述世界坐标系P
W
定义为所述无人机第一帧；所述无人机装载相机坐标系P
C
的YOZ平面与所述无人机坐标系P
A
的YOZ平面平行，并设置所述无人机坐标系P
A
的原点在所述无人机中心；
计算出所述无人机装载相机坐标系P
C
到所述世界坐标系P
W
的关系；计算出所述无人机装载相机坐标系P
C
与所述视觉定位标记坐标系P
B
的相对位姿和通过所述视觉定位标记得到的相对位姿和视觉里程计得到的相对位姿，求出轨迹误差，并将所述轨迹误差平分在所述无人机的每个关键帧上，使得闭环关键帧与实际误差减小。7.根据权利要求6所述的协同三维建图方法，其特征在于，所述“计算出所述无人机装载相机坐标系P
C
到所述世界坐标系P
W
的关系”具体包括：所述无人机坐标系P
A
与所述无人机装载相机坐标系P
C
是平行关系，既有：其中，P
A
表示所述无人机坐标系的坐标，P
C
表示所述无人机装载相机坐标系的坐标，为所述无人机坐标系P
A
与所述无人机装载相机坐标系P
C
之间的平移向量，表示所述相机距离所述无人机中心的距离；所述视觉定位标记坐标系P
B
与所述世界坐标系P
W
之间的关系满足：其中，P
W
为所述世界坐标系的坐标，P
B
为所述视觉定位标记坐标系的坐标，为所述世界坐标系P
W
与所述视觉定位标记坐标系P
B
之间的平移向量；角φ、θ和ψ分别是欧拉角，设所述世界坐标系P
W
到所述无人机坐标系P
A
的旋转矩阵为所述视觉定位标记坐标系P
B
到所述无人机装载相机坐标系P
C
的旋转矩阵为则：则：上述c代表cos，s代表sin，根据上式可得所述视觉定位标记坐标系P
B
和所述无人机装载相机坐标系P
C
旋转关系包括：而所述无人机装载相机坐标系P
C
到所述视觉定位标记坐标系P
B
的关系表示是：其中，为所述无人机装载相机坐标系P
C
到所述视觉定位标记坐标系P
B
的旋转矩阵，为所述无人机装载相机坐标系P
C
到所述视觉定位标记坐标系P
B
的平移向量；则得到所述无人机装载相机坐标系P
C
到所述世界坐标系P
W
的关系包括：
其中，为所述无人机坐标系P
A
到所述世界坐标系P
W
的旋转矩阵，为所述无人机坐标系P
A
到所述世界坐标系P
W
的平移向量，为所述无人机坐标系P
A
到所述无人机装载相机坐标系P
C
的平移向量。8.根据权利要求6所述的协同三维建图方法，其特征在于，所述“计算出所述无人机装载相机坐标系P
C
与所述视觉定位标...

【专利技术属性】
技术研发人员：徐坤，冯时羽，李慧云，党少博，潘仲鸣，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：