一种基于航空装配的增强现实自定位方法技术

本发明专利技术公开了一种基于航空装配的增强现实自定位方法，它包括设计系统框架、搭建装配场景、构建装配场景的高精度三维地图、搭建自定位场景信息、设计自定位视觉系统和定时定位流程。本发明专利技术有效的提高了操作人员对任务的理解程度，降低了操作人员的操作门槛，保证高效可靠的完成装配任务，同时在特征点较少的空白区域也可以精准定位。

【技术实现步骤摘要】
一种基于航空装配的增强现实自定位方法
本专利技术涉及自定位
，具体涉及一种基于航空装配的增强现实自定位方法。
技术介绍
目前，航空复杂产品装配过程中，存在装配零件数量大，协调关系繁多，操作复杂度高的问题，操作人员要频繁的在虚拟二维环境(电脑端)与真实装配环境中进行思维切换，使得装配操作指令无法与真实环境进行融合，从而导致传统装配方式作业效率低下、出错率高，延长了设备交付周期。随着虚拟现实引导装配已经在复杂产品装配领域得到了广泛应用，但虚拟现实设备只能提供单一的虚拟信息，没有真实环境中的信息，代入感不强，从而采用了增强现实设备对航空产品装配进行引导，避免了虚拟现实设备只能提供单一虚拟场景信息的缺点，同时，增强现实的核心是多传感器融合自定位技术，该技术广泛应用于无人驾驶、扫地机器人、物流机器人以及增强现实中。其通过载体携带的相机和惯性测量单元等传感器，可以实时的得到载体相对于环境的位置和姿态，结合惯性测量单元在短时间内具有较好的位姿估计优点以及相机在快速运动下会造成的模糊缺陷的缺点，多传感器融合的定位精度得到极大提高。但受限于视觉定位原理，在特征点较少的空白区域会导致设备无法定位、定位精度差的问题。
技术实现思路
本专利技术的目的就是针对上述现有技术的不足，提供一种改善航空产品装配交付周期长、操作复杂以及代入感不强的基于航空装配的增强现实自定位方法。本专利技术采用的技术方案如下：一种基于航空装配的增强现实自定位方法，它包括设计系统框架、搭建装配场景、构建装配场景的高精度三维地图、搭建自定位场景信息、设计自定位视觉系统和定时定位流程，具体包括如下步骤：步骤一：所述设计系统框架采用客户端-服务器并行开发的模式进行数据间的接受和发送，所述客户端通过无线与服务器相连，用于将装配场景和装配工艺信息传输到服务器，所述服务器通过无线与客户端相连，用于将解析出的装配场景特征点和标签信息的位姿传输到客户端；步骤二：完成所述步骤一的系统框架设计后，进行搭建装配场景，所述装配场景包括零件区、待装配区和标签区，所述零件区用于放置装配原件，所述待装配区用于对装配原件进行装配，所述标签区包括多个标签，用于关联多个标签之间的位置和姿态关系，传输至服务器；步骤三：完成所述步骤二的装配场景搭建后，进行构建装配场景的高精度三维地图，所述构建装配场景高精度三维地图先利用深度相机与惯性测量单元提供的距离信息获得装配场景的稠密三维地图，接着利用Apriltag标签，对装配场景的稠密三维地图进行信息填充，建立离散地图，然后将稠密三维地图与离散地图融合形成装配场景的高精度三维地图，传输至服务器；步骤四：所述步骤三中的构建装配场景三维特征地图的高精度三维地图传输到所述搭建自定位场景信息，所述搭建自定位场景信息先对高精度三维地图进行分析，并在特征点较少区域附着Apriltag标签，形成装配场景的标签集，接着测量出标签集之间的相对位姿关系，然后根据装配工艺及装配手册，建立装配零件的空间位置关系，传输至服务器；步骤五：所述步骤四中的搭建自定位场景信息的空间位置关系传输到所述设计自定位视觉系统，所述设计自定位视觉系统包括创建虚拟模型、实时计算设备位姿和虚实场景融合，所述创建虚拟模型与实时计算设备位姿相连，用于AR开发平台搭建三维场景，且根据装配零件的空间位置关系，设定虚拟模型的三维空间坐标，紧接着将增强现实设备放置到场景中，实时计算出设备内深度相机的位姿，所述实时计算设备位姿与虚实场景融合相连，用于将虚拟物体加载到客户端上，实现虚拟物体与装配场景的融合显示；步骤六：完成所述步骤五的设计自定位视觉系统后，进行定时定位流程，所述定时定位流程首先在零件的待装配区完成自定位视觉系统初始化，接着加载高精度三维地图且开启两个线程，然后将两个线程的位姿进行比较，若误差满足设定要求，则自定位视觉系统输出融合结果定位；若误差过大，则利用标签位姿对融合位姿进行修正，自定位视觉系统输出修正后位姿。步骤一中，所述客户端包括AR眼镜、惯性测量单元和工控机，所述惯性测量单元包括传感器，所述工控机与传感器相连，用于控制传感器将计算的数据通过串口传输到服务器。步骤三中，所述深度相机用于采集装配场景一周的视频，对采集到的视频图像进行特征提取和光流跟踪，将提取的视频特征进行筛选，然后提取出特征帧进行特征点保留。步骤三中，所述信息填充包括Apriltag标签的关键帧以及关键帧对应的标签角点信息。步骤六中，所述加载高精度三维地图分为两个线程，一个线程为实时检测Apriltag标签信息，接着根据Apriltag标签估计深度相机相对标签位姿，然后将标签与自定位场景的空间位置关系换算相对于世界坐标的位姿；另一个线程为根据装配场景中的特征点融合惯性测量单元进行融合定位，实时得到深度相机相对于世界坐标系的位姿。步骤五的具体步骤为：(1)计算Apriltag标签的位姿；(2)计算IMU位姿；(3)计算VSLAM位姿；(4)将计算好的位姿传输至服务器且融合虚拟模型的三维空间坐标，然后传输至客户端进行融合显示。步骤五中，所述设备位姿包括Apriltag标签的位姿、IMU位姿以及VSLAM位姿。本专利技术的有益效果有：操作人员穿戴增强现实设备，服务器解读装配指令，同时装配指令以虚拟信息的方式呈现在操作人员眼前，指引操作人员去零件区寻找零件，并引导操作人员到达待装配区域，指导操作人员装配注意事项，有效的提高操作人员对任务的理解程度，降低了操作人员的操作门槛，保证高效可靠的完成装配任务，同时在特征点较少的空白区域也可以精准定位。附图说明图1为本专利技术的增强现实系统框架图；图2为本专利技术的装配场景框架图；图3为本专利技术的装配场景高精度三维地图的采集流程图；图4为本专利技术的装配工艺与设备实时定位技术流程图。具体实施方式下面结合附图对本专利技术作进一步地说明：如图1-4所示，本专利技术它包括设计系统框架、搭建装配场景、构建装配场景高精度三维地图、搭建自定位场景信息、设计自定位视觉系统和定时定位流程，具体包括如下步骤：步骤一：所述设计系统框架采用客户端-服务器并行开发的模式进行数据间的接受和发送，所述客户端通过无线与服务器相连，用于将装配场景和装配工艺信息传输到服务器，所述服务器通过无线与客户端相连，用于将解析出的装配场景特征点和标签信息的位姿传输到客户端；步骤二：完成所述步骤一的系统框架设计后，进行搭建装配场景，所述装配场景包括零件区、待装配区和标签区，所述零件区用于放置装配原件，所述待装配区用于对装配原件进行装配，所述标签区包括多个标签，用于关联多个标签之间的位置和姿态关系，传输至服务器；其中标签之间的位置和姿态关系是通过在多个标签中选择任意一个标签作为起始标签，设定其位置为原点(0，0，0)，旋转初始姿态为(0，0，0)，其余标签相对于起始标签做位移旋转，其位移旋转作为位置和旋转初始姿态。步骤三：完成所述步骤二的装配场景搭建后，进行构建装配场景的高本文档来自技高网...

【技术保护点】
1.一种基于航空装配的增强现实自定位方法，其特征是它包括设计系统框架、搭建装配场景、构建装配场景的高精度三维地图、搭建自定位场景信息、设计自定位视觉系统和定时定位流程，具体包括如下步骤：/n步骤一：所述设计系统框架采用客户端-服务器并行开发的模式进行数据间的接受和发送，所述客户端通过无线与服务器相连，用于将装配场景和装配工艺信息传输到服务器，所述服务器通过无线与客户端相连，用于将解析出的装配场景特征点和标签信息的位姿传输到客户端；/n步骤二：完成所述步骤一的系统框架设计后，进行搭建装配场景，所述装配场景包括零件区、待装配区和标签区，所述零件区用于放置装配原件，所述待装配区用于对装配原件进行装配，所述标签区包括多个标签，用于关联各个标签之间的位置和姿态关系，传输至服务器；/n步骤三：完成所述步骤二的装配场景搭建后，进行构建装配场景的高精度三维地图，所述构建装配场景高精度三维地图先利用深度相机与惯性测量单元提供的距离信息获得装配场景的稠密三维地图，接着利用Apriltag标签，对装配场景的稠密三维地图进行信息填充，建立离散地图，然后将稠密三维地图与离散地图融合形成装配场景的高精度三维地图，传输至服务器；/n步骤四：所述步骤三中的构建装配场景三维特征地图的高精度三维地图传输到所述搭建自定位场景信息，所述搭建自定位场景信息先对高精度三维地图进行分析，并在特征点较少区域附着Apriltag标签，形成装配场景的标签集，接着测量出标签集之间的相对位姿关系，然后根据装配工艺及装配手册，建立装配零件的空间位置关系，传输至服务器；/n步骤五：所述步骤四中的搭建自定位场景信息的空间位置关系传输到所述设计自定位视觉系统，所述设计自定位视觉系统包括创建虚拟模型、实时计算设备位姿和虚实场景融合，所述创建虚拟模型与实时计算设备位姿相连，用于AR开发平台搭建三维场景，且根据装配零件的空间位置关系，设定虚拟模型的三维空间坐标，紧接着将增强现实设备放置到场景中，实时计算出设备内深度相机的位姿，所述实时计算设备位姿与虚实场景融合相连，用于将虚拟物体加载到客户端上，实现虚拟物体与装配场景的融合显示；/n步骤六：完成所述步骤五的设计自定位视觉系统后，进行定时定位流程，所述定时定位流程首先在零件的待装配区完成自定位视觉系统初始化，接着加载高精度三维地图且开启两个线程，然后将两个线程的位姿进行比较，若误差满足设定要求，则自定位视觉系统输出融合结果定位；若误差过大，则利用标签位姿对融合位姿进行修正，自定位视觉系统输出修正后位姿。/n...

【技术特征摘要】
1.一种基于航空装配的增强现实自定位方法，其特征是它包括设计系统框架、搭建装配场景、构建装配场景的高精度三维地图、搭建自定位场景信息、设计自定位视觉系统和定时定位流程，具体包括如下步骤：
步骤一：所述设计系统框架采用客户端-服务器并行开发的模式进行数据间的接受和发送，所述客户端通过无线与服务器相连，用于将装配场景和装配工艺信息传输到服务器，所述服务器通过无线与客户端相连，用于将解析出的装配场景特征点和标签信息的位姿传输到客户端；
步骤二：完成所述步骤一的系统框架设计后，进行搭建装配场景，所述装配场景包括零件区、待装配区和标签区，所述零件区用于放置装配原件，所述待装配区用于对装配原件进行装配，所述标签区包括多个标签，用于关联各个标签之间的位置和姿态关系，传输至服务器；
步骤三：完成所述步骤二的装配场景搭建后，进行构建装配场景的高精度三维地图，所述构建装配场景高精度三维地图先利用深度相机与惯性测量单元提供的距离信息获得装配场景的稠密三维地图，接着利用Apriltag标签，对装配场景的稠密三维地图进行信息填充，建立离散地图，然后将稠密三维地图与离散地图融合形成装配场景的高精度三维地图，传输至服务器；
步骤四：所述步骤三中的构建装配场景三维特征地图的高精度三维地图传输到所述搭建自定位场景信息，所述搭建自定位场景信息先对高精度三维地图进行分析，并在特征点较少区域附着Apriltag标签，形成装配场景的标签集，接着测量出标签集之间的相对位姿关系，然后根据装配工艺及装配手册，建立装配零件的空间位置关系，传输至服务器；
步骤五：所述步骤四中的搭建自定位场景信息的空间位置关系传输到所述设计自定位视觉系统，所述设计自定位视觉系统包括创建虚拟模型、实时计算设备位姿和虚实场景融合，所述创建虚拟模型与实时计算设备位姿相连，用于AR开发平台搭建三维场景，且根据装配零件的空间位置关系，设定虚拟模型的三维空间坐标，紧接着将增强现实设备放置到场景中，实时计算出设备内深度相机的位姿，所述实时计算设备位姿与虚实场景融合相连，用于将虚拟物体加载到客户端上，实现虚拟物体与装配场景的融合显示；
步骤六：完成所述步骤...

【专利技术属性】
技术研发人员：叶波，唐健钧，丁晓，常壮，金莹莹，
申请(专利权)人：成都飞机工业集团有限责任公司，南京翱翔信息物理融合创新研究院有限公司，
类型：发明
国别省市：四川;51