一种基于深度学习的MR远程协同装配系统及方法技术方案

本发明专利技术公开了一种基于深度学习的MR远程协同装配系统及方法，该系统包含有本地AR端、远程VR端以及云服务器三部分，本地AR端的装配作业信息通过语音和视频的形式共享到远程VR端，装配部件的实时定位通过一种深度学习方法实现，其装配件的位置也可通过网络共享到远程客户端；远程VR端不仅可通过共享的语音和视频感知本地端协同装配的场景，而且可以通过一种自然直观的交互方式与虚拟三维空间中对象交互表达协同信息。本发明专利技术支持采集深度学习的物体定位和VR空间的自然人机交互方式，采用3D虚拟模型表达清楚的装配引导信息，解决远程协同中装配件识别定位和协同信息准确表达的问题。中装配件识别定位和协同信息准确表达的问题。中装配件识别定位和协同信息准确表达的问题。

【技术实现步骤摘要】
一种基于深度学习的MR远程协同装配系统及方法


[0001]本专利技术涉及混合现实远程协同装配方法，具体涉及一种基于深度学习的MR 远程协同装配系统及方法。

技术介绍

[0002]近年来随着MR与远程协同技术的进步和融合，MR远程协同应用越来越广， 如何采用新兴技术(如深度学习、增强现实和MR)提升远程协同装配的质量、 效率以及用户体验是机械产品装配中一个亟待解决的问题。
[0003]文献“申请公布号是CN 104991772 A中国专利技术专利”公开了一种远程协同作 业方法。该方法支持远程端在协同作业过程对操作过程的记录与保存，从而实现 后续类似装配操作时查阅。在远程协同中如果作业现场操作人员遇到作业难题， 直接可向系统发送请求，然后远程端共享之前保存的操作视频，操作人员可根据 视频解决协同难题。这种方法的优点是远程专家不必实时在线，但其缺点是系统 只支持解决协同作业过程中出现的常规问题而不支持解决意外情况。所以，这种 方法只适用于协同任务简单且固定，操作步骤不多的场景，而无法解决操作过程 复杂且多样的机械产品远程协同装配中作业现场遇到的问题。
[0004]随着MR技术与制造业的深度融合和应用落地，以及增强现实(AugmentedReality,AR)和虚拟现实(Virtual Reality，VR)设备的不断完善和推出，使得 MR远程协同蕴含越来越大的潜力。其与传统语音和视频的远程协同相比，明显 的优势是MR远程协同可以融合语音、视频、CAD模型等，实现用户与系统的 自然直观交互以及准确清楚的三维装配指令信息。
[0005]文献“申请公布号是CN 111260084A中国专利技术专利”公开了一种基于AR远 程协同装配维修的系统及方法。该方法通过MR眼镜自带的同步定位与建图技术 (Simultaneous localization and mapping,SLAM)完成对作业空间及装配维修零部 件的实时三维建模，然后通过实时定位信息叠加装配维修引导信息。此外，系统 支持在AR端识别用户的手势并通过调用与动态手势相匹配的三维动画装配维 修指令，为装配维修作业的操作工人提供三维引导信息。该方法能够显著提升装 配维修指令精准高效表达的能力，从而提升远程协同作业效率。但该方法没有对 装配的零部件的实时定位，采用HoloLens自带SLAM稳定性不够，鲁棒性太低， 这使得装配维修指令虚实融合时会出现位置偏差。此外，在远程协作中，远程用 户不断通过肢体动作进行操作引导极易产生疲劳不适感。

技术实现思路

[0006]本专利技术的目的在于提供一种基于深度学习的MR远程协同装配系统及方法， 克服远程协同作业时装配引导信息表达不准确和不直观，以及人机交互方式不灵 活的问题。
[0007]实现本专利技术目的的技术方案为：
[0008]一种基于深度学习的MR远程协同装配系统，包括本地AR端、远程VR端以 及云服务
器；其中：
[0009]所述本地AR端用于采集装配作业的语音和视频信息并共享到远程VR端，同 时通过训练好的深度学习模型实时获取装配部件的六自由度位姿，将装配件的位 姿通过网络共享到远程VR端；并通过虚实融合显示远程VR端共享的装配引导信 息；
[0010]所述云服务器用于本地AR端和远程VR端交互信息的中转以及信息的存储；
[0011]所述远程VR端用于通过本地AR端共享的语音和视频感知本地端协同装配 的场景，并以Unity 3D为平台构建三维协同虚拟模型，通过与三维虚拟物体模型 交互向本地AR端共享装配引导视频信息。
[0012]进一步的，所述本地AR端包括HoloLens，HoloLens连接云服务器；通过 HoloLens自带相机感知和一个外部相机采集现场装配作业视频信息，通过 HoloLens可显示远程VR端共享的装配引导信息。
[0013]进一步的，所述深度学习模型是以PVNet为主干的深度学习模型，所述深度 学习模型的训练方法为：
[0014]对外部相机采集的RGB图像信息进行图像处理，获取PVNet训练数据集和测 试集；
[0015]PVNet训练数据集作为输入，基于PVNet深度学习进行训练，获取收敛的深 度学习模型；
[0016]基于测试集，判断所述深度学习模型的位姿精度是否小于设定值，若小于， 则采用该深度学习模型，否则重复所述步骤直至获取满足精度要求的深度学习模 型。
[0017]进一步的，所述对外部相机采集的RGB图像信息进行图像处理，获取PVNet 训练数据集具体为：
[0018]通过人工标识码估算相机位姿，并建立世界坐标、物体坐标、相机坐标的相 对关系；
[0019]基于世界坐标、物体坐标、相机坐标的相对关系，使用PnP算法求解相机 位姿，并采集物体的点云信息，基于点云信息采用迭代最近点算法进行相机位姿 优化；
[0020]结合点云信息与外部相机采集的RGB图像信息获取物体完整的三维点云模 型，并采用MeshLab对三维点云模型做裁剪和修补，然后对三维点云模型进行泊 松重建生成3D模型信息；
[0021]结合重建生成的三维点云模型和外部相机采集的相同视角下的RGB图像生 成对应的掩膜图，通过掩膜图对每张RGB图像进行处理并将处理后的RGB图像 划分为PVNet训练数据集和测试集。
[0022]进一步的，所述基于PVNet深度学习进行训练具体为：
[0023]PVNet主干网络对训练集中图像进行卷积运算、向量场景预测和语义分割；
[0024]采用最远点采样算法在语义分割图像上进行特征点的选取；
[0025]给定每个装配件的2D特征位置，结合特征点通过PnP求解器求解六自由度位 姿；
[0026]重复所述步骤直至模型收敛。
[0027]进一步的，所述以Unity 3D为平台构建三维协同虚拟模型包括：(1)在Unity 3D中直接生成三维协同虚拟模型；(2)据装配任务从PDM或CAD库中获取三维 协同虚拟模型，或直接采用CAD建模软件建立三维协同虚拟模型，将三维协同 虚拟模型在3ds Max中转化为obj格式，导入Unity 3D。
[0028]进一步的，所述远程VR端采用HTC Vive套件构建三维交互场景，通过HTC 手柄与三维协同虚拟模型交互，所述装配作业的语音通过HoloLens和其相配套的HoloToolkit采集。
[0029]一种基于任一所述的MR远程协同装配系统的MR远程协同装配方法，包括 步骤：
[0030]本地AR端通过固定视角的相机和HoloLens自带相机，将采集的语音和视频 信息通过网络以云服务器为节点共享至远程VR端；
[0031]本地AR端通过训练好的深度学习模型实时获取装配部件的六自由度位姿， 将装配件的位姿通过网络共享到远程VR端；
[0032]远程VR端以通过本地AR端共享的语音和视频感知本地端协同装配的场景， 并以Unity 3D为平台构建三维协同虚拟模型，采用HTC手本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的MR远程协同装配系统，其特征在于，包括本地AR端、远程VR端以及云服务器；其中：所述本地AR端用于采集装配作业的语音和视频信息并通过云服务器共享到远程VR端，同时通过训练好的深度学习模型实时获取装配部件的六自由度位姿，将装配件的位姿通过网络共享到远程VR端；并通过虚实融合显示远程VR端共享的装配引导信息；所述云服务器用于本地AR端和远程VR端交互信息的中转以及信息的存储；所述远程VR端用于通过本地AR端共享的语音和视频构建本地端协同装配的场景，并以Unity 3D为平台构建三维协同虚拟模型，通过与三维虚拟物体模型交互通过云服务器向本地AR端共享装配引导视频信息。2.根据权利要求1所述的MR远程协同装配系统，其特征在于，所述本地AR端包括HoloLens，HoloLens连接云服务器；通过HoloLens自带相机感知和一个外部相机采集现场装配作业视频信息，通过HoloLens可显示远程VR端共享的装配引导信息。3.根据权利要求2所述的MR远程协同装配系统，其特征在于，所述深度学习模型是以PVNet为主干的深度学习模型，所述深度学习模型的训练方法为：对外部相机采集的RGB图像信息进行图像处理，获取PVNet训练数据集和测试集；PVNet训练数据集作为输入，基于PVNet深度学习进行训练，获取收敛的深度学习模型；基于测试集，判断所述深度学习模型的位姿精度是否小于设定值，若小于，则采用该深度学习模型，否则重复所述步骤直至获取满足精度要求的深度学习模型。4.根据权利要求3所述的MR远程协同装配系统，其特征在于，所述对外部相机采集的RGB图像信息进行图像处理，获取PVNet训练数据集具体为：通过人工标识码估算相机位姿，并建立世界坐标、物体坐标、相机坐标的相对关系；基于世界坐标、物体坐标、相机坐标的相对关系，使用PnP算法求解相机位姿，并采集物体的点云信息，基于点云信息采用迭代最近点算法进行相机位姿优化；结合点云信息与外部相机采集的RGB图像信息获取物体完整的三维点云模型，并采用MeshLab对三维点云模型做裁剪和修补，然后对三维点云模型进行泊松重建生成3D模型信息；结合重建生成的三维点云模型和外部相机采集的相同视角下的RGB图像生成对应的掩膜图，通过掩膜图对每张RGB图像进行处理并将处理后的RGB图像划分为PVNet训练数据集和测试集。5.根据权利要求4所述的MR远程协同装配系统，其特征在于，所述基于PVNet深度学习进行训练具体为：PVNet...

【专利技术属性】
技术研发人员：张政，李红星，孟祥慈，王纪潼，邵奇，
申请(专利权)人：中国船舶重工集团公司第七一六研究所，
类型：发明
国别省市：