一种基于AR技术的盾构维修辅助方法和系统技术方案

本发明专利技术涉及盾构机维修设备技术领域，具体涉及一种基于AR技术的盾构维修辅助方法和系统，其中该系统包括三维跟踪注册单元、虚实融合显示单元、人机交互单元、维修辅助管理单元，将AR技术与盾构维修设备相结合，在维修人员进入维修场景后，不需要盲目地观察故障信息并查阅各类维修手册和维修信息，便能够通过本系统提前收录的与盾构机维修相关的说明书、操作规程、技术指南等资料，通过光学透视设备将盾构机的维修方法和维修技巧进行三维立体显示，使得维修人员能够快速准确地对盾构机进行维修，极大地提高了维修工作的效率，缩短了维修时间，降低了作业事故发生的频率。降低了作业事故发生的频率。降低了作业事故发生的频率。

【技术实现步骤摘要】
一种基于AR技术的盾构维修辅助方法和系统


[0001]本专利技术涉及盾构机维修设备
，具体涉及一种基于AR技术的盾构维修辅助方法和系统。

技术介绍

[0002]盾构机是一种隧道掘进的专用工程机械，广泛应用于地铁、铁路、公路、市政、水电等隧道工程。作为盾构施工法中最重要的施工设备，盾构机集机械、电气、液压、传感器、信息于一体，涉及地质、土木、机械、力学、液压、电气、控制、测量等多门学科技术，具有开挖切削土体、输送土碴、拼装隧道衬砌、测量导向纠偏等功能，使用时往往要根据不同的地质进行“量体裁衣”式的设计制造，可靠性要求极高，其工作性能和运行状态关系到整个隧道施工工作的顺利与否。而盾构机本身结构组成复杂、技术密集度高、施工环境恶劣，这些都决定了盾构机维修作业技术难度大、劳动强度高、操作步骤复杂的特点。
[0003]与其他众多的大型复杂机电一体化设备一样，技术人员在承担盾构维修任务过程中，需要及时获取维修作业相关支持信息，以辅助其进行复杂的维修操作，目前采用的传统方式，通常是由技术人员根据维修对象故障状态和作业进展情况，通过查阅说明书、操作规程、技术指南等资料获取相关信息，某些复杂情况下还需结合自身工作经验才能得出合适的应对方案，使得维修工作能否顺利进行并解决很大程度上依赖技术人员的个人工作经验。
[0004]例如授权公告号为CN211761385U的中国技术专利文件公开的一种便携式盾构机检修用维修装置，再例如授权公告号为CN212054700U的中国技术专利文件公开的一种用于盾构机滚刀的移动维修间。这些专利均是通过提供一种新型的辅助维修工具来辅助盾构机的现场维修工作，但无一例外，二者现场使用时，同样需要技术人员根据实际情况作出研判，不清楚的地方仍然需要根据维修对象故障状态和作业进展情况，通过查阅说明书、操作规程、技术指南等资料获取相关信息，而后通过这些工具进行维修，同样存在依赖技术人员个人素质的问题，同时，会因这种查阅说明书、操作规程、技术指南等工作，极大地降低维修工作的效率，延长维修时间，造成维修人员难以集中精力，加大了作业事故发生的频率。

技术实现思路

[0005]有鉴于此，本专利技术的目的是提供一种基于AR技术的盾构维修辅助系统，通过借助增强现实技术（简称AR技术）来构建能够反映盾构机维修现场的三维场景，利用提前收录的与盾构机维修相关的说明书、操作规程、技术指南等资料，通过光学透视设备将盾构机的维修方法和维修技巧进行三维立体显示，使得维修人员能够快速准确地对盾构机进行维修，极大地提高了维修工作的效率，缩短了维修时间，降低了作业事故发生的频率。
[0006]为实现上述目的，本专利技术所提供的基于AR技术的盾构维修辅助系统采用如下技术方案：
一种基于AR技术的盾构维修辅助系统，包括：场景信息采集单元，包括用于对维修场景进行信息采集的拍摄装置；三维跟踪注册单元，包括基于ORB方法对所述拍摄装置所获取的维修场景中的自然特征点进行提取的特征提取模块、利用PROSAC算法对特征提取部分进行优化筛选的优化匹配模块、利用优化筛选结果对拍摄装置的位置姿态进行求解以完成维修场景的三维重建的三维重建模块、利用KLT算法实现对自然特征位置的预测与跟踪的预测跟踪模块；虚实融合显示单元，包括供维修人员佩戴的显示设备、与显示设备信号连接的虚拟场景生成器以及与显示设备和虚拟场景生成器信号连接的视频合成器，所述显示设备上具有摄像装置，用于拍摄真实环境场景画面，而后由虚拟场景生成器产生虚拟信息，再由视频合成器将真实环境场景画面和虚拟信息叠加合成并传输至所述显示设备；人机交互单元，包括用于获取、识别、分析用户的交互输入信息的信息收集模块和及时产生应用反馈响应，以持续向维修人员的感官输出数据信息以提供辅助支援任务的处理反馈模块；维修辅助管理单元，用于为系统的维修辅助服务提供数据支撑，收录有包括盾构系统设备部组件设计信息、维修操作规范、故障机理、操作说明、安全注意事项等在内的收录信息。
[0007]本专利技术所提供的基于AR技术的盾构维修辅助系统的有益效果是：将AR技术与盾构维修设备相结合，在维修人员进入维修场景后，不需要盲目地观察故障信息并查阅各类维修手册和维修信息，便能够通过本系统提前收录的与盾构机维修相关的说明书、操作规程、技术指南等资料，通过光学透视设备将盾构机的维修方法和维修技巧进行三维立体显示，使得维修人员能够快速准确地对盾构机进行维修，极大地提高了维修工作的效率，缩短了维修时间，降低了作业事故发生的频率。
[0008]进一步地，所述交互输入信息为自定义化标准指令手势，包括确认、取消、浏览、前进、后退，所述人机交互单元还包括与自定义化标准指令手势所匹配的交互指令手势模板库。
[0009]进一步地，所述信息收集模块包括用于采集手势画面视频信息的摄像头，所述摄像头为深度摄像头以有效排除光照及背景环境的影响。
[0010]进一步地，所述显示设备为光学透视式头盔平台，所述光学透视式头盔平台包括半透半反的镜片，所述镜片用于投射由所述视频合成器处理后的叠加的真实环境场景信息和虚拟信息，以使维修人员在看到虚拟信息的同时也能透过镜片直接观察到真实环境。在盾构维修工作过程中，维修人员必须能够看到现实世界，实时地观察维修对象，采用光学透视式头盔平台能够满足上述使用需求，且画面延迟性低，使用体验更好。
[0011]进一步地，所述收录信息的呈现形式包括图形、文字、符号、标记、动画以及3D模型。
[0012]为实现上述目的，本专利技术所提供的基于AR技术的盾构维修辅助方法采用如下技术方案：一种基于AR技术的盾构维修辅助方法，包括如下步骤：步骤S1：维修人员携带整个系统到达盾构设备所处的维修场景；步骤S2：由场景信息采集单元利用拍摄装置对维修场景进行拍摄，由三维注册单
元以ORB算法为基础实现对维修场景中自然特征点的提取和匹配，而后，使用PROSAC算法对特征匹配进行优化筛选；随后，利用匹配结果对拍摄装置位置姿态进行求解，完成场景的三维重建，最后，针对AR技术的实时性要求，引入KLT算法实现对自然特征位置的预测与跟踪；步骤S3：虚实融合单元将真实环境场景画面和虚拟信息叠加合成并传输至显示设备，以供维修人员从真实和虚拟两个方面了解实时的维修场景状况；步骤S4：维修人员通过交互输入信息来向人机交互单元中的信息收集模块发出指令，在维修辅助管理单元中收录信息的支撑下，人机交互单元中的处理反馈模块及时且持续地向维修人员的感官输出数据信息以提供辅助支援。
[0013]本专利技术所提供的基于AR技术的盾构维修辅助方法的有益效果是：将AR技术与盾构维修设备相结合，在维修人员进入维修场景后，不需要盲目地观察故障信息并查阅各类维修手册和维修信息，便能够通过本系统提前收录的与盾构机维修相关的说明书、操作规程、技术指南等资料，通过光学透视设备将盾构机的维修方法和维修技巧进行三维立体显示，使得维修人员能够快速准确地对盾构机进行维修，极大地提高了维修工作的效率，缩短了维修时间，降低了作业事故发生的频率。
[0014]进一步地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AR技术的盾构维修辅助系统，其特征在于，包括：场景信息采集单元，包括用于对维修场景进行信息采集的拍摄装置；三维跟踪注册单元，包括基于ORB方法对所述拍摄装置所获取的维修场景中的自然特征点进行提取的特征提取模块、利用PROSAC算法对特征提取部分进行优化筛选的优化匹配模块、利用优化筛选结果对拍摄装置的位置姿态进行求解以完成维修场景的三维重建的三维重建模块、利用KLT算法实现对自然特征位置的预测与跟踪的预测跟踪模块；虚实融合显示单元，包括供维修人员佩戴的显示设备、与显示设备信号连接的虚拟场景生成器以及与显示设备和虚拟场景生成器信号连接的视频合成器，所述显示设备上具有摄像装置，用于拍摄真实环境场景画面，而后由虚拟场景生成器产生虚拟信息，再由视频合成器将真实环境场景画面和虚拟信息叠加合成并传输至所述显示设备；人机交互单元，包括用于获取、识别、分析用户的交互输入信息的信息收集模块和及时产生应用反馈响应，以持续向维修人员的感官输出数据信息以提供辅助支援任务的处理反馈模块；维修辅助管理单元，用于为系统的维修辅助服务提供数据支撑，收录有包括盾构系统设备部组件设计信息、维修操作规范、故障机理、操作说明、安全注意事项等在内的收录信息。2.根据权利要求1所述的基于AR技术的盾构维修辅助系统，其特征在于：所述交互输入信息为自定义化标准指令手势，包括确认、取消、浏览、前进、后退，所述人机交互单元还包括与自定义化标准指令手势所匹配的交互指令手势模板库。3.根据权利要求2所述的基于AR技术的盾构维修辅助系统，其特征在于：所述信息收集模块包括用于采集手势画面视频信息的摄像头，所述摄像头为深度摄像头以有效排除光照及背景环境的影响。4.根据权利要求1至3任一项所述的基于AR技术的盾构维修辅助系统，其特征在于：所述显示设备为光学透视式头盔平台，所述光学透视式头盔平台包括半透半反的镜片，所述镜片用于投射由所述视频合成器处理后的叠加的真实环境场景信息和虚拟信息，以使维修人员在看到虚拟信息的同时也能透过镜片直接观察到真实环境。5.根据权利要求1至3任一项所述的基于AR技术的盾构维修辅助系统，其特征在于：所述收录...

【专利技术属性】
技术研发人员：王瑶瑶，周博，方鹏亚，任淑红，陈庆远，苏毅，
申请(专利权)人：郑州航空工业管理学院，
类型：发明
国别省市：