【技术实现步骤摘要】
本专利技术涉及智能制造领域，特别涉及一种基于增强现实的可视化维修辅助系统。
技术介绍
1、随着制造业的不断发展，设备数量和种类不断增多，生产节奏不断加快，制造车间对于设备故障及其造成的生产能力下降越发敏感，对于维修效率的要求不断提高。车间维修场景的复杂情况对维修人员造成了较大压力，传统人工维修方式难以满足提高维修效率的要求。传统的维修辅助方式有人员之间经验交流、纸质文档、平板等电子文档，这些维修辅助方式在便携性上或可靠性上存在不足，对于维修效率的提升不多。依靠人员之间经验交流，往往容易遗漏操作细节或者弄错操作顺序，同时难以标准化，同时时间一长容易遗忘。依靠纸质文档或平板等电子设备，在便携性上较差，遇到困难问题维修人员需要一边查阅一边操作，不能双手同时进行操作。因此，亟需一种在维修过程中，可以帮助维修人员获得沉浸的信息体验，并且不需要持续握持设备，可以一边获取可视化的维修指导，一边双手同时操作的系统。
技术实现思路
1、为了解决上述技术问题，本专利技术的目的是提供一种基于增强现实的维修辅助系统，以帮助人员提高维修效率，以及准确性。
2、本申请提供以下方案：
3、一种基于增强现实的可视化维修辅助系统，所述系统包括可视化维修指引功能模块、故障信息虚实映射功能模块、远程专家协同功能模块，其中，
4、所述可视化维修指引功能模块基于面向维修场景的三维注册算法，将真实车间场景与虚拟模型进行叠加，实现对维修部件的快速定位与指引，所述可视化维修指引功能模块还用于显
5、所述故障信息虚实映射功能模块通过维修任务推送机制实现显示故障信息以及维修任务，提醒人员及时处置故障；
6、所述远程专家协同功能模块基于webrtc远程专家系统，用于实现专家与现场维修人员的通信。
7、进一步的，所述可视化维修指引功能模块包括以下单元：
8、orb特征提取单元，所述orb特征提取单元是先基于信息熵阈值的锐化调整，随后再从图像中提取出orb特征；
9、地图坐标系构建及转换单元，所述地图坐标系构建及转换单元根据规则确定关键帧后，通过关键帧和地图点维护实现关键帧插入后，将世界坐标系对应到维修场景中实现完成局部地图的构建；
10、全局位姿解算单元，所述全局位姿解算单元根据基于高斯-牛顿优化的epnp全局位姿解算方法中的最小二乘求解过程，根据目标的三维坐标及在关键帧中的二维成像，计算移动设备相机的位姿，再根据相机的位姿和世界坐标系的匹配关系，求解出位姿变化矩阵，从而计算得到可穿戴ar设备在车间维修现场的实时位姿，根据可穿戴ar设备在车间维修现场的实时位姿将待维修部件的信息进行高亮显示以便进行可视化维修指引。
11、进一步的，在所述orb特征提取单元进行如下操作得到图像的orb特征：
12、获取设备图像，通过fast算法确定图像的特征点之后，采用brief算法对这些特征点进行描述；
13、在空间域采用高通滤波的方法，并使用拉普拉斯算子对图像的每个像素进行卷积运算，以增加像素之间的方差从而实现图像的锐化；
14、基于信息熵阈值进行锐化调整。
15、进一步的，采用brief算法对特征点进行描述具体为：
16、首先确定特征点p的邻域范围，选取n对像素点x和y，通过公式1的τ操作计算从而得到每一对像素点的值为0还是1，然后通过公式2算出特征点p的特征描述符f(p)；最后，输入一个相似度阈值，通过对图像特征描述符的异或操作计算出两者特征描述符的相似度，以此判断是否匹配成功：
17、
18、
19、其中，p为当前的特征点，p(x)为p在点x处的灰度值，p(y)为p在点y处的灰度值；
20、根据质心在旋转过程中的变化确定旋转的角度，从而更新图像发生旋转后的坐标系，具体的计算公式如下：
21、
22、
23、
24、
25、其中，p和q分别代表着二维图像的边界，i(x,y)代表在坐标(x,y)处的灰度值，c为更新图像旋转后的坐标系。
26、进一步的，在空间域采用高通滤波的方法，并使用拉普拉斯算子对图像的每个像素进行卷积运算，以增加像素之间的方差，从而实现图像的锐化，其具体过程为：
27、设定卷积的变量是序列x(n)和h(n)，则卷积的结果为：
28、
29、利用像素灰度值乘以对应卷积核上的值，并将所有相乘的值作为卷积核中间像素对应的图像上像素的灰度值相加，卷积函数的表达式如下：
30、
31、公式8中，anchor是内核的参考点；kernel是卷积核。
32、进一步的，所述基于信息熵阈值进行锐化调整具体为：
33、信息熵计算公式如下所示：
34、
35、式10中，p(xi)是图像中灰度为i(i＝0...255)的像素的概率；
36、若图像中包含的信息量用信息熵表示，则m×n的图像的熵值定义如下：
37、
38、
39、其中，pij是对f(i,j)的归一化处理后的结果。
40、进一步的，所述卷积函数的卷积模板是laplacian变体算子的矩阵形式，其使用图像的二阶导数信息，是各向同性的，具体表达式如下所示：
41、
42、进一步的，在所述orb特征提取单元还包含对信息熵的阈值进行设定和调整的过程，具体为：
43、
44、式13中，e0为场景的信息熵阈值，h(i)ave是该场景中信息熵的平均值，i为视频序列的帧数，δ为校正因子。
45、作为本申请的一种优选实施方案，校正因子δ为0.5时效果最优。
46、有益效果：
47、本专利技术基于增强现实技术开发了一种维修辅助系统，用于智能制造领域，运用增强现实技术实现部署和辅助人员进行维修。其优势在于：
48、1.基于信息熵阈值的锐化调整算法改进的orb-slam2算法，使得眼镜能够正确识别维修场景，让虚拟模型处于正确的位置不被真是物体干涉，并保持相对位置的稳定。
49、2.引入了图像锐化，使图像的边缘和轮廓清晰，增强图像的细节，丰富了图像纹理。
50、3.维修任务推送机制中采用tcp作为通讯协议，能确保连接过程的稳定，确保指令不丢失。并且，设计的维修任务指令格式能更好地满足维修任务的推送以及维修结果的反馈需求，维修任务指令存入到数据库后，能作为设备维修记录，方便下一次维修。
51、4.本地维修专家经验库的建立，能将维修细节以及操作顺序通过文字或图片的方式固定下来作为维修的操作标准，降低维修人员误操作的可能，能够避免人为因素导致维修经验的丢失。
52、5.远程专家协同功能的引入，使现场人员能够清晰地获取专家的指导，本文档来自技高网...
【技术保护点】
1.一种基于增强现实的可视化维修辅助系统，其特征在于，所述系统包括可视化维修指引功能模块、故障信息虚实映射功能模块、远程专家协同功能模块，其中，
2.根据权利要求1所述的一种基于增强现实的可视化维修辅助系统，其特征在于，所述可视化维修指引功能模块包括以下单元：
3.根据权利要求1所述的一种基于增强现实的可视化维修辅助系统，其特征在于，在所述ORB特征提取单元进行如下操作得到图像的ORB特征：
4.根据权利要求3所述的一种基于增强现实的可视化维修辅助系统，其特征在于，采用BRIEF算法对特征点进行描述具体为：
5.根据权利要求3所述的一种基于增强现实的可视化维修辅助系统，其特征在于，在空间域采用高通滤波的方法，并使用拉普拉斯算子对图像的每个像素进行卷积运算，以增加像素之间的方差，从而实现图像的锐化，其具体过程为：
6.根据权利要求3所述的一种基于增强现实的可视化维修辅助系统，其特征在于，所述基于信息熵阈值进行锐化调整具体为：
7.根据权利要求3所述的一种基于增强现实的可视化维修辅助系统，其特征在于，所述卷积函数
8.根据权利要求3所述的一种基于增强现实的可视化维修辅助系统，其特征在于，在所述ORB特征提取单元还包含对信息熵的阈值进行设定和调整的过程，具体为：
9.根据权利要求7所述的一种基于增强现实的可视化维修辅助系统，其特征在于，校正因子δ为0.5时效果最优。
...【技术特征摘要】
1.一种基于增强现实的可视化维修辅助系统，其特征在于，所述系统包括可视化维修指引功能模块、故障信息虚实映射功能模块、远程专家协同功能模块，其中，
2.根据权利要求1所述的一种基于增强现实的可视化维修辅助系统，其特征在于，所述可视化维修指引功能模块包括以下单元：
3.根据权利要求1所述的一种基于增强现实的可视化维修辅助系统，其特征在于，在所述orb特征提取单元进行如下操作得到图像的orb特征：
4.根据权利要求3所述的一种基于增强现实的可视化维修辅助系统，其特征在于，采用brief算法对特征点进行描述具体为：
5.根据权利要求3所述的一种基于增强现实的可视化维修辅助系统，其特征在于，在空间域采用高通滤波的方法，并使用拉普拉斯算子对图像的每...
【专利技术属性】
技术研发人员：杨鸣，张泽群，唐敦兵，朱海华，蔡祺祥，宗陆杰，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。