一种基于AR技术的矿下巡检系统及方法技术方案

本发明专利技术公开了一种基于AR技术的矿下巡检系统及方法，属于矿下巡检领域，涉及AR技术，解决了如何基于AR技术对矿下的安全隐患问题进行智能化巡检的问题；巡检管理后台发送矿下巡检任务清单至头戴式AR眼镜中的任务清单模块；巡检人员获取所属头戴式AR眼镜授权，查看矿下巡检任务清单；根据巡检任务路线进行移动，并采用拍摄模块对目标巡查对象进行拍摄，通过图像处理模块和交互模块生成巡检现场的虚拟画面信息，并通过手势或者语音对虚拟画面进行操控；从巡检管控后台获取目标巡检对象的监测信息，在任务清单模块进行巡检任务记录表的填充；若出现不能解决的巡检问题，则通过通信模块连接巡检管理后台进行第一视角的视频通话获取协助。获取协助。获取协助。

【技术实现步骤摘要】
一种基于AR技术的矿下巡检系统及方法


[0001]本专利技术属于矿下巡检领域，涉及AR技术，具体是一种基于AR技术的矿下巡检系统及方法。

技术介绍

[0002]在一些矿下作业中，如煤炭的生产，需要巡检人员进入煤矿进行定期或不定期的人工巡检，以排查安全隐患。
[0003]目前针对矿下作业，还是采用传统的人工巡检，这使得矿下巡检的工作效率较低。现有技术中已采用了基于AR技术的人工巡检，但技术仍然不够成熟。
[0004]为此，本专利技术提出了一种基于AR技术的矿下巡检系统及方法。

技术实现思路

[0005]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种基于AR技术的矿下巡检系统及方法，该一种基于AR技术的矿下巡检系统及方法解决了如何基于AR技术对矿下的安全隐患问题进行智能化巡检的问题。
[0006]为实现上述目的，根据本专利技术的第一方面的实施例提出一种基于AR技术的矿下巡检系统，包括：头戴式AR眼镜、北斗全球定位系统以及巡检管理后台；
[0007]所述头戴式AR眼镜设置有安全防护模块、任务清单模块、通信模块、定位模块、显示模块、拍摄模块、语音采集模块、图像处理模块以及交互模块；所述安全防护模块用于对巡检人员的头部进行防护；所述任务清单模块用于从巡检管理后台获取当前巡检人员的矿下巡检任务清单，还根据巡检任务记录表的模板格式进行获取的巡检信息的自动填充；所述通信模块与巡检管理后台通过通信网络无线连接；所述定位模块用于通过北斗全球定位系统对头戴式AR眼镜进行实时定位；所述显示模块采用双目衍射光波导显示技术，对虚实画面信息进行显示；所述拍摄模块用于拍摄矿下巡检现场环境和巡检人员手势的后置画面信息和巡检人员眼球动作的前置画面信息，并发送至图像处理模块进行分析处理，以及将获取的巡检现场环境的后置画面信息发送至显示模块进行显示；所述语音采集模块用于对巡检人员的语音进行采集，并将获取的语音信息发送至交互模块；所述图像处理模块用于对获取的视频图像信息进行存储和分析处理，通过对获取的视频图像信息进行抽帧转换为数字图像，并进行预处理转化为高清数字图像，提取巡检人员眼球的虹膜特征信息发送至交互模块获取授权，以及授权后计算获取巡检人员眼球视线在前置视频图像中的坐标位置信息，并发送至交互模块获取虚拟画面信息，以及计算巡检人员手势在相对应的虚拟画面中的坐标位置信息，并发送至交互模块进行相应的虚拟画面信息的操作；以及所述交互模块用于对获取的虹膜特征信息、坐标位置信息以及语音信息进行分析处理；
[0008]所述北斗全球定位系统与所述头戴式AR眼镜无线连接，用于对头戴式AR眼镜进行实时定位，并将获取的实时定位信息发送至头戴式AR眼镜和巡检管理后台；
[0009]所述巡检管理后台用于对矿下目标巡检对象中的仪器设备的监测数据进行采集
和处理，并对故障信息进行标记；所述巡检管理后台还用于根据矿下安全隐患排查计划生成矿下巡检任务清单，并发送至头戴式AR眼镜；所述巡检管理后台还用于与头戴式AR眼镜的巡检人员进行视频通话，对矿下巡检问题进行远程协助解决。
[0010]进一步地，所述拍摄模块设置有眼球追踪摄像头、普通摄像头、扩展内窥镜以及红外热成像摄像头；所述眼球追踪摄像头用于对巡检人员的眼球动作进行拍摄，获取巡检人员眼球的前置视频图像；所述普通摄像头用于对矿下巡检现场环境和巡检人员手势进行实时拍摄；所述扩展内窥镜用于对目标巡检对象用肉眼不易查看或者普通摄像头不易查看的位置画面进行拍摄；所述红外热成像摄像头用于通过采用红外热成像技术探测目标巡检对象的红外辐射，并通过光电转化和信号处理获取带有温度分布的前置视频图像。
[0011]进一步地，所述交互模块对获取的虹膜特征信息与存储中的授权虹膜特征信息进行比对，计算相似度，预设相似度阈值，若计算的相似度大于等于预设相似度阈值，则交互模块控制头戴式AR眼镜对巡检人员授权。
[0012]进一步地，所述交互模块根据获取的巡检人员眼球视线在前置视频图像中的坐标位置信息，根据智能识别技术获取对应坐标位置的物体识别信息；若该物体识别信息为仪器设备的二维码识别信息，则交互模块通过通信模块将获取的二维码识别信息发送至巡检管理后台获取当前二维码所对应的仪器设备的监测信息，并转化为虚拟画面信息发送至显示模块进行显示，同时将监测信息发送至任务清单模块，任务清单模块根据巡检任务记录表的模板格式进行自动填充；
[0013]若当前仪器设备无二维码，或者未从巡检管理后台获取监测信息，则通过将对应坐标位置的物体高清数字图像输入至由前期根据大量本领域的图像信息训练样本所构建的第一神经网络模型，输出对应的物体识别信息；并转化为虚拟画面信息发送至显示模块进行显示，同时将监测信息发送至任务清单模块，任务清单模块根据巡检任务记录表的模板格式进行自动填充；
[0014]所述交互模块还根据巡检管理后台对监测信息是否故障的判断，若出现监测信息为故障信息，则输出预警信息至显示模块，由巡检人员前往查看和检修；其中，若巡检人员无法解决，则巡检人员通过通信模块连接巡检管理后台进行第一视角的视频通话，协助巡检人员进行解决故障问题。
[0015]进一步地，交互模块根据获取的巡检人员手势在相对应的虚拟画面中的坐标位置信息，输出对应的操控信息。
[0016]进一步地，交互模块对获取的语音信息进行预处理，转化为清晰语音，并输入至由前期根据大量语音数据训练样本所建立的第二神经网络模型，输出对应的操控信息。
[0017]进一步地，一种基于AR技术的矿下巡检方法，根据所述的一种基于AR技术的矿下巡检系统，包括：
[0018]步骤一：巡检管理后台根据矿下安全隐患排查计划发送矿下巡检任务清单至对应巡检人员的头戴式AR眼镜中的任务清单模块；
[0019]步骤二：巡检人员通过眼球移动追踪摄像头、图像处理模块以及交互模块获取所属头戴式AR眼镜的授权，并根据任务清单模块和显示模块查看矿下巡检任务清单；
[0020]步骤三：巡检人员根据矿下巡检任务清单中的巡检任务路线进行移动，并采用拍摄模块对目标巡查对象进行拍摄，通过图像处理模块和交互模块生成巡检现场的虚拟画面
信息，并通过手势或者语音对虚拟画面进行操控；
[0021]步骤四：巡检人员通过通信模块从巡检管控后台获取目标巡检对象的监测信息，在任务清单模块进行巡检任务记录表的填充；若出现不能解决的巡检问题，则通过通信模块连接巡检管理后台进行第一视角的视频通话获取协助。
[0022]与现有技术相比，本专利技术的有益效果是：
[0023]本专利技术中的头戴式AR眼镜通过安全防护模块对巡检人员的头部进行防护；通过任务清单模块从巡检管理后台获取当前巡检人员的矿下巡检任务清单，还根据巡检任务记录表的模板格式进行获取的巡检信息的自动填充；通过通信模块与巡检管理后台通过通信网络无线连接；通过定位模块与北斗全球定位系统连接对头戴式AR眼镜进行实时定位；通过显示模块对虚实画面信息进行显示；通过拍摄模块拍摄矿下巡检现场环境和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AR技术的矿下巡检系统，其特征在于，包括：头戴式AR眼镜、北斗全球定位系统以及巡检管理后台；所述头戴式AR眼镜设置有安全防护模块、任务清单模块、通信模块、定位模块、显示模块、拍摄模块、语音采集模块、图像处理模块以及交互模块；所述安全防护模块用于对巡检人员的头部进行防护；所述任务清单模块用于从巡检管理后台获取当前巡检人员的矿下巡检任务清单，还根据巡检任务记录表的模板格式进行获取的巡检信息的自动填充；所述通信模块与巡检管理后台通过通信网络无线连接；所述定位模块用于通过北斗全球定位系统对头戴式AR眼镜进行实时定位；所述显示模块采用双目衍射光波导显示技术，对虚实画面信息进行显示；所述拍摄模块用于拍摄矿下巡检现场环境和巡检人员手势的后置画面信息和巡检人员眼球动作的前置画面信息，并发送至图像处理模块进行分析处理，以及将获取的巡检现场环境的后置画面信息发送至显示模块进行显示；所述语音采集模块用于对巡检人员的语音进行采集，并将获取的语音信息发送至交互模块；所述图像处理模块用于对获取的视频图像信息进行存储和分析处理，通过对获取的视频图像信息进行抽帧转换为数字图像，并进行预处理转化为高清数字图像，提取巡检人员眼球的虹膜特征信息发送至交互模块获取授权，以及授权后计算获取巡检人员眼球视线在前置视频图像中的坐标位置信息，并发送至交互模块获取虚拟画面信息，以及计算巡检人员手势在相对应的虚拟画面中的坐标位置信息，并发送至交互模块进行相应的虚拟画面信息的操作；以及所述交互模块用于对获取的虹膜特征信息、坐标位置信息以及语音信息进行分析处理；所述北斗全球定位系统与所述头戴式AR眼镜无线连接，用于对头戴式AR眼镜进行实时定位，并将获取的实时定位信息发送至头戴式AR眼镜和巡检管理后台；所述巡检管理后台用于对矿下目标巡检对象中的仪器设备的监测数据进行采集和处理，并对故障信息进行标记；所述巡检管理后台还用于根据矿下安全隐患排查计划生成矿下巡检任务清单，并发送至头戴式AR眼镜；所述巡检管理后台还用于与头戴式AR眼镜的巡检人员进行视频通话，对矿下巡检问题进行远程协助解决。2.根据权利要求1所述的一种基于AR技术的矿下巡检系统，其特征在于，所述拍摄模块设置有眼球追踪摄像头、普通摄像头、扩展内窥镜以及红外热成像摄像头；所述眼球追踪摄像头用于对巡检人员的眼球动作进行拍摄，获取巡检人员眼球的前置视频图像；所述普通摄像头用于对矿下巡检现场环境和巡检人员手势进行实时拍摄；所述扩展内窥镜用于对目标巡检对象用肉眼不易查看或者普通摄像头不易查看的位置画面进行拍摄；所述红外热成像摄像头用于通过采用红外热成像技术探测目标巡检对象的红外辐射，并通过光电转化和信号处理获取带有温度分布的前置视频图像。3.根据权利要求1所述的一种基于AR技术的矿下巡检系统，其特征在于，所述交互模块对获取的虹膜...

【专利技术属性】
技术研发人员：张悦生，李雪，王军，高升，胡远爱，常国辉，孔德全，徐剑，魏成亮，
申请(专利权)人：淮南万泰电子股份有限公司，
类型：发明
国别省市：