【技术实现步骤摘要】
本申请涉及烟雾检测领域，具体而言，涉及一种基于机器人巡检的烟雾检测方法、系统及介质。
技术介绍
1、在我们在园区，商场，公园，大楼等场所可能会出现各种可燃、易燃等物质，一旦发生火灾，火势易于蔓延成灾，再加之环境构造的复杂通常火灾会造成消防队难于控制火势、扑救火灾难度大的局面，因此预防火灾的预知成为了一个重要的任务。通常火灾的发生都会伴随烟雾的产生，现有的烟雾检测主要是通过保安或者相关人员定期对对应场景进行巡检检查，用肉眼进行判断消是否出现了烟雾或者粉尘等异常情况，利用固定摄像头进行固定点位的视频流抓拍，传统图像分析方法进行烟雾或者粉尘等异常情况的检测人为巡检检测虽然准确信很高，但是人力成本很高和消耗的资源会比较大，而且使用人员进行作业也比较辛苦，整体效率不高，时效性不强。使用固定摄像头加上图像分析的方式受限于摄像头的位置，很容易产生大量的误报，使用固定的烟雾传感器的方式也会受限于传感器的位置以及探测距离，提前感知远处的烟雾会比较困难，针对上述问题，目前亟待有效的技术解决方案。
技术实现思路
1、本申请实施例的目的在于提供一种基于机器人巡检的烟雾检测方法、系统及介质，通过使用机器人巡检的方式对场景进行实时烟雾检测分析，整体效率更高，且通过机器人对场景进行标定，从而实现不同场景进行不同巡检路线的设定，通过多模态采集融合处理，提高烟雾信息检测的精度，防止出现误判断。
2、本申请实施例还提供了一种基于机器人巡检的烟雾检测方法，包括：
3、通过机器人头部搭载的数据采集
4、根据场景信息获取场景的点云数据与图像，通过多模态融合的方式将图像和点云数据融合分析，判断场景中是否产生烟雾；
5、通过多模态神经网络对烟雾信息进行检测，得到检测结果，将检测结果传输至终端。
6、可选地，在本申请实施例所述的基于机器人巡检的烟雾检测方法中，通过机器人头部搭载的数据采集设备对场所进行巡检，并获取场景信息；具体为：
7、获取巡检区域平面图，根据巡检区域平面图绘制巡检街道分布图；
8、根据巡检街道分布图生成最优巡检路线；
9、机器人按照最优巡检路线进行移动，移动过程中实时获取机器人外侧的图像，得到场景图像；
10、提取场景图像特征，根据场景图像特征确定场景信息。
11、可选地，在本申请实施例所述的基于机器人巡检的烟雾检测方法中，根据场景信息获取场景的点云数据与图像，通过多模态融合的方式将图像和点云数据融合分析，具体为：
12、通过采集模块获取多模态采集信息，采集模块包括3d点云雷达，可见光摄像头和红外光摄像头；所述多模态采集信息包括3d点云特征、可见光图像与红外光图像；
13、提取可见光图像的特征，得到第一图像特征；
14、提取红外光图像的特征，得到第二图像特征；
15、将3d点云特征、第一图像特征与第二图像特征进行融合计算，得到融合特征；
16、根据融合特征得到采集信息的融合信息。
17、可选地，在本申请实施例所述的基于机器人巡检的烟雾检测方法中，通过多模态神经网络对烟雾信息进行检测，得到检测结果，具体为：
18、获取融合信息，将融合信息输入烟雾检测模型进行迭代计算，得到训练结果；
19、判断所述训练结果是否收敛；
20、若收敛，则得到优化后的烟雾检测模型；
21、若不收敛，则生成调整信息，根据调整信息修正烟雾检测模型的参数。
22、可选地，在本申请实施例所述的基于机器人巡检的烟雾检测方法中，通过多模态神经网络对烟雾信息进行检测，得到检测结果，具体为：
23、获取融合信息，将融合信息输入优化后的烟雾检测模型；
24、根据烟雾检测模型输入烟雾信息检测结果；
25、根据烟雾信息检测结果进行预判检测场景的安全指标信息；
26、烟雾信息检测结果包括烟雾浓度信息、烟雾分布信息。
27、可选地，在本申请实施例所述的基于机器人巡检的烟雾检测方法中，通过多模态神经网络对烟雾信息进行检测，得到检测结果之后，还包括：
28、获取烟雾信息检测结果，将烟雾信息检测结果与安全指标信息进行比较，得到烟雾变化率；
29、若烟雾变化率小于第一变化率阈值，则判定烟雾信息检测结果处于正常范围；
30、若烟雾变化率大于第一变化率阈值且小于第二变化率阈值，则生成第一预警信息，根据第一预警信息按照第一预警方式进行烟雾报警；
31、若烟雾变化率大于或等于第二变化率阈值，则生成第二预警信息，根据第二预警信息按照第二预警方式进行烟雾报警；
32、第一预警方式与第二预警方式不同；第一变化率阈值小于第二变化率阈值。
33、第二方面，本申请实施例提供了一种基于机器人巡检的烟雾检测系统，该系统包括：机器人以及在机器人头部搭载3d点云雷达、可见光摄像头与红外摄像头、存储器及处理器，3d点云雷达用于采集场景的点云数据，可见光摄像头与红外摄像头用于采集场景图像，存储器中包括基于机器人巡检的烟雾检测方法的程序，基于机器人巡检的烟雾检测方法的程序被处理器执行时实现以下步骤：
34、通过机器人头部搭载的数据采集设备对场所进行巡检，并获取场景信息；
35、根据场景信息获取场景的点云数据与图像，通过多模态融合的方式将图像和点云数据融合分析，判断场景中是否产生烟雾；
36、通过多模态神经网络对烟雾信息进行检测，得到检测结果，将检测结果传输至终端。
37、可选地，在本申请实施例所述的基于机器人巡检的烟雾检测系统中，通过机器人头部搭载的数据采集设备对场所进行巡检，并获取场景信息；具体为：
38、获取巡检区域平面图，根据巡检区域平面图绘制巡检街道分布图；
39、根据巡检街道分布图生成最优巡检路线；
40、机器人按照最优巡检路线进行移动，移动过程中实时获取机器人外侧的图像，得到场景图像；
41、提取场景图像特征，根据场景图像特征确定场景信息。
42、可选地，在本申请实施例所述的基于机器人巡检的烟雾检测系统中，根据场景信息获取场景的点云数据与图像，通过多模态融合的方式将图像和点云数据融合分析，具体为：
43、通过采集模块获取多模态采集信息，采集模块包括3d点云雷达，可见光摄像头和红外光摄像头；所述多模态采集信息包括3d点云特征、可见光图像与红外光图像；
44、提取可见光图像的特征，得到第一图像特征；
45、提取红外光图像的特征，得到第二图像特征；
46、将3d点云特征、第一图像特征与第二图像特征进行融合计算，得到融合特征；
47、根据融合特征得到采集信息的融合信息。
48、第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算本文档来自技高网...
【技术保护点】
1.一种基于机器人巡检的烟雾检测方法，其特征在于，包括：
2.根据权利要求1所述的基于机器人巡检的烟雾检测方法，其特征在于，通过机器人头部搭载的数据采集设备对场所进行巡检，并获取场景信息；具体为：
3.根据权利要求2所述的基于机器人巡检的烟雾检测方法，其特征在于，根据场景信息获取场景的点云数据与图像，通过多模态融合的方式将图像和点云数据融合分析，具体为：
4.根据权利要求3所述的基于机器人巡检的烟雾检测方法，其特征在于，通过多模态神经网络对烟雾信息进行检测，得到检测结果，具体为：
5.根据权利要求4所述的基于机器人巡检的烟雾检测方法，其特征在于，通过多模态神经网络对烟雾信息进行检测，得到检测结果，还包括：
6.根据权利要求5所述的基于机器人巡检的烟雾检测方法，其特征在于，通过多模态神经网络对烟雾信息进行检测，得到检测结果之后，还包括：
7.一种基于机器人巡检的烟雾检测系统，其特征在于，该系统包括：该系统包括：机器人以及在机器人头部搭载3D点云雷达、可见光摄像头与红外摄像头、存储器及处理器，3D点云雷达用于采集
8.根据权利要求7所述的基于机器人巡检的烟雾检测系统，其特征在于，通过机器人头部搭载的数据采集设备对场所进行巡检，并获取场景信息；具体为：
9.根据权利要求8所述的基于机器人巡检的烟雾检测系统，其特征在于，根据场景信息获取场景的点云数据与图像，通过多模态融合的方式将图像和点云数据融合分析，具体为：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括基于机器人巡检的烟雾检测方法程序，所述基于机器人巡检的烟雾检测方法程序被处理器执行时，实现如权利要求1至6中任一项所述的基于机器人巡检的烟雾检测方法的步骤。
...【技术特征摘要】
1.一种基于机器人巡检的烟雾检测方法，其特征在于，包括：
2.根据权利要求1所述的基于机器人巡检的烟雾检测方法，其特征在于，通过机器人头部搭载的数据采集设备对场所进行巡检，并获取场景信息；具体为：
3.根据权利要求2所述的基于机器人巡检的烟雾检测方法，其特征在于，根据场景信息获取场景的点云数据与图像，通过多模态融合的方式将图像和点云数据融合分析，具体为：
4.根据权利要求3所述的基于机器人巡检的烟雾检测方法，其特征在于，通过多模态神经网络对烟雾信息进行检测，得到检测结果，具体为：
5.根据权利要求4所述的基于机器人巡检的烟雾检测方法，其特征在于，通过多模态神经网络对烟雾信息进行检测，得到检测结果，还包括：
6.根据权利要求5所述的基于机器人巡检的烟雾检测方法，其特征在于，通过多模态神经网络对烟雾信息进行检测，得到检测结果之后，还包括：
7.一种基于机器人巡检的烟雾检测系统，其特征在...
【专利技术属性】
技术研发人员：刘振轩，柏林，刘彪，舒海燕，袁添厦，祝涛剑，沈创芸，王恒华，方映峰，
申请(专利权)人：广州高新兴机器人有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。