【技术实现步骤摘要】
本专利技术属于消防安全领域，具体涉及一种基于多模态融合算法的火灾最优逃生路线规划方法及系统。
技术介绍
1、在火力发电厂发电生产过程中,输煤系统造成的火灾事故原因主要涉及火情出现、系统构成、设备发热以及煤尘产生等。火灾所带来的安全隐患也不断增加，人员伤亡及财产损失数目触目惊心。造成火电厂发生火灾的主要原因：
2、(1)现代化的电厂作为一个高度电气化的场所，电气设备数量众多，设备复杂程度较高，因此当设备维护不及时或者由于其他因素导致设备损坏，都会造成火灾的发生。另外如果电气设备过载或者过于老化，就会引起设备温度过高，也会产生火灾隐患。
3、(2)人为操作不当是火电厂火灾的原因之一，电厂生产过程中需要大量的人员参与，如果这些人员操作不当就会对电厂的安全造成严重威胁。例如，电厂使用的化学品需要专业人员操作，如果操作人员没有经过严格的专业培训，就容易导致事故的发生。另外，在作业过程中，操作者也需要注意电气设备的使用规则，不能随意拆开设备或者过度使用设备。
4、(3)消防设施不完善也是火电厂火灾的原因之一，电厂作为一个重要的生产场所，必须要有完善的消防设施，可以保证在火灾发生时及时扑灭火灾、保护人员生命财产安全如果消防设施不完善，或者维护不及时，就会给事故造成更大的损失。
5、现在大部分技术都是采用逃生路线库、温度传感器、烟感传感器、人员定位等方式，来选出最优逃生路线。此方法存在一定不足之处，一是无法判定火情蔓延的走势和火灾发生的准确位置。二是温度和烟感传感器长时间使用会出现硬件故障的情况，
技术实现思路
1、为解决现有技术中存在的不足，本专利技术提供一种基于多模态融合算法的火灾最优逃生路线规划方法。我们主要采用深度学习目标检测方法来检测多个点位红外双目摄像机画面中易燃物、可燃物、明火、烟雾和火灾温度，然后根据检测出来的目标再结合多模态轨迹预测方法来预测火灾可能发生的走势，依靠事前早就准备好的逃生路线预案和人员定位给出的人员位置信息、现场的浓烟情况通过d*算法动态计算出最优逃生路线，在使用现场语音播报告诉相关人员进行及时逃生并及时通知相关负责人立即安全组织救援和人员疏散。
2、本专利技术采用如下的技术方案。
3、本专利技术提供了一种基于多模态融合算法的火灾最优逃生路线规划方法，包括：
4、步骤1，采集火电厂室内红外双目摄像头的视频，将视频进行重点抽帧分解，利用ffmpeg技术，对视频进行逐帧解码，对视频帧进行提取，提取出包含易燃物、可燃物、明火、烟雾的图像v，然后对图像v进行数据增强，进行图像标注，将标注好的数据集分成训练集v_train、测试集v_test及验证集v_val；
5、步骤2，对v_train训练集进行目标检测训练，并进行调参优化和精度优化，最后经过v_test及v_val验证得到最优模型v_model；
6、步骤3，通过目标检测获得火灾的发生和相对于摄像机的发生位置，将火灾当成智能体f，智能体f轨迹定义为二维现实世界或像素坐标的序列:其中是观测轨迹时间点，是当前时间的真实值，f是场景智能体的索引，都包含2d索引，所述2d索引为图像中目标的像素位置；
7、步骤4，使用观测信息作为输入，优化多模态轨迹预测模型ptp以预测j个未来轨迹
8、
9、其中是智能体f的相邻观测轨迹，s是场景信息，通过多模态轨迹预测模型，得到所有可接受的未来轨迹的分布和低温区域分布；
10、步骤5，通过步骤4得到火灾发生的所有预测轨迹，再结合火电厂室内区域的所有逃生路线预案与人员定位系统中的人员位置信息，根据d*动态路径规划算法，利用逃生人员步行速度和时间位置信息，规划出一条最优的火电厂室内安全逃生路线；
11、步骤6，将步骤5生成的安全逃生路线，通过现场语音播报系统进行临时指挥。
12、优选的，所述步骤1中，进行数据增强的操作包括图像旋转、图像拼接和增加噪声。
13、优选的，所述步骤1中，进行图像标注的标注类别包括燃物、可燃物、明火和烟雾。
14、优选的，所述步骤1中对视频帧进行提取频率为每五帧提取一次。
15、优选的，所述调参优化与精度优化的方法包括：调整学习率；选择不同优化器，包括随机梯度下降、牛顿法、动量法和adam算法；补充数据，对数据进行预处理，包含旋转、裁剪、增加照明度。
16、优选的，所述步骤4中场景信息包括摄像机观测温度数据、室内场景图、可燃物和易燃物的分布图、烟雾分布图。
17、优选的，所述步骤4中对多模态轨迹预测模型的优化方法包括：滤波器技术、轨迹平滑算法、多模型融合、基于历史信息的预测、异常值检测和处理、模型调优、增加特征信息以及强化学习方法。
18、本专利技术还提供了一种基于多模态融合算法的火灾最优逃生路线规划系统，所述系统为前述一种基于多模态融合算法的火灾最优逃生路线优化方法所使用的系统，包括：
19、信息采集模块，用于采集红外双目摄像头的视频；
20、分析模块，用于根据逃生人员步行速度和时间位置信息对逃生路线进行规划。
21、本专利技术还提供了一种终端，包括处理器及存储介质；其特征在于：
22、所述存储介质用于存储指令；
23、所述处理器用于根据所述指令进行操作以执行根据前述方法的步骤。
24、本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述方法的步骤。
25、本专利技术的有益效果在于，与现有技术相比，本专利技术使用了基于深度学习的目标检测算法和多模态轨迹预测算法，能够精准的预测火灾的走势，减少人员因为火灾的不断扩大和未知火灾的发生轨迹而盲目选择逃生路线，具有更强的可预知性。该方法只需要通过现场的多个点位摄像头就能获取最优逃生路线和最低温度区域，避免现场需要安装大量的传感器，甚至铺满整个电厂室内区域，一定程度上减少了运维难度和硬件成本。从而加强了火电厂的火灾预防，提高了电厂自动化、智能化、精细化的管理水平，降低了因为火灾对电厂带来的严重损失。
本文档来自技高网...【技术保护点】
1.一种基于多模态融合算法的火灾最优逃生路线规划方法，包括：
2.根据权利要求1所述的一种基于多模态融合算法的火灾最优逃生路线规划方法，其特征在于：
3.根据权利要求1所述的一种基于多模态融合算法的火灾最优逃生路线规划方法，其特征在于：
4.根据权利要求1所述的一种基于多模态融合算法的火灾最优逃生路线规划方法，其特征在于：
5.根据权利要求4所述的一种基于多模态融合算法的火灾最优逃生路线规划方法，其特征在于：
6.根据权利要求5所述的一种基于多模态融合算法的火灾最优逃生路线规划方法，其特征在于：
7.根据权利要求6所述的一种基于多模态融合算法的火灾最优逃生路线规划方法，其特征在于：
8.一种基于多模态融合算法的火灾最优逃生路线规划系统，所述系统为前述权利要求1-7中所述的一种基于多模态融合算法的火灾最优逃生路线优化方法所使用的系统，包括：
9.一种终端，包括处理器及存储介质；其特征在于：
10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权
...【技术特征摘要】
1.一种基于多模态融合算法的火灾最优逃生路线规划方法，包括：
2.根据权利要求1所述的一种基于多模态融合算法的火灾最优逃生路线规划方法，其特征在于：
3.根据权利要求1所述的一种基于多模态融合算法的火灾最优逃生路线规划方法，其特征在于：
4.根据权利要求1所述的一种基于多模态融合算法的火灾最优逃生路线规划方法，其特征在于：
5.根据权利要求4所述的一种基于多模态融合算法的火灾最优逃生路线规划方法，其特征在于：
6.根据权利要求5所述的一种基于多模态融...
【专利技术属性】
技术研发人员：关胜杰，孙令达，
申请(专利权)人：国能信控技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。