多模式融合的火灾检测方法、装置、相关设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，提供一多模式融合的火灾检测方法、装置、相关设备及存储介质，方法包括：对获取到的模型训练数据进行数据预处理，得到火焰检测训练图像；将标记有所述火焰标记框的所述火焰检测训练图像输入预设的深度学习神经网络模型进行训练，提取目标特征图，得到目标火焰检测模型；通过所述目标火焰检测模型对待检测数据进行火焰检测，得到火焰目标坐标框；通过预设的图像过滤模型将所述火焰目标坐标框中的火焰特征进行提取，对所述火焰特征进行颜色空间过滤以及进行运动检测过滤，得到火灾检测结果。本申请能够提高对火焰进行判断的准确率。对火焰进行判断的准确率。对火焰进行判断的准确率。

【技术实现步骤摘要】
多模式融合的火灾检测方法、装置、相关设备及存储介质


[0001]本专利技术涉及人工智能
，尤其涉及多模式融合的火灾检测方法、装置、相关设备及存储介质。

技术介绍

[0002]火灾是一种常见且容易发生的灾害，在生产生活中火灾对公众的生命与财产构成了重大威胁。由于火灾具有突发性而且危害大，所以构建准确有效的火焰识别算法对预防火灾拥有重要的意义。火焰检测算法大致可归纳为两类:基于传感器的火焰检测算法和基于图像的火焰检测算法，但是有些场景下并不适合传感器方法的火焰检测，如室外、半室外场景。
[0003]随着社会的进步与发展，各种摄像设备已经在我们的生活中得到了普及。为了加强城市、社区轨道交通安防工作的建设，从边缘监控设备获得的监控训练图像中快速得到有价值的信息，对于公安、城管等工作人员的安防工作来说尤为重要。但是现有技术中，常用的基于图像的火焰检查算法其检测方式单一，最终会导致对火焰的判断准确率低的问题。

技术实现思路

[0004]本专利技术实施例提供多模式融合的火灾检测方法，能够提高对火焰的判断准确率。
[0005]第一方面，本专利技术实施例提供多模式融合的火灾检测方法，所述方法包括以下步骤：
[0006]获取模型训练数据，并对所述模型训练数据进行数据预处理，得到火焰检测训练图像，所述火焰检测训练图像中标记有火焰标记框；
[0007]将标记有所述火焰标记框的所述火焰检测训练图像输入预设的深度学习神经网络模型进行训练，提取所述火焰检测训练图像的目标特征图，训练得到目标火焰检测模型；
[0008]通过所述目标火焰检测模型对待检测数据进行火焰检测，得到火焰目标坐标框；
[0009]通过预设的图像过滤模型将所述火焰目标坐标框中的火焰特征进行提取，对所述火焰特征进行颜色空间过滤以及对所述火焰特征进行运动检测过滤，得到火灾检测结果。
[0010]第二方面，本专利技术实施例还提供多模式融合的火灾检测装置，包括：
[0011]预处理模块，用于获取模型训练数据，并对所述模型训练数据进行数据预处理，得到火焰检测训练图像，所述火焰检测训练图像中标记有火焰标记框；
[0012]训练模块，用于将标记有所述火焰标记框的所述火焰检测训练图像输入预设的深度学习神经网络模型进行训练，提取所述火焰检测训练图像的目标特征图，得到目标火焰检测模型；
[0013]检测模块，用于通过所述目标火焰检测模型对待检测数据进行火焰检测，得到火焰目标坐标框；
[0014]过滤模块，用于通过预设的图像过滤模型将所述火焰目标坐标框中的火焰特征进
行提取，对所述火焰特征进行颜色空间过滤以及对所述火焰特征进行运动检测过滤，得到火灾检测结果。
[0015]第三方面，本专利技术实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任一项实施例提供的多模式融合的火灾检测方法中的步骤。
[0016]第四方面，一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现任一项实施例提供的多模式融合的火灾检测方法中的步骤。
[0017]在本专利技术实施例中，通过对模型训练数据进行预处理后获取到火焰检测训练图像，然后将火焰检测训练图像输入到预设的深度学习神经网络模型中进行模型训练，进行目标特征图的提取，可以加强深度学习神经网络模型对特征进行提取及识别的程度及准确度，并得到目标火焰检测模型。这样，可以精准的获取到火焰的位置；同时结合预设的图像过滤模型对检测出的火焰目标坐标框中的火焰特征进行颜色空间过滤以及运动检测过滤，有利于过滤干扰特征，过滤之后得到的火灾检测结果中火焰的位置会更加准确。通过将深度学习神经网络模型和传统的图像过滤模型进行多模式融合，在实际场景下检测的准确率高，且比传感器实时性高、结果更精准，而且能部署到传感器无法部署到的场景。
附图说明
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本专利技术实施例提供的一种多模式融合的火灾检测方法的流程图；
[0020]图2是本专利技术实施例提供的另一种多模式融合的火灾检测方法的流程图；
[0021]图2a是本专利技术实施例提供的对模型训练数据进行数据预处理的流程图；
[0022]图2b是本专利技术实施例提供的另一种多模式融合的火灾检测系统的结构示意图；
[0023]图2c是本专利技术实施例提供的深度学习神经网络模型的Focus结构的数据处理流程图；
[0024]图2d是本专利技术实施例提供的深度学习神经网络模型的FPN+PAN结构的数据处理流程图；
[0025]图3是本专利技术实施例提供的另一种多模式融合的火灾检测方法的流程图；
[0026]图3a是本专利技术实施例提供的通过目标火焰检测模型对火焰检测训练图像进行预测的流程图；
[0027]图4本专利技术实施例提供的一种多模式融合的火灾检测装置的结构示意图；
[0028]图5是本专利技术实施例提供的另一种多模式融合的火灾检测装置的结构示意图；
[0029]图6是本专利技术实施例提供的另一种多模式融合的火灾检测装置的结构示意图；
[0030]图7是本专利技术实施例提供的另一种多模式融合的火灾检测装置的结构示意图；
[0031]图8是本专利技术实施例提供的另一种多模式融合的火灾检测装置的结构示意图；
[0032]图9是本专利技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0033]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0034]本申请的说明书和权利要求书及附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0035]如图1所示，图1是本专利技术实施例提供的一种多模式融合的火灾检测方法的流程图，多模式融合的火灾检测方法包括以下步骤：
[0036]101、获取模型训练数据，并对模型训练数据进行数据预处理，得到火焰本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多模式融合的火灾检测方法，其特征在于，包括以下步骤：获取模型训练数据，并对所述模型训练数据进行数据预处理，得到火焰检测训练图像，所述火焰检测训练图像中标记有火焰标记框；将标记有所述火焰标记框的所述火焰检测训练图像输入预设的深度学习神经网络模型进行训练，提取所述火焰检测训练图像的目标特征图，训练得到目标火焰检测模型；通过所述目标火焰检测模型对待检测数据进行火焰检测，得到火焰目标坐标框；通过预设的图像过滤模型将所述火焰目标坐标框中的火焰特征进行提取，对所述火焰特征进行颜色空间过滤以及对所述火焰特征进行运动检测过滤，得到火灾检测结果；所述对所述模型训练数据进行数据预处理的步骤包括:判断所述模型训练数据是否为视频训练数据，若为所述视频训练数据，则根据视频帧率对所述视频训练数据进行逐帧转换为训练图像；选取多张所述训练图像，对多张所述训练图像进行旋转、缩放以及色域变化处理，得到多张转换图像，并按照预设方位将多张所述转换图像进行组合拼接，得到所述火焰检测训练图像。2.如权利要求1所述的多模式融合的火灾检测方法，其特征在于，所述对多张所述训练图像进行缩放的步骤包括：判断所述训练图像的分辨率是否达到预设的分辨率；若所述训练图像的分辨率未达到所述预设的分辨率，则计算所述火焰检测训练图像的缩放比例、缩放尺寸以及黑边填充数值，并根据所述缩放比例、缩放尺寸以及黑边填充数值对所述火焰检测训练图像进行放大处理，使得到的所述火焰检测训练图像的分辨率为所述预设的分辨率；或者若所述训练图像的分辨率超过所述预设的分辨率，则通过双线性插值法对所述火焰检测训练图像进行缩小处理，使得到的所述火焰检测训练图像的分辨率为所述预设的分辨率。3.如权利要求1所述的多模式融合的火灾检测方法，其特征在于，预设的所述深度学习神经网络模型包括Focus结构、CSP结构、SPP结构以及FPN+PAN结构。4.如权利要求3所述的多模式融合的火灾检测方法，其特征在于，所述将标记有所述火焰标记框的所述火焰检测训练图像输入预设的深度学习神经网络模型进行训练，提取所述火焰检测训练图像的目标特征图的步骤包括：通过所述Focus结构对标记有所述火焰标记框的所述火焰检测训练图像进行切片处理后再进行重新整合拼接，得到重拼接训练特征图；通过所述CSP结构对所述重拼接训练特征图进行卷积操作，输出卷积训练特征图，并对所述卷积训练特征图进行批归一化处理，得到归一化训练特征图；将所述归一化训练特征图通过预设的激活函数进行激活，以输出初始特征图，并通过所述SPP结构对所述初始特征图进行多尺度池化处理以及再拼接处理，得到所述目标特征图；通过所述FPN+PAN结构对所述目标特征图进行多个方向上的特征采样，得到多个尺度的特征图，以对所述多个尺度的特征图进行特征强化，训练得到初始火焰检测模型，所述目标火焰检测模型为所述初始火焰检测模型优化后的模型。
5.如权利要求4所述的多模式融合的火灾检测方法，其特征在于，所述将标记有所述火焰标记框的所述火焰检测训练图像输入预设的深度学习神经网络模型进行训练的步骤还包括：基于非极大值抑制方式，通过预设的所述深度学习神经网络模型选取所述初始火焰检测模型中所述目标特征图不同位置的坐标框，按置信度大小对选取的所述坐标框依次进行非极大值抑制，最终得到预测结果；计算所述预测结果与真实值的差距...

【专利技术属性】
技术研发人员：闫潇宁，武大硕，
申请(专利权)人：深圳市安软慧视科技有限公司，
类型：发明
国别省市：