【技术实现步骤摘要】
本专利技术涉及图像识别，特别是一种基于深度学习方法的无人机森林火灾烟雾检测方法。
技术介绍
1、如今基于计算机视觉的火灾烟雾识别技术在森林防火以及森林灭火活动中稳步推进。无人机、执法仪、监控摄像头等视频监控设备，已经在森林公安及森林管理系统的智能化试点中逐步得到应用，为实现基于深度学习的无人机森林火灾烟雾识别系统提供了相关基础。虽然基于计算机视觉的智能火灾监护技术得到了发展，但在目前基于深度学习的无人机森林火灾烟雾检测落地应用实践中，还存在以下问题需要解决，主要包括：(1)需要人工对后台视频进行审核。目前火灾的视频监控负责辅佐警报以及提出告警，采集到的视频影像需要依赖人工审核，监察人员的工作量大、重复以及由于受到人为因素的影响会导致漏看，审核效率较低。
2、(2)管控效果具有很强的个人主观性，且实时性差。火灾的初发生的阶段明火不明显，大部分情况需要人工干预，对于火灾灾情的寻找还停留在线下模式，尤其是火灾初发难以判断火灾灾情的起源点，由于人的主观性和复杂性，很多操作无法指标化、模块化。效果完全取决于后台人员的个人经验及主观，经常会出现误报和漏报情况。现今部分基于神经网络的系统已经在云端实现森林火灾检测，但检测方法多数采用视频监控等方法实现，且针对火焰进行识别，而火灾初发期间火焰通常较为微弱，此时烟雾的特征反而会比火焰特征更为明显。这就导致了现有的森林火灾检测系统更为偏向于对茂密丛林中的大火灾情进行检测，这样会导致火灾难以扑灭，往往导致火灾在变得严重时才会被重视。
3、(3)火灾识别过程中只针对火焰和浓烟进行
技术实现思路
1、针对上述缺陷，本专利技术的目的在于提出一种基于深度学习方法的无人机森林火灾烟雾检测方法，减少人工参与量，以提高森林火灾检测的智能化。
2、为达此目的，本专利技术采用以下技术方案：一种基于深度学习方法的无人机森林火灾烟雾检测方法，包括如下步骤：
3、获取森林火灾的场景图像；
4、构架出火焰烟雾识别网络模型，并将场景图像输入到火焰烟雾识别网络模型中进行训练，得到第一模型；
5、将第一模型存储于无人机中；
6、驱使无人机于森林的上方获取森林图像，并将森林图像输入到无人机的第一模型中进行识别，若检测到有火焰或者烟雾时，获取无人机的坐标位置以及烟雾或火焰在像素坐标系的坐标位置，分别标记为第一坐标与第二坐标，根据第一坐标第二坐标计算预测火焰或烟雾的位置，以作为火焰或烟雾的位置第三坐标，向后台发送第三坐标以及报警信号。
7、优选的，在执行火焰烟雾识别网络模型前，还需要对场景图像进行数据增强操作，
8、其中数据增强操作具体如下：
9、构建四个标记矩阵，标记矩阵用于分别对四张场景图像需要裁剪与保留的位置进行标记，其中保留的位置设置为1，裁剪的位置设置为0；
10、对每一个场景图像进行标签值赋予；
11、创建一个新的图像，并按照标记矩阵以及四张场景图像对新的图像进行像素填充以及标签值融合，以生成新的场景图像。
12、优选的，进行像素填充公式如下：
13、p＝ma*xa+mb*xb+mc*xc+md*xd；
14、其中ma、mb、mc、md分别为第一张场景图像的标记矩阵、第二张场景图像的标记矩阵、第三张场景图像的标记矩阵、第张四场景图像的标记矩阵、xa、xb、xc、xd分别为第一张场景图像的图像数据、第二张场景图像的像数据、第三张场景图像的像数据、第张四场景图像的像数据、*表示矩阵的像素相乘；
15、进行标签值融合的公式如下：
16、q＝λa*ya+λb*yb+λc*yc+λd*yd；
17、λa、λb、λc、λd分别表示第一张场景图像的权重值、第二张场景图像的权重值、第三张场景图像的权重值、第张四场景图像的权重值，ya、yb、yc、yd分别为第一张场景图像的标签值、第二张场景图像的标签值、第三张场景图像的标签值、第张四场景图像的标签值。
18、优选的，所述火焰烟雾识别网络模型由于依次连接骨干网络、颈部神经网络以及预测头网络组成；
19、其中火焰烟雾识别网络模型识别过程如下：
20、将场景图像输入到骨干网络中，进行场景图像的目标多尺度特征提取，得到特征图像；
21、特征图像输入值颈部神经网络中，进行金字塔池化的方法向上采样，对不同特征图像进行融合；
22、预测头网络对融合后的的特征图像进行结果预测。
23、优选的，所述骨干网络包括依次连接的卷积层、mp层以及残差elan模块；
24、其中所述卷积层设置3个，且卷积层设置有3x3的卷积核；
25、所述mp层执行如下操作：对卷积层处理后的场景图像进行最大值池化然后经过卷积核激活函数，实现第一特征的提取；
26、对卷积层处理后的场景图像采用卷积核加激活函数的方法提取图像特征，实现第二特征的提取；
27、对第一特征与第二特征进行加权融合，得到融合后的特征图像；
28、所述残差elan模块执行如下操作：
29、采用4个cbs模块对特征图像进行细颗粒特征提取；
30、采用单个cbs模块对特征图像进行粗颗粒特征提取；
31、对细颗粒特征与粗颗粒特征进行加权融合；
32、采用全局平均池化将特征图像的特征尺寸大小设置为1x1；
33、使用1维卷积计算特征图像的通道权重，然后使用sigmoid函数实现权重映射，得到处理结果；
34、将处理结果与原场景图像进行乘法运算，得到最终特征图像。
35、优选的，将第一模型存储于无人机中的步骤如下：
36、根据第一模型的网络结构，在onnx模型中定义相应的网络模型结构；
37、根据第一模型的的计算逻辑以及带有参数的节点，组成有向图结构；
38、修改有向图结构中的每个节点的信息，使每个节点的尺寸大小信息与第一模型中的层数相对应；
39、将第一模型训练过程中的权重信息传送到onnx模型中；
40、将onnx模型布置于无人机所自带的fpga嵌入式设备。
41、优选的，所述根据第一坐标计算预测火焰或烟雾的位置的步骤如下：
42、获取无人机的世界坐标(x，y，z)，设定相机光心坐标系(xc,yc,zc)与无人机的世界坐标系(x，y，z)为1，得到相机光心坐标系与无人机的世界坐标系的第一转化关系，其中第一转化关系如下所示：
43、
44、其中r为3*3矩阵表示相机可以有3个不同维度方向的变化，t为3*1矩阵表示在固定距离下相机坐标系与无人机坐标系的距离变化，t为无人机经过的森林的树木平均高度值；
45、根据相本文档来自技高网...
【技术保护点】
1.一种基于深度学习方法的无人机森林火灾烟雾检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于深度学习方法的无人机森林火灾烟雾检测方法，其特征在于，在执行火焰烟雾识别网络模型前，还需要对场景图像进行数据增强操作，
3.根据权利要求2所述的一种基于深度学习方法的无人机森林火灾烟雾检测方法，其特征在于，进行像素填充公式如下：
4.根据权利要求1所述的一种基于深度学习方法的无人机森林火灾烟雾检测方法，其特征在于，所述火焰烟雾识别网络模型由于依次连接骨干网络、颈部神经网络以及预测头网络组成；
5.根据权利要求4所述的一种基于深度学习方法的无人机森林火灾烟雾检测方法，其特征在于，所述骨干网络包括依次连接的卷积层、MP层以及残差ELAN模块；
6.根据权利要求5所述的一种基于深度学习方法的无人机森林火灾烟雾检测方法，其特征在于，将第一模型存储于无人机中的步骤如下：
7.根据权利要求1所述的一种基于深度学习方法的无人机森林火灾烟雾检测方法，其特征在于，所述根据第一坐标计算预测火焰或烟雾的位置的步骤如下：
...【技术特征摘要】
1.一种基于深度学习方法的无人机森林火灾烟雾检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于深度学习方法的无人机森林火灾烟雾检测方法，其特征在于，在执行火焰烟雾识别网络模型前，还需要对场景图像进行数据增强操作，
3.根据权利要求2所述的一种基于深度学习方法的无人机森林火灾烟雾检测方法，其特征在于，进行像素填充公式如下：
4.根据权利要求1所述的一种基于深度学习方法的无人机森林火灾烟雾检测方法，其特征在于，所述火焰烟雾识别网络模型由于依次...
【专利技术属性】
技术研发人员：邝辉宇，叶小莺，商丽娟，李晶，
申请(专利权)人：广东东软学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。