一种融合全局及局部特征的轻量化火焰识别深度学习模型制造技术

本发明专利技术公开了一种融合全局及局部特征的轻量化火焰识别深度学习模型，属于图像识别处理技术领域。针对目前火焰识别网络模型存在网络参量多、延迟高等问题，本发明专利技术提供了一种融合全局及局部特征的轻量化火焰识别深度学习模型，首先采集、收集火焰图像数据，构建火焰识别数据集；其次，构造轻量级Transformer模块E

【技术实现步骤摘要】
一种融合全局及局部特征的轻量化火焰识别深度学习模型


[0001]本专利技术属于图像识别处理
，具体涉及一种融合全局及局部特征的轻量化火焰识别深度学习模型。

技术介绍

[0002]近年来，基于图像处理的火焰识别技术通过对现场图像进行综合分析，为火灾检测提供了更为精确、高效的手段。与传统基于物理传感器的火灾识别方法相比，基于图像处理的火焰识别技术覆盖距离和范围广、稳定性高、部署较为方便。
[0003]传统基于机器视觉的火焰检测方法主要通过捕捉火焰形状、颜色、亮度等多个特征进而实现火焰识别。具体方法如下所述：
[0004]一、针对不同颜色模型的特点，各种火焰图像处理分别基于RGB、HSV、YCbCr、YUV等颜色模型有效地实现火焰图像的识别和检测。
[0005]二、根据火焰形状的独特性，也可以用来辅助火焰图像的识别和检测。火焰形状特征主要包括火焰大小、形状、边缘、纹理、轮廓等特征。
[0006]三、可以利用火焰蔓延扩散的运动信息进行火灾识别和检测。火焰蔓延扩散运动特性主要包括火焰扩散速度、移动方向、形态变化等。这些运动特性可以通过数字图像处理技术进行分析和提取，从而实现对火焰的运动轨迹、速度、加速度等参数的计算和分析。其中最常用运动目标检测方法有光流法、帧间差分法、背景减除法等。
[0007]然而，早期这种手工提取特征存在一下问题：如实现难度较大、识别精度不高、模型鲁棒性较差，很难满足实际应用要求。
[0008]当前基于深度学习的图像处理方法相比传统方法优势日益明显，其具备两大优点：一是不再需要手动提取火焰特征，深度学习的自动特征提取大大降低了构建算法的难度；二是深度学习在视觉领域的检测精度、召回率等各种指标性能都超越了传统算法。以AlexNet、VGG、GoogleNet、ResNet等经典深度卷积神经网络在很多视觉任务方面都取得了明显效果，但是这些大型网络参数量、计算量庞大，不易部署到边缘设备上运行。虽然MobileNet、ShuffleNet、Xception等轻量化网络相继提出，但是介于卷积神经网络固有的局部特性，他们在全局特征提取方面存在较大缺陷。
[0009]总之，建立轻量级、低延迟的网络模型对于火焰快速识别任务迫切且至关重要。

技术实现思路

[0010]目前，传统火焰识别方法准确率较低；基于深度神经网络模型大多不能同步提取火焰图像全局和局部特征进而避免误检、漏检，而且模型往往参数量较大，不利于移动端部署。针对上述问题，本专利技术提供了一种融合全局及局部特征的轻量化火焰识别深度学习模型。
[0011]为了达到上述目的，本专利技术采用了下列技术方案：
[0012]一种融合全局及局部特征的轻量化火焰识别深度学习模型，包括以下步骤：
[0013]步骤1，采集、收集火焰图像数据，构建火焰识别数据集；
[0014]步骤2，构造能提取火焰图像全局特征的轻量级Transformer模块E
‑
TB；
[0015]步骤3，构建基于轻量级Transformer模块E
‑
TB和卷积神经网络的全局和局部特征提取及融合模块CTB；
[0016]步骤4，通过ShuffleNetV2模块和CTB模块的串联堆叠实现了从浅到深的逐级特征提取，并最终构建火焰图像全局和局部特征提取的网络框架SConvTrans；
[0017]步骤5，将构建的火焰识别数据集划分为训练集和测试集，并利用该数据对构建的网络框架SConvTrans进行训练和测试，得到轻量化火焰识别深度学习模型。
[0018]进一步，所述步骤2，构造能提取火焰图像全局特征的轻量级Transformer模块E
‑
TB(Efficient Transformer Block)；具体方法是：
[0019]首先对输入特征图X
U
∈R
d
×
H
×
W
划分patch块，其中，d：特征图通道数；H：特征图高度；W：特征图宽度，经过Unfold操作之后其维度变为d
×
N
×
P，d还是通道维度不变，N为patch块的个数，即P为patch块展平后的大小，即ρ2；然后使用高效轻量化注意力机制去捕获数据全局信息，最后再经过Fold操作将特征维度还原为d
×
H
×
W。
[0020]再进一步，所述高效轻量化注意力机制具体是：先经过高效多头自注意力机制EMHSA(Efficient Multi
‑
Head Self
‑
Attention)，然后通过平均池化降低了K、V的维度，一方面提取了K、V中显著信息，另一方面实现了自注意力机制的轻量化设计；再经过多层感知机MLP(Multilayer Perceptron)，从而实现全局特征信息的提取。
[0021]进一步，E
‑
TB整体过程表示为：
[0022][0023][0024]式中：μ，分别代表输入特征，EMHSA以及MLP的输出特征。
[0025]进一步，所述高效多头自注意力机制EMHSA表示为：
[0026]EMHSA(z)＝Concat(head1(z1),head2(z2),......,head
i
(z
i
))W
°
,i＝1,2,......,h
ꢀꢀꢀꢀ
(4)
[0027]head(X)＝Attention(X
·
W
Q
,P
s
(X
·
W
K
),P
s
(X
·
W
V
))
ꢀꢀꢀꢀ
(5)
[0028][0029]式中：z表示在通道维度上将输入特征划分为多头形式；head表示低计算量的自注意力算子；W
Q
，W
K
，W
V
是用于上下文编码的线性层；P
s
是一个步距为s的全局池化操作；公式(4)是标准的多头自注意力计算公式，式中d
k
为token序列的长度；
[0030]具体是先将输入特征经过线性变换得到维度为N
×
d的Q，K，V三个矩阵，其中对K和V分别经过步距为s的平均池化操作以降低在注意力操作中的计算成本，经过平均池化操作后K和V维度为最后经过多头自注意力机制MHSA(Multi
‑
Head Self
‑
Attention)以捕捉更丰富的特征信息。
[0031]进一步，所述多层感知机MLP(Multilayer Perceptron)用于提取更基本和更明显
的特征，具体是先经过BN(Batch Normalization)层做归一化处理，再经过两个1
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合全局及局部特征的轻量化火焰识别深度学习模型，其特征在于：包括以下步骤：步骤1，采集、收集火焰图像数据，构建火焰识别数据集；步骤2，构造能提取火焰图像全局特征的轻量级Transformer模块E
‑
TB；步骤3，构建基于轻量级Transformer模块E
‑
TB和卷积神经网络的全局和局部特征提取及融合模块CTB；步骤4，通过ShuffleNetV2模块和CTB模块串联堆叠实现了从浅到深的逐级特征提取，并最终构建火焰图像全局和局部特征提取的网络框架SConvTrans；步骤5，将构建的火焰识别数据集划分为训练集和测试集，并利用该数据对构建的网络框架SConvTrans进行训练和测试，得到轻量化火焰识别深度学习模型。2.根据权利要求1所述的一种融合全局及局部特征的轻量化火焰识别深度学习模型，其特征在于：所述步骤2，构造能提取火焰图像全局特征的轻量级Transformer模块E
‑
TB的具体方法是：首先对输入特征图X
U
∈R
d
×
H
×
W
划分patch块，其中，d：特征图通道数；H：特征图高度；W：特征图宽度，经过Unfold操作之后其维度变为d
×
N
×
P，d还是通道维度不变，N为patch块的个数，即P为patch块展平后的大小，即ρ2；然后使用高效轻量化注意力机制去捕获数据全局信息，最后再经过Fold操作将特征维度还原为d
×
H
×
W。3.根据权利要求2所述的一种融合全局及局部特征的轻量化火焰识别深度学习模型，其特征在于：所述高效轻量化注意力机制具体是：先经过高效多头自注意力机制EMHSA，然后通过平均池化降低K、V的维度，再经过多层感知机MLP，从而实现全局特征信息的提取。4.根据权利要求3所述的一种融合全局及局部特征的轻量化火焰识别深度学习模型，其特征在于：E
‑
TB整体过程表示为：TB整体过程表示为：式中：μ，分别代表输入特征，EMHSA以及MLP的输出特征。5.根据权利要求4所述的一种融合全局及局部特征的轻量化火焰识别深度学习模型，其特征在于：所述高效多头自注意力机制EMHSA表示为：EMHSA(z)＝Concat(head1(z1),head2(z2),......,head
i
(z
i
))W
o
,i＝1,2,......,hhead(X)＝Attention(X
·
W
Q
,P
s
(X
·
W
K
),P
s
(X
·
W
V
))式中：z表示在通道维度上将输入特征划分为多头形式；head表示低计算量的自注意力算子；W
Q
，W
K
，W
V
是用于上下文编码的线性层；P
s
是一个步距为s的全局池化操作；EMHSA(z)是标准的多头自注意力计算公式，式中d
k<...

【专利技术属性】
技术研发人员：王斌，赵倩，秦品乐，曾建潮，乔钢柱，
申请(专利权)人：中北大学，
类型：发明
国别省市：