深度学习网络模型、特征提取方法、装置及存储介质制造方法及图纸

本发明专利技术涉及深度学习技术领域，具体涉及一种轻量型具有注意力机制的深度学习网络模型、特征提取方法、装置及存储介质。其包括：基础卷积模块、特征提取模块、维度变换模块、分类概率输出模块。其中，特征提取模块包括多个串行连接的特征提取子模块。采用本实施例的网络模型提取图像特征信息时，多个特征子模块可以对图像进行多尺度空间特征提取，使得同时提取出来多个状态信息，在模型轻量化前提下，提高了特征提取的准确率。征提取的准确率。征提取的准确率。

【技术实现步骤摘要】
深度学习网络模型、特征提取方法、装置及存储介质


[0001]本专利技术涉及深度学习
，具体涉及一种轻量型具有注意力机制的深度学习网络模型、特征提取方法、装置及存储介质。

技术介绍

[0002]图像属性识别是在给出的大量图像中利用机器视觉识别出图片内容是否具备所关注的特点及各种属性，例如在安全驾驶领域，可以通过机器视觉学习驾驶员监控图片的内容，识别驾驶员的状态，实现实时监控安全驾驶。但是现有技术中采用传统的ResNet(残差网络)、GoogLeNet(深度学习结构)等经典网络模型计算参数量大、速度慢，因此提取图像特征信息时速度慢且精度低，无法满足实际场景的应用需求。

技术实现思路

[0003]本专利技术主要解决的技术问题是采用传统的网络模型提取图像特征信息时速度慢且精度低，基于此技术问题，本申请提出一种轻量型具有注意力机制的深度学习网络模型，其目的在于提高特征信息提取的速度和精度。
[0004]一种轻量型具有注意力机制的深度学习网络模型,其包括：基础卷积模块、特征提取模块、维度变换模块、分类概率输出模块；
[0005]所述基础卷积模块的输入端用于输入待处理图像，基础卷积模块的输出端与所述特征提取模块的输入端连接，所述特征提取模块的输出端与所述维度变换模块的输入端连接，所述维度变换模块的输出端与所述分类概率输出模块的输入端连接；
[0006]所述基础卷积模块用于对待处理图像做初步特征提取处理以获取初步特征信息，所述特征提取模块用于对所述初步特征信息进行深度特征提取以及融合以得到特征矩阵；所述维度变换模块用于对所述特征矩阵进行降维处理，将其变换为与输出的维度相匹配的特征向量；所述分类概率输出模块用于对所述特征向量进行概率计算，得到各状态分类对应的概率；
[0007]其中，所述特征提取模块包括多个串行连接的特征提取子模块。
[0008]在一种实施例中，所述特征提取子模块包括第一卷积模块、第二卷积模块、第一通道、第二通道、第三通道、第四通道、第一加法器；
[0009]所述第一卷积模块的输出端分别与所述第一通道、第二通道、第三通道、第四通道的输入端连接，所述第一通道、第二通道、第三通道、第四通道的输出端经过所述第一加法器后与所述第二卷积模块的输入端连接；
[0010]其中，所述第一通道包括第一注意力机制模块、第一AG模块和第一乘法器，所述第一注意力机制模块的输出端还与所述第一AG模块的输入端连接，所述第一AG模块的输出端与所述第一注意力机制模块的输出端经过所述第一乘法器后与所述第一加法器连接；其中，本实施例的AG模块可以理解为聚合门，AG模块的实现就是用全局平均池化加全连接，AG模块和SE模块类似，但是没有SE模块复杂，AG模块最终输出的结果就是各信息流的权重值。
[0011]所述第二通道包括第三卷积模块、第二注意力机制模块、第二AG模块和第二乘法器；所述第三卷积模块的输入端与所述第一卷积模块的输出端连接，第三卷积模块的输出端与所述第二注意力机制模块的输入端连接；所述第二注意力机制模块的输出端与所述第二AG模块连接的输入端连接，所述第二注意力机制模块的输出端和第二AG模块的输出端经过所述第二乘法器后也与所述第一加法器连接；
[0012]所述第三通道包括第四卷积模块、第五卷积模块、第三注意力机制模块、第三AG模块和第三乘法器；所述第四卷积模块的输入端与所述第一卷积模块的输出端连接，该第四卷积模块的输出端与所述第五卷积模块的输入端连接；所述第五卷积模块的输出端与所述第三注意力机制模块的输入端连接，第三注意力机制模块的输出端和所述第三AG模块的输入端连接，该第三AG模块的输出端和第三注意力机制模块的输出端经过所述第三乘法器后也与所述第一加法器连接；
[0013]所述第四通道包括第六卷积模块、第七卷积模块、第八卷积模块、第四注意力机制模块、第四AG模块和第四乘法器；所述第六卷积模块的输入端与所述第一卷积模块的输出端连接，第六卷积模块的输出端与所述第七卷积模块的输入端连接，第七卷积模块的输出端与所述第八卷积模块的输入端连接；所述第八卷积模块的输出端与所述第四注意力机制模块的输入端连接，该第四注意力机制模块的输出端与所述第四AG模块的输入端连接，所述第四AG模块的输出端与第四注意力机制模块的输出端经过所述第四乘法器后与所述第一加法器连接。
[0014]在一种实施例中，所述第一卷积模块用于对输入的特征信息进行维度处理得到目标维度的特征信息；
[0015]所述第一通道、第二通道、第三通道、第四通道分别用于对所述目标维度的特征信息进行特征提取，得到不同尺度的特征流；
[0016]其中，在所述第一通道中，所述第一注意力机制模块用于对所述目标维度的特征信息进行特征提取并加入注意力机制以得到第一特征流；所述第一AG模块用于对第一注意力机制模块输出的第一特征流分配对应的权重得到第一权重特征流；最后将所述第一特征流和第一权重特征流相乘得到第一尺度特征流；
[0017]在所述第二通道中，所述第三卷积模块用于对所述目标维度的特征信息进行特征提取，得到粗粒度的特征信息；所述第二注意力机制模块用于对所述粗粒度的特征信进行进一步的特征提取，得到细粒度的第二特征流；所述第二AG模块用于对所述第二特征流分配对应的权重得到第二权重特征流；最后将所述第二特征流和第二权重特征流相乘得到第二尺度特征流；
[0018]在所述第三通道中，所述第四卷积模块和第五卷积模块分别用于依次对所述目标维度的特征信息进行特征提取，然后再对提取出的特征再经过所述第三注意力机制模块进行进一步的特征提取，得到第三特征流；所述第三AG模块用于对所述第三特征分配对应的权重得到第三权重特征流；最后将所述第三特征流和第三权重特征流相乘得到第三尺度特征流；
[0019]在所述第四通道中，所述第六卷积模块、第七卷积模块和第八卷积模块分别用于依次对所述目标维度的特征信息进行特征提取，然后再对提取出的特征再经过所述第四注意力机制模块进行进一步的特征提取，得到第四特征流；所述第四AG模块用于对所述第四
特征分配对应的权重得到第四权重特征流；最后将所述第四特征流和第四权重特征流相乘得到第四尺度特征流；
[0020]将所述第一尺度特征流、第二尺度特征流、第三尺度特征流和第四尺度特征流通所述第一加法器进行相加后，得到所述的不同尺度的特征流；
[0021]所述第二卷积模块用于对输出的不同尺度的特征流进行维度调整，使得其维度相同。
[0022]在一种实施例中，还包括残差模块和第二加法器；
[0023]所述第二卷积模块的输出端与所述第二加法器连接，所述第一卷积模块还经过所述残差模块后与所述第二加法器连接；
[0024]输入的特征信息经过所述残差模块进行残差处理后与第二卷积模块输出的同一维度的特征流经过所述第二加法器进行相加处理后输出。
[0025]在一种实施例中，所述第一卷积模块和第二卷积模块均为1
×
1卷积模块；
[0026]所述第三卷积模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轻量型具有注意力机制的深度学习网络模型,其特征在于，包括：基础卷积模块、特征提取模块、维度变换模块、分类概率输出模块；所述基础卷积模块的输入端用于输入待处理图像，基础卷积模块的输出端与所述特征提取模块的输入端连接，所述特征提取模块的输出端与所述维度变换模块的输入端连接，所述维度变换模块的输出端与所述分类概率输出模块的输入端连接；所述基础卷积模块用于对待处理图像做初步特征提取处理以获取初步特征信息，所述特征提取模块用于对所述初步特征信息进行深度特征提取以及融合以得到特征矩阵；所述维度变换模块用于对所述特征矩阵进行降维处理，将其变换为与输出的维度相匹配的特征向量；所述分类概率输出模块用于对所述特征向量进行概率计算，得到各状态分类对应的概率；其中，所述特征提取模块包括多个串行连接的特征提取子模块。2.如权利要求1所述的轻量型具有注意力机制的深度学习网络模型,其特征在于，所述特征提取子模块包括第一卷积模块、第二卷积模块、第一通道、第二通道、第三通道、第四通道、第一加法器；所述第一卷积模块的输出端分别与所述第一通道、第二通道、第三通道、第四通道的输入端连接，所述第一通道、第二通道、第三通道、第四通道的输出端经过所述第一加法器后与所述第二卷积模块的输入端连接；其中，所述第一通道包括第一注意力机制模块、第一AG模块和第一乘法器，所述第一注意力机制模块的输出端还与所述第一AG模块的输入端连接，所述第一AG模块的输出端与所述第一注意力机制模块的输出端经过所述第一乘法器后与所述第一加法器连接；所述第二通道包括第三卷积模块、第二注意力机制模块、第二AG模块和第二乘法器；所述第三卷积模块的输入端与所述第一卷积模块的输出端连接，第三卷积模块的输出端与所述第二注意力机制模块的输入端连接；所述第二注意力机制模块的输出端与所述第二AG模块连接的输入端连接，所述第二注意力机制模块的输出端和第二AG模块的输出端经过所述第二乘法器后也与所述第一加法器连接；所述第三通道包括第四卷积模块、第五卷积模块、第三注意力机制模块、第三AG模块和第三乘法器；所述第四卷积模块的输入端与所述第一卷积模块的输出端连接，所述第四卷积模块的输出端与所述第五卷积模块的输入端连接；所述第五卷积模块的输出端与所述第三注意力机制模块的输入端连接，所述第三注意力机制模块的输出端和所述第三AG模块的输入端连接，该第三AG模块的输出端和第三注意力机制模块的输出端经过所述第三乘法器后也与所述第一加法器连接；所述第四通道包括第六卷积模块、第七卷积模块、第八卷积模块、第四注意力机制模块、第四AG模块和第四乘法器；所述第六卷积模块的输入端与所述第一卷积模块的输出端连接，第六卷积模块的输出端与所述第七卷积模块的输入端连接，第七卷积模块的输出端与所述第八卷积模块的输入端连接；所述第八卷积模块的输出端与所述第四注意力机制模块的输入端连接，所述第四注意力机制模块的输出端与所述第四AG模块的输入端连接，所述第四AG模块的输出端与第四注意力机制模块的输出端经过所述第四乘法器后与所述第一加法器连接。3.如权利要求2所述的轻量型具有注意力机制的深度学习网络模型,其特征在于，所述
第一卷积模块用于对输入的特征信息进行维度处理得到目标维度的特征信息；所述第一通道、第二通道、第三通道、第四通道分别用于对所述目标维度的特征信息进行特征提取，得到不同尺度的特征流；其中，在所述第一通道中，所述第一注意力机制模块用于对所述目标维度的特征信息进行特征提取并加入注意力机制以得到第一特征流；所述第一AG模块用于对第一注意力机制模块输出的第一特征流分配对应的权重得到第一权重特征流；最后将所述第一特征流和第一权重特征流相乘得到第一尺度特征流；在所述第二通道中，所述第三卷积模块用于对所述目标维度的特征信息进行特征提取，得到粗粒度的特征信息；所述第二注意力机制模块用于对所述粗粒度的特征信进行进一步的特征提取，得到细粒度的第二特征流；所述第二AG模块用于对所述第二特征流分配对应的权重得到第二权重特征流；最后将所述第二特征流和第二权重特征流相乘得到第二尺度特征流；在所述第三通道中，所述第四卷积模块和第五卷积模块分别用于依次对所述目标维度的特征信息进行特征提取，然后再对提取出的特征再经过所述第三注意力机制模块进行进一步的特征提取，得到第三特征流；所述第三AG模块用于对所述第三特征分配对应的权重得到第三权重特征流；最后将所述第三特征流和第三权重特征流相乘得到第三尺度特...

【专利技术属性】
技术研发人员：李一曼，张浩，李杉杉，刘强，徐明，
申请(专利权)人：深圳力维智联技术有限公司，
类型：发明
国别省市：