【技术实现步骤摘要】
本专利技术涉及计算机，具体地涉及一种基于多样性语义提取和联合部件感知的卷积神经网络。
技术介绍
1、通常一个特征图中具有多个通道，而每个通道中的特征所表达的语义是不同的，所以特征图在空间维度上的相同部件区域的语义信息在每个通道中的重要程度是不同的。为了更好地挖掘具有鉴别性的细粒度特征，可将特征图进行刚性划分，从每个部件（局部特征图）中挖掘细粒度特征。但经过刚性划分的特征图会失去整体特征图中的语义连续性，这就使每个部件中的特征提取更容易受到背景、遮挡等噪声的干扰，导致现有卷积神经网络无法有效地对细微的鉴别性信息进行学习。对此，提出一种基于多样性语义提取和联合部件感知的卷积神经网络，以解决上述问题。
技术实现思路
1、本专利技术的目的在于克服现有技术存在的缺点，提出设计一种基于多样性语义提取和联合部件感知的卷积神经网络。
2、本专利技术解决其技术问题所采取的技术方案是：
3、基于多样性语义提取和联合部件感知的卷积神经网络，以resnet-50网络作为骨干网络，在res_conv4_1层后划分为三个分支：全局分支、多样性语义提取分支和联合部件感知分支；所述多样性语义提取分支嵌入多样性语义提取dse（diversity semanticextraction）模块；所述联合部件感知分支嵌入联合部件感知机制jsp（joint sensingparts mechanism），形成基于多样性语义提取和联合部件感知的卷积神经网络，所述网络用于提取输入特征图中的鉴别性信息；p>
4、所述dse模块将输入特征图利用卷积得到三个张量，沿通道维度将三个张量分别划分若干组，然后通过重塑操作来分别得到每组的通道查询矩阵、通道键矩阵和通道值矩阵；
5、将每组的查询矩阵与通道键矩阵的转置进行相乘，并经过softmax函数归一化后得到通道依赖关系矩阵；
6、将通道依赖关系矩阵沿着列方向进行压缩得到通道注意力矩阵；
7、将所有组的通道注意力矩阵拼接成一个矩阵并对所述矩阵的每一行应用softmax函数处理，然后对处理后的矩阵按列拆分得到经过差异性约束后的多样性通道注意力掩码；
8、将每个掩码与对应的通道值矩阵进行逐元素相乘得到输出特征图，并将所有组的所述输出特征图拼接在一起并进行重塑，最后与原始特征图相加并实施批量归一化（bn）和gelu激活函数后得到最终的dse模块输出特征图；dse模块能够构成多样性语义提取分支，提取输入特征图中多样性的语义信息；
9、所述jsp对输入特征图进行划分，得到若干个部件的特征表示，将dse最终的输出特征图进行压缩并与每个部件做内积，建立了具有鉴别性信息的全局特征图与每个部件之间的联系；
10、对所述内积应用sigmoid函数进行归一化得到空间注意力图，将空间注意力图与对应的特征表示相乘后再与每个特征表示相加，生成jsp的输出特征图；jsp将dse模块最终输出的特征图作为指导，来从空间维度挖掘局部特征图中的细粒度特征。
11、进一步的，得到每组的通道查询矩阵、通道键矩阵和通道值矩阵的具体过程为：
12、设张量x∈rc×h×w作为dse模块的输入特征图，其中c、h、w分别表示输入特征图的通道维度、高度和宽度；使用三个参数不共享的1×1卷积得到三个大小相同的张量，分别是查询张量 x q c，键张量 x k c和值张量 x v c：
13、( x q c, x k c, x v c) = conv1×1( x)；
14、沿着通道维度对( x q c, x k c, x v c)进行均匀划分，( x q c, x k c, x v c)分别被划分为g个组，然后通过重塑操作来分别得到每组的通道查询矩阵 q g∈rc/g×hw、通道键矩阵 k g∈rc/g×hw和通道值矩阵 v g∈rc/g×hw：
15、( q g, k g, v g) = reshape(divide ( x q c, x k c, x v c))；
16、其中，g=1,2,...,g。
17、进一步的，所述通道依赖关系矩阵为 a g∈r(c/g)×(c/g)：
18、；
19、其中，表示矩阵相乘；softmax函数是沿依赖关系矩阵 a g的列方向实施的；将矩阵 a g沿着列方向进行压缩得到通道注意力矩阵 a ’g∈r(c/g)×1，将矩阵 a ’1, a ’2, ..., a 本文档来自技高网...
【技术保护点】
1.基于多样性语义提取和联合部件感知的卷积神经网络，其特征在于，以ResNet-50网络作为骨干网络，在res_conv4_1层后划分为三个分支：全局分支、多样性语义提取分支和联合部件感知分支；所述多样性语义提取分支嵌入多样性语义提取DSE模块；所述联合部件感知分支嵌入联合部件感知机制JSP，形成基于多样性语义提取和联合部件感知的卷积神经网络，所述网络用于提取输入特征图中的鉴别性信息；
2.根据权利要求1所述的基于多样性语义提取和联合部件感知的卷积神经网络，其特征在于，得到每组的通道查询矩阵、通道键矩阵和通道值矩阵的具体过程为：
3.根据权利要求2所述的基于多样性语义提取和联合部件感知的卷积神经网络，其特征在于，所述通道依赖关系矩阵为Ag∈R(C/G)×(C/G)：
4.根据权利要求1所述的基于多样性语义提取和联合部件感知的卷积神经网络，其特征在于，所述JSP对输入特征图进行划分，得到若干个部件的特征表示的具体过程为：
5.根据权利要求4所述的基于多样性语义提取和联合部件感知的卷积神经网络，其特征在于，将DSE最终的输出特征图进行压
6.根据权利要求1所述的基于多样性语义提取和联合部件感知的卷积神经网络，其特征在于，所述全局分支的输出特征图、DSE模块的输出特征图以及JSP输出的每个部件的特征图均通过平均池化压缩成一个大小为2048维的特征向量。
7.根据权利要求6所述的基于多样性语义提取和联合部件感知的卷积神经网络，其特征在于，所述三个分支输出的2048维特征向量的维度通过1×1卷积、批处理归一化和高斯误差线性单元降维处理至256，得到256维的特征嵌入。
8.根据权利要求7所述的基于多样性语义提取和联合部件感知的卷积神经网络，其特征在于，所述256维的特征嵌入用于三元组损失的训练，并且经过全连接层的转换后用于交叉熵损失的训练。
9.根据权利要求1-8任一项所述的基于多样性语义提取和联合部件感知的卷积神经网络，其特征在于，将三个分支最终的输出特征图拼接，得到输入输入特征图的最终特征表示。
...【技术特征摘要】
1.基于多样性语义提取和联合部件感知的卷积神经网络，其特征在于，以resnet-50网络作为骨干网络，在res_conv4_1层后划分为三个分支：全局分支、多样性语义提取分支和联合部件感知分支；所述多样性语义提取分支嵌入多样性语义提取dse模块；所述联合部件感知分支嵌入联合部件感知机制jsp，形成基于多样性语义提取和联合部件感知的卷积神经网络，所述网络用于提取输入特征图中的鉴别性信息；
2.根据权利要求1所述的基于多样性语义提取和联合部件感知的卷积神经网络，其特征在于，得到每组的通道查询矩阵、通道键矩阵和通道值矩阵的具体过程为：
3.根据权利要求2所述的基于多样性语义提取和联合部件感知的卷积神经网络，其特征在于，所述通道依赖关系矩阵为ag∈r(c/g)×(c/g)：
4.根据权利要求1所述的基于多样性语义提取和联合部件感知的卷积神经网络，其特征在于，所述jsp对输入特征图进行划分，得到若干个部件的特征表示的具体过程为：
5.根据权利要求4所述的基于多样性语义提取和...
【专利技术属性】
技术研发人员：马腾达，王成，庞希愚，栗世涛，司炜，刘彤欣，田佳琛，周晓颖，
申请(专利权)人：山东交通学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。