一种基于特征块折叠的非局部性卷积建模方法及装置制造方法及图纸

本发明专利技术属于图像识别技术领域，具体涉及一种基于特征块折叠的非局部性卷积建模方法及装置；该方法包括：构建FFNL模块，FFNL模块包括FF子模块、RFF子模块和NL子模块；将FFNL模块嵌入到普通卷积网络的浅层阶段，得到基于特征块折叠的非局部性卷积分类模型；获取训练数据并采用训练数据训练基于特征块折叠的非局部性卷积分类模型，得到训练好的基于特征块折叠的非局部性卷积分类模型；采用训练好的基于特征块折叠的非局部性卷积分类模型对待分类数据处理，得到分类结果；本发明专利技术可帮助卷积神经网络建立基于特征块的非局部特征学习机制，从而获得更大的有效感受野和更好的性能。获得更大的有效感受野和更好的性能。获得更大的有效感受野和更好的性能。

【技术实现步骤摘要】
一种基于特征块折叠的非局部性卷积建模方法及装置


[0001]本专利技术属于图像识别
，具体涉及一种基于特征块折叠的非局部性卷积建模方法及装置。

技术介绍

[0002]随着计算机技术、信息处理技术和视觉通信技术的高速发展，人类进入了全新的信息化时代。卷积神经网络不断推动着深度学习在图像领域的极限，但是卷积神经网络也存在一些问题，其中如何提高卷积网络的有效感受野大小是重要的问题。
[0003]由于卷积运算中的非局部连接机制，卷积神经网络并不能直接实现非局部特征学习。实际上，从传统解释来看，卷积神经网络能够在浅层中学到底层特征，并在网络深层中归纳这些底层特征为全局的语义信息。然而这个过程存在一定的缺陷，卷积神经网络不能捕捉基于特征块的跨距离依赖关系。视觉信息与自然语言存在显著的差异。自然语言是人类高度抽象的信息形式，有更少的冗余，距离越近的单词之间往往更加相关。而图像的信息则是稀疏冗余的，所谓稀疏冗余，从图像的非局部自相似先验中可以说明，即图像中大量存在的基于块的跨距离信息是相似的。不仅如此，站在特征学习的角度，有必要假设图像中大量存在跨距离的块信息是需要进行特征联系的，而不局限于相似性联系。同时，建立基于特征块的非局部性学习，不仅可以提升模型感受野，而且潜在的好处是有利于增加特征多样性和减少通道中的特征冗余。然而，在卷积神经网络中缺少基于特征块的非局部学习，人们通常只强调长距离依赖关系，使用类似non
‑
local和空洞卷积等基于特征点的建模手段，但这些方式首先不是基于特征块的，其次是计算成本高或者效果很小。

技术实现思路

[0004]针对现有技术存在的不足，本专利技术提出了一种基于特征块折叠的非局部性卷积建模方法及装置，该方法包括：
[0005]S1：构建FFNL模块，FFNL模块包括FF子模块、RFF子模块和NL子模块；
[0006]S2：将FFNL模块嵌入到普通卷积网络的浅层阶段，得到基于特征块折叠的非局部性卷积分类模型；其中，基于特征块折叠的非局部性卷积分类模型包括前段网络、FFNL模块和后段网络；
[0007]S3：获取训练数据并采用训练数据训练基于特征块折叠的非局部性卷积分类模型，得到训练好的基于特征块折叠的非局部性卷积分类模型；
[0008]S4：采用训练好的基于特征块折叠的非局部性卷积分类模型对待分类数据处理，得到分类结果。
[0009]优选的，普通卷积网络为ResNet网络，其包括4个主干模块，FFNL模块嵌入到ResNet网络的第一个主干模块和第二个主干模块之间。
[0010]优选的，基于特征块折叠的非局部性卷积分类模型对待分类数据进行处理的过程包括：
[0011]S41：基于特征块折叠的非局部性卷积分类模型的前段网络对待分类数据进行特征提取，得到初级特征；
[0012]S42：采用FFNL模块对初级特征进行特征提取，得到次级特征；
[0013]S43：采用基于特征块折叠的非局部性卷积分类模型的后段网络对次级特征进行处理，得到分类结果。
[0014]进一步的，采用FFNL模块对初级特征进行特征提取的过程包括：
[0015]采用FF子模块将初级特征在空间维度上划分为多个特征块；将多个特征块在通道维度上进行折叠，得到折叠特征；
[0016]采用NL子模块对折叠特征进行特征学习，得到第一中间特征；
[0017]采用RFF子模块将第一中间特征的所有特征块恢复成与初级特征同相同的空间位置，得到第二中间特征；
[0018]将初级特征与第二中间特征相加，得到次级特征。
[0019]进一步的，多个特征块在通道维度上进行折叠的规则为：将特征块按照横向空间维度、纵向空间维度、通道维度的排序优先级进行排序并根据排序进行折叠。
[0020]进一步的，基于特征块折叠的非局部性卷积分类模型的后段网络对次级特征进行处理的过程包括：后段网络包括池化层和全连接层；将次级特征输出到池化层中进行平均池化，得到一维特征向量；将一维特征向量输入到全连接层中，得到分类结果。
[0021]优选的，NL子模块包括第一层卷积、第二层卷积和第三层卷积。
[0022]进一步的，第一层卷积、第二层卷积和第三层卷积的卷积核大小分别为3
×
3、3
×
3和1
×
1，卷积核的分组数等于FFNL模块输入特征的通道维数。
[0023]一种基于特征块折叠的非局部性卷积建模装置，包括：获取单元、模型构建单元、训练单元和输出单元；
[0024]所述获取单元用于获取训练数据；
[0025]所述模型构建单元用于构建FFNL模块并将FFNL模块嵌入普通卷积网络的浅层阶段，得到基于特征块折叠的非局部性卷积分类模型；
[0026]所述训练单元用于采用训练数据对基于特征块折叠的非局部性卷积分类模型进行训练，保存模型参数，得到训练好的基于特征块折叠的非局部性卷积分类模型；
[0027]所述输出单元用于输出训练好的基于特征块折叠的非局部性卷积分类模型。
[0028]本专利技术的有益效果为：本专利技术发现网络浅层阶段的特征图中存在非局部先验，并通过设计FFNL模块来捕捉这些先验，实现了基于特征块的内部和之间的特征学习，将FFNL模块嵌入到卷积神经网络的浅层阶段，以非常低的额外成本，帮助卷积神经网络建立基于特征块的非局部特征学习机制，从而获得更大的有效感受野和更好的性能，在一定程度上解决了卷积神经网络不能捕捉基于特征块的跨距离依赖的问题，有效提高模型的分类准确率。
附图说明
[0029]图1为本专利技术中FFNL模块结构示意图；
[0030]图2为本专利技术中FFNL模块嵌入ResNet网络示意图；
[0031]图3为本专利技术中FF子模块示意图；
[0032]图4为本专利技术中NL子模块示意图；
[0033]图5为本专利技术中RFF子模块示意图。
具体实施方式
[0034]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0035]本专利技术提出了一种基于特征块折叠的非局部性卷积建模方法及装置，所述方法包括：
[0036]S1：构建FFNL模块，FFNL模块包括FF子模块、RFF子模块和NL子模块。
[0037]如图1所示，本专利技术设计了一种基于特征块折叠的嵌入非局部性的卷积特征学习模块，简称FFLN模块，其包括特征块折叠子模块(feature fold，FF)、特征块逆向折叠子模块(reverse feature fold，RFF)、非局部卷积模块(non
‑
local，NL)三部分。
[0038]S2：将FFNL模块嵌入到普通卷积网络的浅层阶段，得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征块折叠的非局部性卷积建模方法，其特征在于，包括：S1：构建FFNL模块，FFNL模块包括FF子模块、RFF子模块和NL子模块；S2：将FFNL模块嵌入到普通卷积网络的浅层阶段，得到基于特征块折叠的非局部性卷积分类模型；其中，基于特征块折叠的非局部性卷积分类模型包括前段网络、FFNL模块和后段网络；S3：获取训练数据并采用训练数据训练基于特征块折叠的非局部性卷积分类模型，得到训练好的基于特征块折叠的非局部性卷积分类模型；S4：采用训练好的基于特征块折叠的非局部性卷积分类模型对待分类数据处理，得到分类结果。2.根据权利要求1所述的一种基于特征块折叠的非局部性卷积建模方法，其特征在于，所述普通卷积网络为ResNet网络，其包括4个主干模块，FFNL模块嵌入到ResNet网络的第一个主干模块和第二个主干模块之间。3.根据权利要求1所述的一种基于特征块折叠的非局部性卷积建模方法，其特征在于，基于特征块折叠的非局部性卷积分类模型对待分类数据进行处理的过程包括：S41：基于特征块折叠的非局部性卷积分类模型的前段网络对待分类数据进行特征提取，得到初级特征；S42：采用FFNL模块对初级特征进行特征提取，得到次级特征；S43：采用基于特征块折叠的非局部性卷积分类模型的后段网络对次级特征进行处理，得到分类结果。4.根据权利要求3所述的一种基于特征块折叠的非局部性卷积建模方法，其特征在于，采用FFNL模块对初级特征进行特征提取的过程包括：采用FF子模块将初级特征在空间维度上划分为多个特征块；将多个特征块在通道维度上进行折叠，得到折叠特征；采用NL子模块对折叠特征进行特征学习，得到第一中间特征；采用RFF子模块将第一中间特征的所有特征块恢复成与初级特征同相同的...

【专利技术属性】
技术研发人员：徐嘉，戴大伟，兰丹凤，夏书银，王国胤，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：