分类网络的训练方法、图像分类方法及装置制造方法及图纸

本公开提供了一种分类网络的训练方法、图像分类方法及装置，包括：获取样本图像，以及样本图像的标注信息；将所述样本图像输入至待训练的分类网络的二值化的初始特征提取层，确定所述样本图像对应的目标特征图；其中，所述初始特征提取层包括待训练的通道值调整参数；基于预设尺寸将所述目标特征图划分为多个特征单元，并将所述目标特征图输入至特征融合层，所述特征融合层包括多个二值化的多层感知模块，每个多层感知模块用于对所述特征单元进行特征融合和深层次的特征提取；基于所述特征融合层输出的语义特征图，以及所述样本图像的标注信息对所述分类网络进行训练。注信息对所述分类网络进行训练。注信息对所述分类网络进行训练。

【技术实现步骤摘要】
分类网络的训练方法、图像分类方法及装置


[0001]本公开涉及神经网络
，具体而言，涉及一种分类网络的训练方法、图像分类方法及装置。

技术介绍

[0002]随着神经网络技术的方法和应用，人们对于神经网络的网络计算速度和计算精度要求也越来越高，因此神经网络的网络规模也越来越大。大规模的神经网络在进行运算时，由于需要利用大规模的计算资源，因此对于部署设备的硬件要求也比较高。因此，如果在保证网络精度的前提下，对神经网络进行压缩成为亟待解决的问题。

技术实现思路

[0003]本公开实施例至少提供一种分类网络的训练方法、图像分类方法及装置。
[0004]第一方面，本公开实施例提供了一种分类网络的训练方法，包括：
[0005]获取样本图像，以及样本图像的标注信息；
[0006]将所述样本图像输入至待训练的分类网络的二值化的初始特征提取层，确定所述样本图像对应的目标特征图；其中，所述初始特征提取层包括待训练的通道值调整参数；
[0007]基于预设尺寸将所述目标特征图划分为多个特征单元，并将所述目标特征图输入至特征融合层，所述特征融合层包括多个二值化的多层感知模块，每个多层感知模块用于对所述特征单元进行特征融合和深层次的特征提取；
[0008]基于所述特征融合层输出的语义特征图，以及所述样本图像的标注信息对所述分类网络进行训练。
[0009]上述方法中，待训练的分类网络的初始特征提取层中，包括待训练的通道值调整参数，通道值调整参数可以对初始特征提取层提取的样本图像的第一特征图进行通道值调整，这样，对通道值调整后的第一特征图进行二值化处理，可以理解为动态确定二值化阈值，因此缩小了二值化特征提取和全精度特征提取之间的精度差距；进一步的，特征融合层可以对多个特征单元进行特征融合和深层次的特征提取，因此使得输出的语义特征图兼顾了局部特征和全局特征，因此基于语义特征图和标注信息训练的分类网络精度较高，且初始特征提取层和特征融合层都是二值化的，因此分类网络的网络规模较小，即可以兼顾网络规模和网络精度。
[0010]一种可能的实施方式中，所述将所述样本图像输入至待训练的分类网络的二值化的初始特征提取层，确定所述样本图像对应的目标特征图，包括：
[0011]对所述样本图像进行全局平均池化处理，确定所述样本图像对应的第一特征图；
[0012]基于所述通道值调整参数对所述第一特征图的通道值进行第一调整，确定调整后的第二特征图；
[0013]基于所述样本图像和所述第二特征图进行二值激活处理，确定第三特征图；
[0014]对所述第三特征图进行特征提取，确定所述样本图像对应的目标特征图。
[0015]这里，由于所述通道值调整参数是动态的(即可训练的)，因此导致调整后的样本图像的嵌入表达Embedding也是动态的，也即所述样本图像是通过动态Embedding表征的，由此，可以降低二值特征提取和全精度特征提取之间的精度差。
[0016]一种可能的实施方式中，所述基于所述样本图像和所述第二特征图进行二值激活处理，确定第三特征图，包括：
[0017]基于预设激活函数的第一阈值、以及所述样本图像和所述第二特征图对应通道值的差值，确定所述第三特征图。
[0018]一种可能的实施方式中，所述对所述第三特征图进行特征提取，确定所述样本图像对应的目标特征图，包括：
[0019]对所述第三特征图进行特征提取，确定第四特征图；
[0020]基于所述通道值调整参数对所述第一特征图的特征值进行第二调整，确定调整后的第五特征图；
[0021]对所述第四特征图和所述第五特征图进行特征融合，确定所述目标特征图。
[0022]这里，为了避免二值化对于提取的特征的精度的影响，因此可以在所述第四特征图中添加原样本图像的特征，也即将对第一特征图进行第二调整后的第五特征图和第四特征图进行融合。
[0023]一种可能的实施方式中，所述特征融合层中的第N个多层感知模块的输出为第N+1个多层感知模块的输入，第一个多个感知模块的输入为所述目标特征图，最后一个多层感知模块的输出为所述语义特征图，N为正整数。
[0024]通过多层感知模块进行深层特征提取，可以保证最终提取到的语义特征的深度足够深，进而提高分类精度。
[0025]一种可能的实施方式中，针对任一多层感知模块，该多层感知模块用于通过以下方法，对输入该多层感知模块的输入特征图的特征单元进行特征融合和深层次的特征提取：
[0026]对所述输入特征图进行二值激活处理，确定第六特征图；
[0027]按照至少一个交换距离，对所述第六特征图的特征单元进行特征交换，得到交换特征图；
[0028]对所述交换特征图和所述第六特征图分别进行特征提取后，与所述输入特征图进行特征融合，得到融合特征图；
[0029]对所述融合特征图进行激活处理，得到该多层感知模块的输出特征图。
[0030]经过长距离交换可以使得当前特征单元融合全局特征，通过短距离交换，可以使得当前特征单元融合局部特征，因此，通过这种实施方式得到的特征图，可以结合局部特征和全局特征，而基于卷积进行特征提取，仅能结合局部特征，因此这种方法融合的特征更加全面。
[0031]一种可能的实施方式中，针对任一交换距离，所述对所述第六特征图的特征单元进行特征交换，得到交换特征图，包括：
[0032]针对任一特征单元，基于该交互距离，确定所述第六特征图中与该特征单元对应的待交换特征单元；
[0033]基于待交换特征单元在对应通道上的取值，确定该特征单元在进行特征交换后各
通道上的取值。
[0034]一种可能的实施方式中，所述对所述交换特征图和所述第六特征图分别进行特征提取后，与所述输入特征图进行特征融合，得到融合特征图，包括：
[0035]基于二值化多层感知机对所述交换特征图和所述第六特征图分别进行特征提取，确定多个深层特征图；
[0036]对所述多个深层特征图进行归一化处理后，与所述输入特征图进行特征融合，得到所述融合特征图。
[0037]一种可能的实施方式中，所述基于所述特征融合层输出的语义特征图，以及所述样本图像的标注信息对所述分类网络进行训练，包括：
[0038]获取所述待训练的分类网络对应的全精度教师网络；
[0039]基于所述特征融合层输出的语义特征图、所述样本图像的标注信息、以及所述全精度教师网络对所述分类网络进行训练。
[0040]获取的所述全精度教师网络可以是训练好的，所述全精度教师网络的推理目标与所述分类网络的推理目标可以是相同的。由于所述全精度教师网络的网络参数是全精度的，因此所述全精度教师网络的网络精度相对于所述分类网络而言更高，通过所述全精度教师网络对所述分类网络进行蒸馏训练，可以提升所述分类网络的网络精度。
[0041]一种可能的实施方式中，所述基于所述特征融合层输出的语义特征图、所述样本图像的标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分类网络的训练方法，其特征在于，包括：获取样本图像，以及样本图像的标注信息；将所述样本图像输入至待训练的分类网络的二值化的初始特征提取层，确定所述样本图像对应的目标特征图；其中，所述初始特征提取层包括待训练的通道值调整参数；基于预设尺寸将所述目标特征图划分为多个特征单元，并将所述目标特征图输入至特征融合层，所述特征融合层包括多个二值化的多层感知模块，每个多层感知模块用于对所述特征单元进行特征融合和深层次的特征提取；基于所述特征融合层输出的语义特征图，以及所述样本图像的标注信息对所述分类网络进行训练。2.根据权利要求1所述的方法，其特征在于，所述将所述样本图像输入至待训练的分类网络的二值化的初始特征提取层，确定所述样本图像对应的目标特征图，包括：对所述样本图像进行全局平均池化处理，确定所述样本图像对应的第一特征图；基于所述通道值调整参数对所述第一特征图的通道值进行第一调整，确定调整后的第二特征图；基于所述样本图像和所述第二特征图进行二值激活处理，确定第三特征图；对所述第三特征图进行特征提取，确定所述样本图像对应的目标特征图。3.根据权利要求2所述的方法，其特征在于，所述基于所述样本图像和所述第二特征图进行二值激活处理，确定第三特征图，包括：基于预设激活函数的第一阈值、以及所述样本图像和所述第二特征图对应通道值的差值，确定所述第三特征图。4.根据权利要求2或3所述的方法，其特征在于，所述对所述第三特征图进行特征提取，确定所述样本图像对应的目标特征图，包括：对所述第三特征图进行特征提取，确定第四特征图；基于所述通道值调整参数对所述第一特征图的特征值进行第二调整，确定调整后的第五特征图；对所述第四特征图和所述第五特征图进行特征融合，确定所述目标特征图。5.根据权利要求1～4任一所述的方法，其特征在于，所述特征融合层中的第N个多层感知模块的输出为第N+1个多层感知模块的输入，第一个多个感知模块的输入为所述目标特征图，最后一个多层感知模块的输出为所述语义特征图，N为正整数。6.根据权利要求1～5任一所述的方法，其特征在于，针对任一多层感知模块，该多层感知模块用于通过以下方法，对输入该多层感知模块的输入特征图的特征单元进行特征融合和深层次的特征提取：对所述输入特征图进行二值激活处理，确定第六特征图；按照至少一个交换距离，对所述第六特征图的特征单元进行特征交换，得到交换特征图；对所述交换特征图和所述第六特征图分别进行特征提取后，与所述输入特征图进行特征融合，得到融合特征图；对所述融合特征图进行激活处理，得到该多层感知模块的输出特征图。7.根据权利要求6所述的方法，其特征在于，针对任一交换距离，所述对所述第六特征
图的特征单元进行特征交换，得到交换特征图，包括：针对任一特征单元，基于该交互距离，确定所述第六特征图中与该特征单元对应的待交换特征单元；基于待交换特征单元在对应通道上的取值，确定该特征单元在进行特征交换后各通道上的取值。8.根据权利要求6或7所述的方法，其特征在于，所述对所述交换特征图和所述第六特征图分别进行特征提取后，与所述输入特征图进行特征融合，得到融合特征图，包括：基于二值化多层感知机对所述交换特征图和所述第六特征图分别进行特征提取，确定多个深层特征图；对所述多个深层特征图进行归一化处理后，与所述输入特征图进行特征融合，得到所述融合特征图。9.根据权利要求1～8任一所述的方法，其特征在于，所述基于所述特征融合层输出的语义特征图，以及所述样本图像的标...

【专利技术属性】
技术研发人员：李阳光，邵婧，闫俊杰，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：