一种图像识别模型的训练方法及图像识别方法技术

本发明专利技术实施例提供一种图像识别模型的训练方法及图像识别方法，该训练方法包括：记录样本图片的第一图像矩阵后，进行切分及打乱后获取第二图像矩阵；分别通过对应的卷积神经网络提取图片特征和获取图片分类结果；根据图片特征求解蒸馏损失函数，根据图片分类结果求解分类损失函数；通过优化蒸馏损失函数及分类损失函数进行模型优化，在蒸馏损失函数小于预设第一阈值以及分类损失函数小于预设第二阈值时训练结束，从而获取训练好的图像识别模型。本发明专利技术实施例有利于实现局部特征抓取以及提取更加有效的特征，不需要借助任何人工标注信息，也能达到和强监督细粒度识别一样的准确度，在模型上能够减少算法的时间和空间消耗，提高鲁棒性。

【技术实现步骤摘要】
一种图像识别模型的训练方法及图像识别方法
本专利技术涉及人工智能
，具体涉及一种图像识别模型的训练方法及图像识别方法。
技术介绍
细粒度识别也叫精细识别。它与现有的通用图像分析任务不同，细粒度图像识别所需识别的种类更加细致，识别的粒度也更为精细，需要在一个大类中区分出更加细分的子类，对存在细微差别的物体进行区分和识别。例如，通用图像分类只需要区分出“鸟”和“花”这两个物体大类，而细粒度图像分类则要求对“花”该类类别下细粒度的子类进行区分，即区分出是“月季花”还是“玫瑰花”。因此，细粒度图像识别要求找出同类别物种的不同子类之间的细微差异，因此，使得它的难度和挑战大大增加。目前来说，细粒度图像识别在生活和工业上都有很广泛的应用场景，它作为一项图像识别技术，是人工智能领域不可或缺的一门重要技术。同时，由于它所区分的粒度更加细致，使得细粒度图像识别技术能大幅度提升现有的识别技术，帮助提高相关上层技术精度。现有的细粒度分类模型，按照其采用的监督信息的强弱，可分为两大类：分别是“基于强监督信息的分类模型”和“基于弱监督信息的分类模型”。其中，基于强监督信息的分类模型在训练的过程中引入了两种额外的人工标注信息，分别是目标标注框和关键部位标注点。对于这两种额外信息，强监督分类模型可以借助目标标注框得到前景对象的检测,排除背景所带来的噪声干扰；而关键部位标注点则可以被用来定位目标具有显著区别的关键点，在这些关键点上就可以高效率地提取出图片的局部特征。因此，通过这两种额外信息所提供的定位，强监督分类模型可以更好地在精准的地方提取出物体信息，排除图片背景和其他物体上无关信息所带来的干扰，得到较高的准确度，达到比较好的效果。而基于弱监督信息的分类模型则相反，它不使用任何额外的人工标注信息，仅仅靠图片和图片的分类标签完成整个算法的训练和学习。这种类型的算法不需要大量人工的投入，在实际应用场景上更为方便简洁。总体来说，基于弱监督信息的分类模型算法的准确度不及基于强监督信息的分类模型算法。但得益于近年来深度学习的发展，基于弱监督信息的分类模型算法引入卷积神经网络来进行训练，其精确度得到了较大的提高，并逐渐成为细粒度图像识别研究的趋势。细粒度识别算法的关键点在于如何挖掘出图片中的细微差别，即局部特征的提取。由于难以找到鉴别性特征，细粒度识别这项任务十分具有挑战性。而对于弱监督类型的细粒度识别算法来说，无法借助人工标注信息准确定位目标位置和关键部位点，只能在图片的基础上进行局部特征的提取。而对于一张图片，提取出来的局部特征非常多，如何在众多的局部特征中排除错误干扰特征，学习到有用的特征，这是一个难题。现有的局部特征提取通常使用枚举的方法，在全图使用不同的步长或尺度截取出部件区域，再对部件区域提出特征。但这种方法十分耗时，而且容易受到背景信息的干扰而提取出大量对识别无用的区域特征。另外，图片不同的光照情况、不当的拍摄角度也会对弱监督类型的细粒度识别造成干扰。在这些情况下，弱监督类型的细粒度识别的准确度较低，且鲁棒性较差。因此，弱监督类型的细粒度识别要实现较好的鲁棒性和较高的识别率仍有较大的挑战性。
技术实现思路
为解决现有技术中的问题，本专利技术实施例提供一种图像识别模型的训练方法及图像识别方法。第一方面，本专利技术实施例提供一种图像识别模型的训练方法，包括：记录样本图片的第一图像矩阵后，将所述样本图片进行切分及打乱，从而获取打乱后所述样本图片的第二图像矩阵；将所述第一图像矩阵输入到第一卷积神经网络，通过所述第一卷积神经网络提取第一图片特征及获取第一图片分类结果；以及，将所述第二图像矩阵输入到第二卷积神经网络，通过所述第二卷积神经网络提取第二图片特征及获取第二图片分类结果；根据所述第一图片特征和所述第二图片特征求解预设的蒸馏损失函数，所述蒸馏损失函数越小表示所述第一卷积神经网络和所述第二卷积神经网络在特征计算流程上越接近；以及，根据所述第一图片分类结果和所述第二图片分类结果求解预设的分类损失函数，所述分类损失函数越小表示所述第一卷积神经网络和所述第二卷积神经网络在分类结果上越接近真值；通过不断优化所述蒸馏损失函数及所述分类损失函数进行所述第一卷积神经网络和所述第二卷积神经网络的优化，在所述蒸馏损失函数小于预设第一阈值以及所述分类损失函数小于预设第二阈值时训练结束，从而获取训练好的由所述第一卷积神经网络和所述第二卷积神经网络所构建的图像识别模型。进一步地，所述将所述样本图片进行切分及打乱，具体包括：首先，将图像分割成多个图像块；然后，先进行行方向上所述图像块的打乱操作，再进行列方向上所述图像块的打乱操作；或，先进行列方向上所述图像块的打乱操作，再进行行方向上所述图像块的打乱操作。进一步地，所述进行行方向上所述图像块的打乱操作，包括：对于每一行的每个所述图像块，在预设的第一步长范围内，根据第一随机变量的值，与对应位置的所述图像块进行行方向上位置的互换；所述进行列方向上所述图像块的打乱操作，包括：对于每一列的每个所述图像块，在预设的第二步长范围内，根据第二随机变量的值，与对应位置的所述图像块进行列方向上位置的互换。进一步地，所述根据所述第一图片特征和所述第二图片特征求解预设的蒸馏损失函数，包括：根据所述第一卷积神经网络中卷积层相邻两层所提取的所述第一图片特征获取全局流矩阵，根据所述第二卷积神经网络中卷积层相邻两层所提取的所述第二图片特征获取局部流矩阵；通过计算所述全局流矩阵和所述局部流矩阵的L2范数距离，求解预设的所述蒸馏损失函数。进一步地，通过相邻两层的图片特征得到的所述全局流矩阵和所述局部流矩阵的表达式为：其中，F1∈Rh×w×m表示相邻两层中上面c1层的图片特征，F2∈Rh×w×m表示相邻两层中下面c2层的图片特征，h,w,m分别表示图片特征的高度、宽度和通道数，s表示图片高度特征的序号，t表示图片宽度特征的序号，x表示输入的图片，W表示神经网络的权重参数。进一步地，所述蒸馏损失函数的表达式为：其中，Wglobal表示全局流矩阵，Wlocal表示局部流矩阵，Lflow(Wglobal,Wlocal)表示根据全局流矩阵和局部流矩阵得到的蒸馏损失函数；λ1表示权重系数；l表示流矩阵的序号，所述流矩阵包括所述全局流矩阵和所述局部流矩阵；n表示针对一张图片所述流矩阵的个数，其中，所述全局流矩阵和所述局部流矩阵的个数相同；x表示输入的图片；N表示图片个数；表示x图片的第l个全局流矩阵；表示x图片的第l个局部流矩阵；表示L2范数距离计算。第二方面，本专利技术实施例提供一种基于上述图像识别模型的图像识别方法，包括：记录输入图片的第一图像矩阵后，将所述输入图片进行切分及打乱，从而获取打乱后所述输入图片的第二图像矩阵；将所述第一图像矩阵输入到所述第一卷积神经网络，通过所述第一卷积神经网络获取全连接层的第一输出向量；以及，将所述第二图像矩阵输入到所述第二卷积神经网络，通过所述第二卷积神经网络获取全连接层的第二输出向量；根据所述第一输出向量和所述第二输出向量得到本文档来自技高网...

【技术保护点】
1.一种图像识别模型的训练方法，其特征在于，包括：/n记录样本图片的第一图像矩阵后，将所述样本图片进行切分及打乱，从而获取打乱后所述样本图片的第二图像矩阵；/n将所述第一图像矩阵输入到第一卷积神经网络，通过所述第一卷积神经网络提取第一图片特征及获取第一图片分类结果；以及，将所述第二图像矩阵输入到第二卷积神经网络，通过所述第二卷积神经网络提取第二图片特征及获取第二图片分类结果；/n根据所述第一图片特征和所述第二图片特征求解预设的蒸馏损失函数，所述蒸馏损失函数越小表示所述第一卷积神经网络和所述第二卷积神经网络在特征计算流程上越接近；以及，根据所述第一图片分类结果和所述第二图片分类结果求解预设的分类损失函数，所述分类损失函数越小表示所述第一卷积神经网络和所述第二卷积神经网络在分类结果上越接近真值；/n通过不断优化所述蒸馏损失函数及所述分类损失函数进行所述第一卷积神经网络和所述第二卷积神经网络的优化，在所述蒸馏损失函数小于预设第一阈值以及所述分类损失函数小于预设第二阈值时训练结束，从而获取训练好的由所述第一卷积神经网络和所述第二卷积神经网络所构建的图像识别模型。/n

【技术特征摘要】
1.一种图像识别模型的训练方法，其特征在于，包括：
记录样本图片的第一图像矩阵后，将所述样本图片进行切分及打乱，从而获取打乱后所述样本图片的第二图像矩阵；
将所述第一图像矩阵输入到第一卷积神经网络，通过所述第一卷积神经网络提取第一图片特征及获取第一图片分类结果；以及，将所述第二图像矩阵输入到第二卷积神经网络，通过所述第二卷积神经网络提取第二图片特征及获取第二图片分类结果；
根据所述第一图片特征和所述第二图片特征求解预设的蒸馏损失函数，所述蒸馏损失函数越小表示所述第一卷积神经网络和所述第二卷积神经网络在特征计算流程上越接近；以及，根据所述第一图片分类结果和所述第二图片分类结果求解预设的分类损失函数，所述分类损失函数越小表示所述第一卷积神经网络和所述第二卷积神经网络在分类结果上越接近真值；
通过不断优化所述蒸馏损失函数及所述分类损失函数进行所述第一卷积神经网络和所述第二卷积神经网络的优化，在所述蒸馏损失函数小于预设第一阈值以及所述分类损失函数小于预设第二阈值时训练结束，从而获取训练好的由所述第一卷积神经网络和所述第二卷积神经网络所构建的图像识别模型。


2.根据权利要求1所述的图像识别模型的训练方法，其特征在于，所述将所述样本图片进行切分及打乱，具体包括：
首先，将图像分割成多个图像块；然后，先进行行方向上所述图像块的打乱操作，再进行列方向上所述图像块的打乱操作；或，先进行列方向上所述图像块的打乱操作，再进行行方向上所述图像块的打乱操作。


3.根据权利要求2所述的图像识别模型的训练方法，其特征在于，所述进行行方向上所述图像块的打乱操作，包括：对于每一行的每个所述图像块，在预设的第一步长范围内，根据第一随机变量的值，与对应位置的所述图像块进行行方向上位置的互换；
所述进行列方向上所述图像块的打乱操作，包括：对于每一列的每个所述图像块，在预设的第二步长范围内，根据第二随机变量的值，与对应位置的所述图像块进行列方向上位置的互换。


4.根据权利要求1所述的图像识别模型的训练方法，其特征在于，所述根据所述第一图片特征和所述第二图片特征求解预设的蒸馏损失函数，包括：
根据所述第一卷积神经网络中卷积层相邻两层所提取的所述第一图片特征获取全局流矩阵，根据所述第二卷积神经网络中卷积层相邻两层所提取的所述第二图片特征获取局部流矩阵；
通过计算所述全局流矩阵和所述局部流矩阵的L2范数距离，求解预设的所述蒸馏损失函数。


5.根据权利要求4所述的图像...

【专利技术属性】
技术研发人员：陈嘉敏，王金桥，唐明，胡建国，招继恩，朱贵波，赵朝阳，林格，
申请(专利权)人：杰创智能科技股份有限公司，
类型：发明
国别省市：广东;44