一种基于块检测器及特征融合的卷积神经网络的细粒度图像识别方法及系统技术方案

本发明专利技术公开了一种基于块检测器及特征融合的卷积神经网络的细粒度图像识别方法及系统，包括以下步骤：首先获取局部特征和全局特征；对全局特征可直接分类得到loss1；然后对局部特征和全局特征分别用一个块检测器进行过滤，得到局部过滤特征以及全局过滤特征；对得到的局部过滤特征进行全局最大池化，获取局部辨别性特征块，该局部辨别性特征块可直接分类得到loss2；此外构建一个特征融合流对局部过滤特征和全局过滤特征进行融合，获得一个层级多层表征，可直接分类得到loss3；引入了一个注意力跨层池化方法对网络进行滤波监督，得到loss4；最后对上述4个loss加权求和得到总loss，能够有效实现细粒度图像识别。

【技术实现步骤摘要】
一种基于块检测器及特征融合的卷积神经网络的细粒度图像识别方法及系统
本专利技术属于计算机视觉与模式识别
，特别涉及一种基于块检测器及特征融合的卷积神经网络的细粒度图像识别方法及系统。
技术介绍
与日剧增的图像数据，使得图像处理技术在现代生活中越发至关重要。其中细粒度图像识别问题具有越来越大的理论研究价值与实际应用价值。目前现有的细粒度识别问题主要有以下几个问题：(1)一部分方法利用局部定位网络来学习具有辨别性的局部特征块，但此类方法依赖大量额外的人工部位标注信息，这耗费了大量的时间和资源，并且人工标注并不具有较好的客观性；(2)另一部分方法在主网络结构中嵌入不同子网络，以此获取不同细粒度特征表示，从而辅助主网络学习到更好的细粒度特征，虽然这些方法取得了不错的成绩，但需要轮流优化子网络，网络的优化调整较为复杂；(3)目前细粒度识别任务中的卷积神经网络几乎只采用了低级特征，这不足以细粒度图像分类的特征表示，因此挖掘更高级的特征还有很多提升空间。综上，亟需一种新的细粒度图像识别方法及系统。
技术实现思路
本专利技术的目的在于提供一种基于块检测器及特征融合的卷积神经网络的细粒度图像识别方法及系统，以解决上述存在的一个或多个技术问题。本专利技术利用局部块检测器模块让网络自主挖掘出不同类中最具有辨别性的局部特征块；并结合特征融合模块完成特征块之间的交互，获得层级特征表征，这促进了网络的分类性能，可有效实现细粒度图像识别。为达到上述目的，本专利技术采用以下技术方案：本专利技术的一种基于块检测器及特征融合的卷积神经网络的细粒度图像识别方法，包括以下步骤：步骤1，提取待识别细粒度图像的局部特征和全局特征；对全局特征进行分类，获得包含全局信息的分类损失loss1；步骤2，通过局部块检测器对步骤1获得的局部特征进行卷积过滤，获得局部过滤特征；根据获得的局部过滤特征获得局部向量VL；根据局部向量VL对局部过滤特征进行分类，获得包含局部块级别信息的分类损失loss2；其中，所述局部块检测器为卷积滤波器，用于寻找最具有辨别性的局部特征块；步骤3，通过全局块检测器对步骤1获得的全局特征进行卷积过滤，获得全局过滤特征；对步骤2获得的局部过滤特征进行平均池化，获得与全局过滤特征大小一致的局部过滤特征；其中，所述全局块检测器为卷积滤波器，用于获取全局过滤特征；步骤4，将步骤3获得的局部过滤特征和全局过滤特征进行融合，获得融合交互特征；对所述融合交互特征进行分类，获得包含层级特征表征的分类损失loss3；步骤6，对分类损失loss1、分类损失loss2和分类损失loss3进行加权求和，获得最终的分类结果和总损失，完成细粒度图像识别。本专利技术的进一步改进在于，在步骤4和步骤6之间还包括步骤5；步骤5，根据步骤3获得的全局过滤特征获得一个全局向量VG；将所述全局向量VG和步骤2中获得的局部向量VL进行池化，实现对网络的辅助监督，获得包含滤波监督损失loss4；步骤6具体为：对分类损失loss1、分类损失loss2、分类损失loss3和分类损失loss4进行加权求和，获得最终的分类结果和总损失，完成细粒度图像识别。本专利技术的进一步改进在于，步骤1具体步骤包括：将待识别细粒度图像输入卷积神经骨架网络，从卷积神经骨架网络中提取不同层的特征，获得局部特征和全局特征；用一个全连接层对所述全局特征进行分类，获得包含全局信息的分类损失loss1。本专利技术的进一步改进在于，步骤2中具体包括：将得到的局部过滤特征经过一个全局最大池化层，获得局部向量VL；局部向量VL经过一个全连接层进行分类，获得包含局部块级别信息的分类损失loss2。本专利技术的进一步改进在于，步骤2具体包括以下步骤：步骤2.1，局部块检测器标记为一个1×1×(k·n)的卷积滤波器；其中，1×1是卷积核大小，k·n是通道数；n是类别数，k是每一类别中最具辨别力的局部块数；步骤2.2，利用局部块检测器对提取得到的局部特征进行卷积，用于检测具有辨别性的局部特征块；获得一个局部过滤特征其中，是获取局部过滤特征L的映射函数，CL、HL和WL分别是局部过滤特征L的通道数、高和宽，并且CL＝k·n；步骤2.3，局部过滤特征L经过一个全局最大池化层，获得局部向量VL，VL经过一个全连接层进行分类，获得包含局部块级别信息的分类损失loss2。本专利技术的进一步改进在于，步骤3和步骤4中，获得包含层级特征表征的分类损失loss3的具体步骤包括：利用全局块检测器对提取得到的全局特征进行卷积，获得全局过滤特征其中全局块检测器的形状大小与步骤2.1中的局部块检测器一致，标记为1×1×(k·n)的卷积滤波器；是获取全局过滤特征G的映射函数，CG、HG和WG分别是全局过滤特征G的通道数、高和宽，并且CG＝k·n；对局部过滤特征L进行平均池化，获得使得的大小和全局过滤特征G一致，利用元素间的乘法执行特征融合，获得融合交叉特征对融合交叉特征F的每个通道上取平均值，得到为：式中，其中c＝1,…,CG；i＝1,…,HG；j＝1,…,WG；随后对进行l2归一化处理，获得将送入一个全连接层进行分类，获得包含多层表征的分类损失loss3。本专利技术的进一步改进在于，步骤5中，获得包含滤波监督损失loss4的具体步骤包括：对全局过滤特征G进行全局平均池化，获得全局向量VG，对局部向量VL和全局向量VG进行元素间的相加，获得V＝VL+VG，对V进行形变，得到其中i＝1,…,n；引入一个注意力机制，对每一类自动学习不同的权值；将学习的权值分配给该类不同局部特征块并进行加权求和，使得每一类的不同局部特征块表现出不同权重的影响；权值标记为其中i＝1,…,n；所有权值被初始化为1/k；W会在训练过程中通过反向传播不断被更新，收敛至最佳值；将V和W进行加权求和得到a，计算表示式为：a＝(V⊙W)1k×1式中，⊙是元素间相乘，1k×1表示每k×1的向量间进行操作；将a直接作为分类结果，获得包含滤波监督损失loss4。本专利技术的进一步改进在于，步骤6中，获得总loss的具体步骤包括：总loss的计算式为：loss＝loss1+loss2+loss3+0.1×loss4；根据获得的总loss，迭代训练网络，直至收敛。本专利技术的一种基于块检测器及特征融合的卷积神经网络的细粒度图像识别系统，包括：卷积神经骨架网络，用于提取局部特征和全局特征；其中，全局特征直接用于分类并获取loss1；局部块检测器模块，用于获取局部过滤特征，并挖掘最具辨别性的局部特征块；局部特征块组成局部特征向量直接用于分类并获取loss2；全局块检测器模块，用于获取全局过滤特征；融合模块，用于将获取的局部过滤特征和全局过滤特征进行特征融合，得到一个层级特征表征，所述层级特征表征直接用于分类并获取loss3；总loss求和模块，用于将得到的loss1、loss2和loss3进行加权求和，得到总loss；总loss用于最终的细粒度图像分类。进一步地，还包括：滤波监督模块，用于辅助挖掘局部特征块，并获取到loss4；总loss求和模块，用于将得到的loss1、loss2、loss3和loss4进行加权求和，得到总loss；总loss用于最终的细粒度图像分类。与现有技术相比，本专利技术具有以下有益效果：本专利技术的基于块检测器及特本文档来自技高网...

【技术保护点】
1.一种基于块检测器及特征融合的卷积神经网络的细粒度图像识别方法，其特征在于，包括以下步骤：步骤1，提取待识别细粒度图像的局部特征和全局特征；对全局特征进行分类，获得包含全局信息的分类损失loss1；步骤2，通过局部块检测器对步骤1获得的局部特征进行卷积过滤，获得局部过滤特征；根据获得的局部过滤特征获得局部向量VL；根据局部向量VL对局部过滤特征进行分类，获得包含局部块级别信息的分类损失loss2；其中，所述局部块检测器为卷积滤波器，用于寻找最具有辨别性的局部特征块；步骤3，通过全局块检测器对步骤1获得的全局特征进行卷积过滤，获得全局过滤特征；对步骤2获得的局部过滤特征进行平均池化，获得与全局过滤特征大小一致的局部过滤特征；其中，所述全局块检测器为卷积滤波器，用于获取全局过滤特征；步骤4，将步骤3获得的局部过滤特征和全局过滤特征进行融合，获得融合交互特征；对所述融合交互特征进行分类，获得包含层级特征表征的分类损失loss3；步骤6，对分类损失loss1、分类损失loss2和分类损失loss3进行加权求和，获得最终的分类结果和总损失，完成细粒度图像识别。

【技术特征摘要】
1.一种基于块检测器及特征融合的卷积神经网络的细粒度图像识别方法，其特征在于，包括以下步骤：步骤1，提取待识别细粒度图像的局部特征和全局特征；对全局特征进行分类，获得包含全局信息的分类损失loss1；步骤2，通过局部块检测器对步骤1获得的局部特征进行卷积过滤，获得局部过滤特征；根据获得的局部过滤特征获得局部向量VL；根据局部向量VL对局部过滤特征进行分类，获得包含局部块级别信息的分类损失loss2；其中，所述局部块检测器为卷积滤波器，用于寻找最具有辨别性的局部特征块；步骤3，通过全局块检测器对步骤1获得的全局特征进行卷积过滤，获得全局过滤特征；对步骤2获得的局部过滤特征进行平均池化，获得与全局过滤特征大小一致的局部过滤特征；其中，所述全局块检测器为卷积滤波器，用于获取全局过滤特征；步骤4，将步骤3获得的局部过滤特征和全局过滤特征进行融合，获得融合交互特征；对所述融合交互特征进行分类，获得包含层级特征表征的分类损失loss3；步骤6，对分类损失loss1、分类损失loss2和分类损失loss3进行加权求和，获得最终的分类结果和总损失，完成细粒度图像识别。2.根据权利要求1所述的一种基于块检测器及特征融合的卷积神经网络的细粒度图像识别方法，其特征在于，在步骤4和步骤6之间还包括步骤5；步骤5，根据步骤3获得的全局过滤特征获得一个全局向量VG；将所述全局向量VG和步骤2中获得的局部向量VL进行池化，实现对网络的辅助监督，获得包含滤波监督损失loss4；步骤6具体为：对分类损失loss1、分类损失loss2、分类损失loss3和分类损失loss4进行加权求和，获得最终的分类结果和总损失，完成细粒度图像识别。3.根据权利要求1所述的一种基于块检测器及特征融合的卷积神经网络的细粒度图像识别方法，其特征在于，步骤1具体步骤包括：将待识别细粒度图像输入卷积神经骨架网络，从卷积神经骨架网络中提取不同层的特征，获得局部特征和全局特征；用一个全连接层对所述全局特征进行分类，获得包含全局信息的分类损失loss1。4.根据权利要求1所述的一种基于块检测器及特征融合的卷积神经网络的细粒度图像识别方法，其特征在于，步骤2中具体包括：将得到的局部过滤特征经过一个全局最大池化层，获得局部向量VL；局部向量VL经过一个全连接层进行分类，获得包含局部块级别信息的分类损失loss2。5.根据权利要求2所述的一种基于块检测器及特征融合的卷积神经网络的细粒度图像识别方法，其特征在于，步骤2具体包括以下步骤：步骤2.1，局部块检测器标记为一个1×1×(k·n)的卷积滤波器；其中，1×1是卷积核大小，k·n是通道数；n是类别数，k是每一类别中最具辨别力的局部块数；步骤2.2，利用局部块检测器对提取得到的局部特征进行卷积，用于检测具有辨别性的局部特征块；获得一个局部过滤特征其中，是获取局部过滤特征L的映射函数，CL、HL和WL分别是局部过滤特征L的通道数、高和宽，并且CL＝k·n；步骤2.3，局部过滤特征L经过一个全局最大池化层，获得局部向量VL，VL经过一个全连接层进行分类，获得包含局部块级别信息的分类损失loss2。6.根据权利要求...

【专利技术属性】
技术研发人员：王乐，丁日智，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61