基于显著性分支特征融合的细粒度图像分类方法及系统技术方案

本发明专利技术公开一种基于显著性分支特征融合的细粒度图像分类方法及系统，该方法首先采用M种不同的显著性检测方式分别对细粒度图像进行显著性检测，获得多张具有不同显著性的显著性图；再通过构建多分支细粒度图像分类模型，实现同时对细粒度图像以及多张显著性图像进行特征提取，显著提高了方法的效率；然后利用多张显著性特征图分别对细粒度特征图进行特征调制，以使获得的调制特征图能对更多有差异的区域给予更高的注意力，以有效克服现有技术中仅专注于某一图像特征而导致对细粒度图像分类效果不佳的问题；最后对多张调制特征图进行融合并根据融合特征图进行图像分类，融合以获得更加全面的图像特征可有效提高分类的精度。

【技术实现步骤摘要】
基于显著性分支特征融合的细粒度图像分类方法及系统
本专利技术涉及无人机自主降落
，尤其是一种基于显著性分支特征融合的细粒度图像分类方法及系统。
技术介绍
细粒度图像分类又被称为子类别图像分类，其目的是对属于同一基础类别的图像(汽车、狗、花、鸟、蔬果)进行更加细致的子类划分，但由于子类别间细微的类间差异以及较大的类内差异，较之普通的图像分类任务，细粒度图像分类难度更大。细粒度图像容易受姿态、光照、遮挡、背景干扰等诸多不确定因素的影响，使得子类别具有类间相似度大而类内相似度较小的特点。细粒度图像的信噪比很小，包含足够区分度的信息往往只存在于很细小的局部区域中。目前的细粒度图像分类方法都专注于一个较为单一的方面，如颜色特征、纹理特征、形状特征、运动特征、局部特征、图像频率等，或者说他们生成显著性图的方式各有不同，因而取得的效果比较有局限，在许多情况下对细粒度图像的分类精度较低。
技术实现思路
本专利技术提供一种基于显著性分支特征融合的细粒度图像分类方法及系统，用于克服现有技术中对细粒度图像分类精度低等缺陷。为实现上述目的，本专利技术提出一种基于显著性分支特征融合的细粒度图像分类方法，包括：获取细粒度图像；采用M种不同的显著性检测方式分别对细粒度图像进行显著性检测，获得M张具有不同显著性的显著性图，M≥1；构建多分支细粒度图像分类模型，所述多分支细粒度图像分类模型包含主体网络和M+1个输入分支；将细粒度图像以及与细粒度图像对应的M张显著性图分别输入训练好的多分支细粒度图像分类模型的M+1个输入分支中；利用所述输入分支对输入的细粒度图像和显著性图进行特征提取，获得细粒度特征图和M张显著性特征图；通过所述主体网络，利用所述M张显著性特征图分别对所述细粒度特征图进行特征调制，得到M张调制特征图，对所述M张调制特征图进行融合得到融合特征图，并根据所述融合特征图，获得细粒度图像的类别。为实现上述目的，本专利技术还提出一种基于显著性分支特征融合的细粒度图像分类系统，包括：细粒度图像获取模块，用于获取细粒度图像；显著性检测模块，用于采用M种不同的显著性检测方式分别对细粒度图像进行显著性检测，获得M张具有不同显著性的显著性图，M≥1；模型构建模块，用于构建多分支细粒度图像分类模型，所述多分支细粒度图像分类模型包含主体网络和M+1个输入分支；分类模块，用于将细粒度图像以及与细粒度图像对应的M张显著性图分别输入训练好的多分支细粒度图像分类模型的M+1个输入分支中；利用所述输入分支对输入的细粒度图像和显著性图进行特征提取，获得细粒度特征图和M张显著性特征图；通过所述主体网络，利用所述M张显著性特征图分别对所述细粒度特征图进行特征调制，得到M张调制特征图，对所述M张调制特征图进行融合得到融合特征图，并根据所述融合特征图，获得细粒度图像的类别。为实现上述目的，本专利技术还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。为实现上述目的，本专利技术还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的方法的步骤。与现有技术相比，本专利技术的有益效果有：本专利技术提供的基于显著性分支特征融合的细粒度图像分类方法为融合了多个显著性分支特征的细粒度图像分类方法，首先采用M种不同的显著性检测方式分别对细粒度图像进行显著性检测，获得多张具有不同显著性的显著性图；再通过构建多分支细粒度图像分类模型，实现同时对细粒度图像以及多张显著性图像进行特征提取，显著提高了方法的效率；然后利用多张显著性特征图分别对细粒度特征图进行特征调制，以使获得的调制特征图能对更多有差异的区域给予更高的注意力，以有效克服现有技术中仅专注于某一图像特征而导致对细粒度图像分类效果不佳的问题；最后对多张调制特征图进行融合并根据融合特征图进行图像分类，融合以获得更加全面的图像特征可有效提高分类的精度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本专利技术提供的基于显著性分支特征融合的细粒度图像分类方法的流程图；图2为本专利技术实施例中构建的多分支细粒度图像分类模型的结构图；图3为本专利技术实施例中多分支细粒度图像分类模型中主体网络的工作流程图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。另外，本专利技术各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。本专利技术提出一种基于显著性分支特征融合的细粒度图像分类方法，如图1所示，包括：101：获取细粒度图像；细粒度图像，为属于同一基础类别的图像。102：采用M种不同的显著性检测方式分别对细粒度图像进行显著性检测，获得M张具有不同显著性的显著性图，M≥1；图像的显著性凸显人类对信息丰富区域的关注度，表示图像中的不同区域所呈现的不同视觉感受。M种不同的显著性检测方式均采用现有的检测方式，根据不同的显著性增强点选择相应最优的检测方式，以保证获得的显著性图的准确性。M张具有不同显著性的显著性图，即每张显著性图的显著性不同，不同显著性包括颜色显著、纹理显著、形状显著等等。103：构建多分支细粒度图像分类模型，所述多分支细粒度图像分类模型包含主体网络和M+1个输入分支；细粒度图像经过输入分支进入到主体网络中。104：将细粒度图像以及与细粒度图像对应的M张显著性图分别输入训练好的多分支细粒度图像分类模型的M+1个输入分支中；1个输入分支中输入一张图像(细粒度图像或者显著性图)。105：利用输入分支对输入的细粒度图像和显著性图进行特征提取，获得细粒度特征图和M张显著性特征图；每个输入分支输出一张特征图，其中1个输入分支(RGB分支)用于对细粒度图像进行特征提取，另外M个输入分支(显著性分支)用于分别对M张显著性图进行特征提取。106：通过主体网络，利用M张显著性特征图分别对细粒度特征图进行特征调制，得到M张调制特征图，对M张调制特征图进行融合得到融合特征图，并根据融合特征图，获得细粒度图像的类别。本专利技术提供的基本文档来自技高网...

【技术保护点】
1.一种基于显著性分支特征融合的细粒度图像分类方法，其特征在于，包括：/n获取细粒度图像；/n采用M种不同的显著性检测方式分别对细粒度图像进行显著性检测，获得M张具有不同显著性的显著性图，M≥1；/n构建多分支细粒度图像分类模型，所述多分支细粒度图像分类模型包含主体网络和M+1个输入分支；/n将细粒度图像以及与细粒度图像对应的M张显著性图分别输入训练好的多分支细粒度图像分类模型的M+1个输入分支中；/n利用所述输入分支对输入的细粒度图像和显著性图进行特征提取，获得细粒度特征图和M张显著性特征图；/n通过所述主体网络，利用所述M张显著性特征图分别对所述细粒度特征图进行特征调制，得到M张调制特征图，对所述M张调制特征图进行融合得到融合特征图，并根据所述融合特征图，获得细粒度图像的类别。/n

【技术特征摘要】
1.一种基于显著性分支特征融合的细粒度图像分类方法，其特征在于，包括：
获取细粒度图像；
采用M种不同的显著性检测方式分别对细粒度图像进行显著性检测，获得M张具有不同显著性的显著性图，M≥1；
构建多分支细粒度图像分类模型，所述多分支细粒度图像分类模型包含主体网络和M+1个输入分支；
将细粒度图像以及与细粒度图像对应的M张显著性图分别输入训练好的多分支细粒度图像分类模型的M+1个输入分支中；
利用所述输入分支对输入的细粒度图像和显著性图进行特征提取，获得细粒度特征图和M张显著性特征图；
通过所述主体网络，利用所述M张显著性特征图分别对所述细粒度特征图进行特征调制，得到M张调制特征图，对所述M张调制特征图进行融合得到融合特征图，并根据所述融合特征图，获得细粒度图像的类别。


2.如权利要求1所述的基于显著性分支特征融合的细粒度图像分类方法，其特征在于，所述M种不同的显著性检测方式的显著性增强点各不相同，所述显著性增强点为颜色特征增强、纹理特征增强、形状特征增强、亮度特征增强、方位特征增强、运动特征增强、局部特征增强和图像频率增强中的至少一种。


3.如权利要求2所述的基于显著性分支特征融合的细粒度图像分类方法，其特征在于，采用M种不同的显著性检测方式分别对细粒度图像进行显著性检测，获得M张具有不同显著性的显著性图，包括：
采用3种不同的显著性检测方式分别对细粒度图像进行显著性检测，获得3张具有不同显著性的显著性图。


4.如权利要求3所述的基于显著性分支特征融合的细粒度图像分类方法，其特征在于，所述3种不同的显著性检测方式分别为Iseel显著性检测、Itti-Koch显著性检测和BMS显著性检测；
所述Iseel显著性检测基于两方面生成显著性图，一方面场景的背景信息和低级视觉特征一起调节注意力，另一方面场景记忆性对由于场景与先前视觉体验相似而引起的眼球运动模式的影响；
所述Itti-Koch显著性检测从视觉输入中生成多个对应于多尺度图像特征的激活映射，并将多个激活映射组合成单一的显著性图；
所述BMS显著性检测通过分析布尔图的拓扑结构来获得显著性，通过对图像的颜色通道进行随机阈值化而生成显著性图。


5.如权利要求1所述的基于显著性分支特征融合的细粒度图像分类方法，其特征在于，所述输入分支包括2个卷积层，用于对输入的图像进行特征提取；
所述主体网络依次包括M个并行的特征调制层、3个卷积层、2个全连接层和1个softmax输出层，每个所述特征调制层后面均连接1个最大池化层；
所述特征调制层用于利用显著性图对细粒度特征图进行特征调制，获得调制特征图；
所述最大池化...

【专利技术属性】
技术研发人员：邓泽林，秦平越，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：湖南;43