细粒度图像识别方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了一种细粒度图像识别方法、装置、计算机设备及存储介质，本发明专利技术中公开的方法包括：获取图像样本，并对图像分类属性进行标注；构建双线性卷积神经网络模型，将所述图像样本导入所述双线性卷积神经网络模型中训练，并获得细粒度图像识别模型；从排序和所属类别两个方面对所述细粒度图像识别模型进行约束；通过所述细粒度图像识别模型对待识别图像进行分类识别；本发明专利技术提出的方法，通过训练双线性卷积神经网络细粒度识别模型对图形进行分类，2个并联的卷积神经网络CNN A和卷积神经网络CNN B可以同时完成区域检测和特征提取，在节省人力成本的同时，提高了分类识别的准确率。

Fine-grained image recognition method, device, computer equipment and storage medium

【技术实现步骤摘要】
细粒度图像识别方法、装置、计算机设备及存储介质
本专利技术涉及计算机图像识别
，具体涉及一种细粒度图像识别方法、装置、计算机设备及存储介质。
技术介绍
细粒度图像识别是目前计算机视觉领域非常热门的研究课题，细粒度图像识别的目的在于正确识别一个大类中的不同小类，例如不同类别型号的车辆、不同类别的鸟类等。细粒度图像识别的关键在于寻找存在细微差别的局部区域。相较于现有的粗粒度识别，细粒度图像识别对图像细分类识别更加精准。目前，传统图像识别算法存在对图像细分类识别准确率不高、依赖人工标注等问题。
技术实现思路
本专利技术的主要目的是提供一种细粒度图像识别方法、装置、计算机设备及存储介质，旨在解决传统图像识别算法存在对图像细分类识别准确率不高、依赖人工标注等问题。为实现上述目的，本专利技术提供一种细粒度图像识别方法，包括如下步骤：获取图像样本，并对图像分类属性进行标注；构建双线性卷积神经网络模型；将所述图像样本导入所述双线性卷积神经网络模型中训练，并获得细粒度图像识别模型，其中，所述双线性卷积神经网络模型包括依次连接的：2个并联的卷积神经网络CNNA和卷积神经网络CNNB、双线性池化层Bilinearpooling、归一化层LN和全连接层Fc；从排序和所属类别两个方面对所述细粒度图像识别模型进行约束；通过所述细粒度图像识别模型对通过图像采集模块获取的待识别图像进行分类识别。优选的，所述获取图像样本，并对图像分类属性进行标注与所述构建双线性卷积神经网络模型，之间还包括：对所述图像样本做预处理，其中，所述预处理包括直方图均衡化、图像二值化。优选的，所述将所述图像样本导入基于双线性卷积神经网络细粒度图像识别模型中训练，并获得细粒度图像识别模型，还包括：将所述图像样本分别导入所述卷积神经网络CNNA和所述卷积神经网络CNNB，其中，所述卷积神经网络CNNA包括多个依次连接的卷池组；所述卷积神经网络CNNB也包括多个依次连接的所述卷池组；所述卷池组包括依次连接的卷积层Conv和池化层Pool；通过所述卷积层Conv对所述图像样本进行卷积操作，并通过激活函数计算卷积的输出；通过所述池化层Pool对完成卷积操作的图像进行下采样操作以减少图像尺寸大小；所述卷积神经网络CNNA输出特征向量X1，所述卷积神经网络CNNB输出特征向量X2；将所述特征向量X1和所述特征向量X2均输入所述双线性池化层Bilinearpooling；所述双线性池化层Bilinearpooling采用外积形式将所述特征向量X1和所述特征向量X2进行融合，并得到融合后的特征向量X1TX2；将所述特征向量X1TX2输入所述归一化层LN，所述归一化层LN对所述特征向量X1TX2进行快速收敛；将收敛后的所述特征向量X1TX2输入全连接层Fc，所述全连接层Fc对收敛后的所述特征向量X1TX2进行分类。优选的，若所述卷积神经网络CNNA和所述卷积神经网络CNNB为相同的卷积神经网络，则所述特征向量X1＝所述特征向量X2；取X＝X1＝X2，则所述特征向量X1TX2为XTX；所述全连接层Fc对收敛后的所述特征向量X1TX2进行分类，还包括：所述全连接层Fc计算所述特征向量X1TX2所属各类别的分数；其中，计算所属各类别的分数的公式为：sk＝(vecWk)T(vecXXT)+bk其中，Sk为所属各类别的分数，k＝1，2，...，K，K是所有的类别数，WK表示第k类的参数矩阵，bk是偏置值；XXT∈RD*D。优选的，所述从排序和所属类别两个方面对所述细粒度图像识别模型进行约束，其中，融合损失函数表达式为：L＝L1+λL2其中，L为融合损失函数，L1为分类损失函数，L2为排序损失函数，λ是L2的权重值；n为训练数据类别的总数；M为样本属性个数；Xi表示第i张图片的特征图；若所述图像样本为一个三元组q,将距离目标图像位置近的图像设置为潜在正样本而距离较远的图像设置成负样本那么在潜在的正样本中至少存在一个最佳匹配图像即采用弱监督排序损失函数完成对模型的训练，排序损失函数表达式为：其中，l是一个转折函数l(x)＝max(x,0)，m是一个常量用来作为边界；表示训练样本到潜在正样本的欧式距离。此外，为实现上述目的，本专利技术还提供一种细粒度图像识别装置，应用如上述任一项所述的细粒度图像识别方法，所述细粒度图像识别装置包括：图像采集模块、图像获取模块、识别模型模块、模型约束模块和图像识别模块；所述图像采集模块，用于获取待识别图像；所述图像获取模块，用于获取图像样本，并对图像分类属性进行标注；所述识别模型模块，用于构建双线性卷积神经网络模型，并将所述图像样本导入所述双线性卷积神经网络模型中训练，并获得细粒度图像识别模型，其中，所述双线性卷积神经网络模型包括依次连接的：2个并联的卷积神经网络CNNA和卷积神经网络CNNB、双线性池化层Bilinearpooling、归一化层LN和全连接层Fc；所述模型约束模块，用于从排序和所属类别两个方面对所述细粒度图像识别模型进行约束；所述图像识别模块，用于采用细粒度识别模型对图像进行分类识别。此外，为实现上述目的，本专利技术还提供一种计算机设备，包括：存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时实现如上述任一项所述的细粒度图像识别方法的步骤。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的细粒度图像识别方法的步骤。通过上述技术方案，通过训练双线性卷积神经网络细粒度识别模型对图形进行分类，2个并联的卷积神经网络CNNA和卷积神经网络CNNB可以同时完成区域检测和特征提取，在节省人力成本的同时，提高了分类识别的准确率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本专利技术细粒度图像识别方法第一实施例的流程示意图；图2为本专利技术细粒度图像识别方法第四实施例中的双线性卷积神经网络模型的结构示意图；图3为本专利技术细粒度图像识别装置一实施例的结构示意图；图4为本专利技术计算机设备一实施例的模块结构示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提出一种细粒度图像识别方法、装置、计算机设备及存储介质。请参照本文档来自技高网...

【技术保护点】
1.一种细粒度图像识别方法，其特征在于，包括如下步骤：/n获取图像样本，并对图像分类属性进行标注；/n构建双线性卷积神经网络模型；/n将所述图像样本导入所述双线性卷积神经网络模型中训练，并获得细粒度图像识别模型，其中，所述双线性卷积神经网络模型包括依次连接的：2个并联的卷积神经网络CNN A和卷积神经网络CNN B、双线性池化层Bilinear pooling、归一化层LN和全连接层Fc；/n从排序和所属类别两个方面对所述细粒度图像识别模型进行约束；/n通过所述细粒度图像识别模型对通过图像采集模块获取的待识别图像进行分类识别。/n

【技术特征摘要】
1.一种细粒度图像识别方法，其特征在于，包括如下步骤：
获取图像样本，并对图像分类属性进行标注；
构建双线性卷积神经网络模型；
将所述图像样本导入所述双线性卷积神经网络模型中训练，并获得细粒度图像识别模型，其中，所述双线性卷积神经网络模型包括依次连接的：2个并联的卷积神经网络CNNA和卷积神经网络CNNB、双线性池化层Bilinearpooling、归一化层LN和全连接层Fc；
从排序和所属类别两个方面对所述细粒度图像识别模型进行约束；
通过所述细粒度图像识别模型对通过图像采集模块获取的待识别图像进行分类识别。


2.如权利要求1所述的细粒度图像识别方法，其特征在于，所述获取图像样本，并对图像分类属性进行标注与所述构建双线性卷积神经网络模型，之间还包括：
对所述图像样本做预处理，其中，所述预处理包括直方图均衡化、图像二值化。


3.如权利要求1所述的细粒度图像识别方法，其特征在于，所述将所述图像样本导入基于双线性卷积神经网络细粒度图像识别模型中训练，并获得细粒度图像识别模型，还包括：
将所述图像样本分别导入所述卷积神经网络CNNA和所述卷积神经网络CNNB，其中，所述卷积神经网络CNNA包括多个依次连接的卷池组；所述卷积神经网络CNNB也包括多个依次连接的所述卷池组；所述卷池组包括依次连接的卷积层Conv和池化层Pool；
通过所述卷积层Conv对所述图像样本进行卷积操作，并通过激活函数计算卷积的输出；
通过所述池化层Pool对完成卷积操作的图像进行下采样操作以减少图像尺寸大小；
所述卷积神经网络CNNA输出特征向量X1，所述卷积神经网络CNNB输出特征向量X2；
将所述特征向量X1和所述特征向量X2均输入所述双线性池化层Bilinearpooling；
所述双线性池化层Bilinearpooling采用外积形式将所述特征向量X1和所述特征向量X2进行融合，并得到融合后的特征向量X1TX2；
将所述特征向量X1TX2输入所述归一化层LN，所述归一化层LN对所述特征向量X1TX2进行快速收敛；
将收敛后的所述特征向量X1TX2输入全连接层Fc，所述全连接层Fc对收敛后的所述特征向量X1TX2进行分类。


4.如权利要求3所述的细粒度图像识别方法，其特征在于，若所述卷积神经网络CNNA和所述卷积神经网络CNNB为相同的卷积神经网络，则所述特征向量X1＝所述特征向量X2；取X＝X1＝X2，则所述特征向量X1TX2为XTX；所述全连接层Fc对收敛后的所述特征向量X1TX2进行分类，还包括...

【专利技术属性】
技术研发人员：罗茜，张斯尧，谢喜林，王思远，黄晋，文戎，张诚，
申请(专利权)人：深圳久凌软件技术有限公司，
类型：发明
国别省市：广东;44