一种基于多尺度约束的细粒度车辆图像检索的方法及装置制造方法及图纸

本发明专利技术公开了一种基于多尺度约束的细粒度车辆图像检索的方法及装置，所述方法包括：对第一训练数据集进行多尺度区域信息标注，得到第二训练数据集；基于改进的包围盒约束算法和海伦约束算法对所述第二训练数据集进行处理，得到第三训练数据集；采用所述第三训练数据集训练细粒度神经网络模型的目标参数的参数值，得到训练之后的细粒度神经网络模型；将待识别车辆图像输入训练好的细粒度神经网络模型进行识别，获得与所述待识别车辆图像同类型的目标车辆图像。本发明专利技术相比于现有技术，减少了需预先标注图像类别或选框标注对象位置的工作量，节省成本，提高了效率。

A fine-grained vehicle image retrieval method and device based on multi-scale constraints

【技术实现步骤摘要】
一种基于多尺度约束的细粒度车辆图像检索的方法及装置
本专利技术涉及图像检索
，具体涉及一种基于多尺度约束的细粒度车辆图像检索的方法、装置、终端设备及计算机可读介质。
技术介绍
车辆图像检索是通过输入图像来检索相似图像的一种技术，其主要涉及图像车辆特征提取以及图像车辆特征相似度分析这两大部分。细粒度图像识别是在于寻找图像中存在细微差别的局部区域特征，可以识别一个大类中的不同小类。将细粒度图像识别技术用于车辆图像检索中，可以提取图像细粒度特征并对图像细粒度特征相似性进行分析。与此同时，随着智能城市的不断推进，城市的道路交通安全越来越受到人们的重视。然而，现有车辆图像检索算法对同类型车识别率不高，信息提取不清晰。
技术实现思路
有鉴于此，本专利技术提供了一种基于多尺度约束的细粒度车辆图像检索方法、装置、计算机设备及存储介质，用以解决现有技术对于需要搜索信息的车辆图像定位不准确，信息提取不清晰等问题。本专利技术实施例的第一方面提供了一种基于多尺度约束的细粒度车辆图像检索的方法，包括：对第一训练数据集进行多尺度区域信息标注，得到第二训练数据集；基于改进的包围盒约束算法和海伦约束算法对所述第二训练数据集进行处理，得到第三训练数据集；采用所述第三训练数据集训练细粒度神经网络模型的目标参数的参数值，得到训练之后的细粒度神经网络模型；将待识别车辆图像输入训练好的细粒度神经网络模型进行识别，获得与所述待识别车辆图像同类型的目标车辆图像。进一步地，在所述对第一训练数据集进行多尺度区域信息标注，得到第二训练数据集步骤之前，所述方法还包括：构建基于VGG-m或Alex-Net的细粒度神经网络模型，并采用全局平均池化层代替全连接层；采用ImageNet数据集对所述细粒度神经网络模型进行预训练。进一步地，所述基于改进的包围盒约束算法和海伦约束算法对所述第二训练数据集进行处理的步骤，包括：根据所述第二训练数据集图片中多尺度区域互相包含的关系对检测的结果进行包围盒约束算法优化,筛选出图片中包含目标物体和多尺度目标中心的检测框；采用FASTER-RCNN提取包含物体得分概率分数排序靠前且满足海伦检测约束条件的目标物体和各尺度中心部分检测框。进一步地，所述采用所述第三训练数据集训练细粒度神经网络模型的目标参数的参数值的步骤，包括：所述第三训练数据集中的图像输入细粒度神经网络模型，通过所述细粒度神经网络模型模型最后一层激活卷积层提取图像特征后，输出n个二维特征映射，每个特征映射分布式表示有多个激活响应的特征显著性区域；将所述n个二维特征映射叠加，并设定一个阈值，选取叠加后激活响应高于阈值的区域，得到一个掩映图；采用双三次插值的方法调整所述掩映图的大小，使其与输入图像同样大小，并将掩映图覆盖到输入图像上；选取所述掩映图中所占面积最大的激活响应高于阈值的区域，该区域在输入图像中所对应的区域即为图像主要目标对象位置，激活响应特征即为目标对象的特征。本专利技术实施例的第二方面提供了一种基于多尺度约束的细粒度车辆图像检索的装置，其特征在于，包括：第一获取模块，用于对第一训练数据集进行多尺度区域信息标注，得到第二训练数据集；处理模块，用于基于改进的包围盒约束算法和海伦约束算法对所述第二训练数据集进行处理，得到第三训练数据集；训练模块，用于采用所述第三训练数据集训练细粒度神经网络模型的目标参数的参数值，得到训练之后的细粒度神经网络模型；识别模块，用于将待识别车辆图像输入训练好的细粒度神经网络模型进行识别，获得与所述待识别车辆图像同类型的目标车辆图像。进一步地，所述装置还包括：模型构建模块，用于构建基于VGG-m或Alex-Net的细粒度神经网络模型，并采用全局平均池化层代替全连接层；预训练模块，用于采用ImageNet数据集对所述细粒度神经网络模型进行预训练。进一步地，所述处理模块包括：包围盒约束模块，用于根据所述第二训练数据集图片中多尺度区域互相包含的关系对检测的结果进行包围盒约束算法优化,筛选出图片中包含目标物体和多尺度目标中心的检测框；海伦约束模块，用于采用FASTER-RCNN提取包含物体得分概率分数排序靠前且满足海伦检测约束条件的目标物体和各尺度中心部分检测框。进一步地，所述训练模块包括：提取模块，用于所述第三训练数据集中的图像输入细粒度神经网络模型，通过所述细粒度神经网络模型模型最后一层激活卷积层提取图像特征后，输出n个二维特征映射，每个特征映射分布式表示有多个激活响应的特征显著性区域；叠加模块，用于将所述n个二维特征映射叠加，并设定一个阈值，选取叠加后激活响应高于阈值的区域，得到一个掩映图；调整模块，用于采用双三次插值的方法调整所述掩映图的大小，使其与输入图像同样大小，并将掩映图覆盖到输入图像上；判断模块，用于选取所述掩映图中所占面积最大的激活响应高于阈值的区域，该区域在输入图像中所对应的区域即为图像主要目标对象位置，激活响应特征即为目标对象的特征。本专利技术实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于多尺度约束的细粒度车辆图像检索的方法的步骤。本专利技术实施例的第四方面提供了一种计算机可读介质，所述计算机可读介质存储有计算机程序，所述计算机程序被处理执行时实现上述基于多尺度约束的细粒度车辆图像检索的方法的步骤。在本专利技术实施例中，通过采用细粒度神经网络模型自动定位图像对象的方式，通过深度学习提取图像细粒度特征，并与参照图像特征进行相似度比较，识别与参照图像对象同类的图像。相比于现有技术，减少了需预先标注图像类别或选框标注对象位置的工作量，节省成本，提高了效率。并采用全局平均池化取代全连接层的神经网络模型，减少了模型参数数量，提高了运算速度，更适用于大规模图像集的检索识别。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种基于多尺度约束的细粒度车辆图像检索的方法的流程图；图2是本专利技术实施例提供的一种基于多尺度约束的细粒度车辆图像检索的方法中的海伦约束的示意图；图3是本专利技术实施例提供的基于多尺度约束的细粒度车辆图像检索的装置的结构示意图；图4是本专利技术实施例提供的终端设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省本文档来自技高网...

【技术保护点】
1.一种基于多尺度约束的细粒度车辆图像检索方法，其特征在于，包括：/n对第一训练数据集进行多尺度区域信息标注，得到第二训练数据集；/n基于改进的包围盒约束算法和海伦约束算法对所述第二训练数据集进行处理，得到第三训练数据集；/n采用所述第三训练数据集训练细粒度神经网络模型的目标参数的参数值，得到训练之后的细粒度神经网络模型；/n将待识别车辆图像输入训练好的细粒度神经网络模型进行识别，获得与所述待识别车辆图像同类型的目标车辆图像。/n

【技术特征摘要】
1.一种基于多尺度约束的细粒度车辆图像检索方法，其特征在于，包括：
对第一训练数据集进行多尺度区域信息标注，得到第二训练数据集；
基于改进的包围盒约束算法和海伦约束算法对所述第二训练数据集进行处理，得到第三训练数据集；
采用所述第三训练数据集训练细粒度神经网络模型的目标参数的参数值，得到训练之后的细粒度神经网络模型；
将待识别车辆图像输入训练好的细粒度神经网络模型进行识别，获得与所述待识别车辆图像同类型的目标车辆图像。


2.根据权利要求1所述的基于多尺度约束的细粒度车辆图像检索的方法，其特征在于，在所述对第一训练数据集进行多尺度区域信息标注，得到第二训练数据集步骤之前，所述方法还包括：
构建基于VGG-m或Alex-Net的细粒度神经网络模型，并采用全局平均池化层代替全连接层；
采用ImageNet数据集对所述细粒度神经网络模型进行预训练。


3.根据权利要求2所述的基于多尺度约束的细粒度车辆图像检索的方法，其特征在于，所述基于改进的包围盒约束算法和海伦约束算法对所述第二训练数据集进行处理的步骤，包括：
根据所述第二训练数据集图片中多尺度区域互相包含的关系对检测的结果进行包围盒约束算法优化,筛选出图片中包含目标物体和多尺度目标中心的检测框；
采用FASTER-RCNN提取包含物体得分概率分数排序靠前且满足海伦检测约束条件的目标物体和各尺度中心部分检测框。


4.根据权利要求1所述的基于多尺度约束的细粒度车辆图像检索的方法，其特征在于，所述采用所述第三训练数据集训练细粒度神经网络模型的目标参数的参数值的步骤，包括：
所述第三训练数据集中的图像输入细粒度神经网络模型，通过所述细粒度神经网络模型模型最后一层激活卷积层提取图像特征后，输出n个二维特征映射，每个特征映射分布式表示有多个激活响应的特征显著性区域；
将所述n个二维特征映射叠加，并设定一个阈值，选取叠加后激活响应高于阈值的区域，得到一个掩映图；
采用双三次插值的方法调整所述掩映图的大小，使其与输入图像同样大小，并将掩映图覆盖到输入图像上；
选取所述掩映图中所占面积最大的激活响应高于阈值的区域，该区域在输入图像中所对应的区域即为图像主要目标对象位置，激活响应特征即为目标对象的特征。


5.一种基于多尺度约束的细粒度车辆图像检索的装置，其特征在于，包括：
第一获取模块，用于对第一训练数据集进行多尺度区域信息标注，得到第二训练数据集；
处理模...

【专利技术属性】
技术研发人员：张斯尧，罗茜，王思远，蒋杰，张诚，李乾，谢喜林，黄晋，
申请(专利权)人：深圳久凌软件技术有限公司，
类型：发明
国别省市：广东;44