一种基于局部特征和深度学习的卡口车辆检索系统及方法技术方案

本发明专利技术涉及一种基于局部特征和深度学习的卡口车辆检索系统及方法，本发明专利技术利用基于深度神经网络来提取车辆全局特征，损失函数采用softmax损失和三元组损失函数的损失函数来训练网络模型，同时提取年检标特征和车灯特征，完成获取局部特征向量，最终加权结合局部特征向量和利用神经网络最后一层全连接层的全局特征向量作为车辆特征进行检索，检索采用改进的k‑means算法找出K类，然后利用SVM形成哈希函数来进行汉明码编码，提高了检索速度与检索精度，并节省存储空间。

【技术实现步骤摘要】
一种基于局部特征和深度学习的卡口车辆检索系统及方法
本专利技术涉及智慧交通领域，尤其涉及一种基于局部特征和深度学习的卡口车辆检索系统及方法。
技术介绍
随着社会发展，智能交通领域中智能交通监控是当前非常重要的一个发展方向，目前我国已在城市道路上部署了大规模数量的电子警察和卡口系统。这些系统能够实时捕获车辆高清图片，并且识别分析出车牌号码，以及一部分车型信息(如车辆大小，颜色等)。但目前使用的卡口监控系统，车牌号码识别仍有10％左右的误识别、漏识别率。更重要的是，对于套牌车或故意遮掩拍照的违法车将无法进行识别。因此，通过车牌号码之外的车辆特征信息作为一个新的识别条件，从而在现有的交通监控系统找出这部分违法车辆。另一方面，一个城市中的所存储的卡口车辆图片往往数量在亿级以上，即使将图片成功转化成为特征向量，要快速精确的查询搜索相关特征依然是一大难点。因此本专利的研究这在现今的在现代交通监控和管理中有非常重要的研究意义和应用前景。《基于大数据的车辆检索及装置》，申请号为201610711333.4中利用多个特征标志区域进行级联检索，然而只有多个局部特征，没有全局的特征信息，并且流程较繁琐。《一种基于车载装饰品特征稀疏编码的车辆检索方法》，申请号为201611063148.5中采用车窗部位的车载装饰品热证稀疏编码的方法来检索车辆，同样没有全局特征。《一种卡口车辆检索方法及其系统》，申请号为201610119765.6中采用各特征模块利用深度学习提取特征做相似度对比，包括你车牌号码，车标车型，车身颜色，年检标等，车牌号码不足以识别车牌遮挡的车辆，并且需要训练多个网络，也不具有全局特征。《基于深度学习的车型识别模型构建方法及车型识别方法》，申请号为201610962720.5中利用深度学习进行车型识别，没有达到细粒度检索车辆的程度，不够精准。
技术实现思路
本专利技术为克服上述的不足之处，目的在于提供一种基于局部特征和深度学习的卡口车辆检索系统及方法，本专利技术利用深度神经网络模型来提取车辆全局特征，其中，深度神经网络有Alexnet网络，vgg网络，GoogleNet网络等。损失函数采用softmax损失和三元组损失函数的损失函数来训练网络模型，同时提取年检标特征和车灯特征，完成获取局部特征向量，最终加权结合局部特征向量和利用神经网络最后一层全连接层的全局特征向量作为车辆特征进行检索，检索采用改进的k-means算法找出K类，然后利用SVM形成哈希函数来进行汉明码编码，提高了检索速度与检索精度，并节省存储空间。本专利技术是通过以下技术方案达到上述目的：一种基于局部特征和深度学习的卡口车辆检索方法，包括如下步骤：(1)获取卡口车辆图片并制作成卡口图片集，对卡口图片集进行处理得到数据集；(2)取数据集内的部分卡口图片作为训练样本集，利用深度神经网络模型提取车辆特征，采用softmax损失和三元组损失函数共同作为深度神经网络的损失函数，完成对网络模型的训练；(3)利用训练完成的网络模型对数据集提取车辆全局特征；(4)基于数据集进行车辆局部特征的提取，车辆局部特征包括年检标特征和车灯特征；(5)将车辆全局特征与车辆局部特征合并得到车辆加权特征，并将其作为车辆图片全局特征；(6)对车辆图片全局特征进行k-means聚类分析，利用K个二分类SVM训练哈希函数，提取样本特征码后放入哈希桶中，从而建立基于SVM的哈希检索；(7)检索时将提取得到的待检测图片的车辆图片全局特征通过哈希函数转化为特征码，找到该特征码所对应的哈希桶并进行计算与排序，输出所对应的相似卡口图片。作为优选，所述步骤(1)包括如下步骤：(1.1)对卡口车辆图片进行人工标注目标区域坐标信息，利用深度学习训练目标识别网络后获取卡口图片中的车辆区域；(1.2)将不同时间和地点拍摄的卡口车辆图片按照车牌进行分类后制作得到卡口图片集，并对卡口图片集添加噪声样本，优化处理后得到数据集。作为优选，所述步骤(2)具体如下：(2.1)取数据集内的部分卡口图片作为训练样本集，利用深度神经网络模型提取车辆特征；(2.2)联合利用softmax和损失和三元组损失函数进行训练，计算联合损失函数：筛选三元组样本集：每个三元组数据集包括三个样本，分别为目标样本anchor，正样本pos，正样本neg，其中anchor和pos为同一类，anchor和neg为不同类，挑选原则为与目标样本相差大的同类样本和与目标样本相差小的不同类样本的组合，学习过程是实现尽可能多的三元组anchor和pos的距离小于anchor和neg的距离，距离均使用余弦距离，如下所示：cosineap+α＜cosinean其中，表示目标样本，表示正样本，表示负样本，目标cosineap表示目标样本和正样本之间的余弦距离，cosinean表示目标样本和负样本之间的余弦距离，α为一个正数，是保证正样本与目标样本之间的距离要小于负样本与目标样本之间的距离一个常数；三元组损失函数如下所示：其中，中分别表示样本经过网络的输出编码；softmax损失函数如下所示：其中，N表示样本个数，xi表示第i个样本，yi表示第i个样本的正确标签，表示第i个样本的结果的第yi个输出，f(xi)j表示第i个样本的第j个节点的输出；则总的损失函数为：L＝Lt+Ls(2.3)反复迭代循环训练网络直至损失值不再减小为止，并将训练完后的网络模型存储。作为优选，所述的车辆局部特征的提取步骤如下：(4.1)提取车辆年检标特征：(4.1.1)对车窗位置进行粗定位：根据调查分析得到车窗左上角的位置一般处于车辆宽度的1/10处，高度的1/5，右下角位于宽度的9/10，位于高度的1/2，即Xmin＝1/10width，Ymin＝1/5height，Xmax＝9/10width，Ymax＝1/2height，截取该矩形区域；(4.1.2)自动选取阈值二值化车窗区域图像；(4.1.3)利用hough变换进行倾斜校正；(4.1.4)水平垂直方向分别进行直方图投影，定位车窗上下左右边界，进行精确定位；(4.1.5)定位年检标位置，取车窗部位的左上1/4部位作为年检标位置；(4.1.6)提取年检标部位，并进行尺寸归一化；(4.1.7)提取年检标特征并存储；(4.2)提取车灯特征：(4.2.1)根据车窗部位垂直方向对称轴确定车灯部位对称轴；(4.2.2)二值化图像后进行开闭运算筛选区域；(4.2.3)获取对称轴两侧对称的位于车辆宽度2/3部分的区域块为左右车灯位置；(4.2.4)获取左、右侧车灯部位，并且尺寸归一化；(4.2.5)提取车灯特征并存储。作为优选，所述步骤(6)具体如下：(6.1)建立车辆图片全局特征的k-means聚类：(6.1.1)随机选择K个质心点；(6.1.2)采用余弦相似度计算每个特征量到K个质心点的距离，将其指派到距离最近的质心，形成K个类别簇；余弦相似度计算如下所示：其中，Xi代表特征X中的第i个值，Yi代表特征Y中的第i个值；(6.1.3)计算每个簇的中心点作为新的质心；(6.1.4)循环执行步骤(6.1.2)-(6.1.3)步，直到所有簇心的余弦相似度和小于I时停止循环，I为预设的阈值；某簇心的余弦相似度计算公式如下：(6.1.5)若属于一个簇的特征总数大于本文档来自技高网...

【技术保护点】
1.一种基于局部特征和深度学习的卡口车辆检索方法，其特征在于，包括如下步骤：(1)获取卡口车辆图片并制作成卡口图片集，对卡口图片集进行处理得到数据集；(2)取数据集内的部分卡口图片作为训练样本集，利用深度神经网络模型提取车辆特征，采用softmax损失和三元组损失函数共同作为深度神经网络的损失函数，完成对网络模型的训练；(3)利用训练完成的网络模型对数据集提取车辆全局特征；(4)基于数据集进行车辆局部特征的提取，车辆局部特征包括年检标特征和车灯特征；(5)将车辆全局特征与车辆局部特征合并得到车辆加权特征，并将其作为车辆图片全局特征；(6)对车辆图片全局特征进行k‑means聚类分析，利用K个二分类SVM训练哈希函数，提取样本特征码后放入哈希桶中，从而建立基于SVM的哈希检索；(7)检索时将提取得到的待检测图片的车辆图片全局特征通过哈希函数转化为特征码，找到该特征码所对应的哈希桶并进行计算与排序，输出所对应的相似卡口图片。

【技术特征摘要】
1.一种基于局部特征和深度学习的卡口车辆检索方法，其特征在于，包括如下步骤：(1)获取卡口车辆图片并制作成卡口图片集，对卡口图片集进行处理得到数据集；(2)取数据集内的部分卡口图片作为训练样本集，利用深度神经网络模型提取车辆特征，采用softmax损失和三元组损失函数共同作为深度神经网络的损失函数，完成对网络模型的训练；(3)利用训练完成的网络模型对数据集提取车辆全局特征；(4)基于数据集进行车辆局部特征的提取，车辆局部特征包括年检标特征和车灯特征；(5)将车辆全局特征与车辆局部特征合并得到车辆加权特征，并将其作为车辆图片全局特征；(6)对车辆图片全局特征进行k-means聚类分析，利用K个二分类SVM训练哈希函数，提取样本特征码后放入哈希桶中，从而建立基于SVM的哈希检索；(7)检索时将提取得到的待检测图片的车辆图片全局特征通过哈希函数转化为特征码，找到该特征码所对应的哈希桶并进行计算与排序，输出所对应的相似卡口图片。2.根据权利要求1所述的一种基于局部特征和深度学习的卡口车辆检索方法，其特征在于：所述步骤(1)包括如下步骤：(1.1)对卡口车辆图片进行人工标注目标区域坐标信息，利用深度学习训练目标识别网络后获取卡口图片中的车辆区域；(1.2)将不同时间和地点拍摄的卡口车辆图片按照车牌进行分类后制作得到卡口图片集，并对卡口图片集添加噪声样本，优化处理后得到数据集。3.根据权利要求1所述的一种基于局部特征和深度学习的卡口车辆检索方法，其特征在于：所述步骤(2)具体如下：(2.1)取数据集内的部分卡口图片作为训练样本集，利用深度神经网络模型提取车辆特征；(2.2)联合利用softmax和损失和三元组损失函数进行训练，计算联合损失函数：筛选三元组样本集：每个三元组数据集包括三个样本，分别为目标样本anchor,正样本pos,正样本neg，其中anchor和pos为同一类，anchor和neg为不同类，挑选原则为与目标样本相差大的同类样本和与目标样本相差小的不同类样本的组合，学习过程是实现尽可能多的三元组anchor和pos的距离小于anchor和neg的距离，距离均使用余弦距离，如下所示：COsineap+α<cosinean其中，表示目标样本，表示正样本，表示负样本，目标cosineap表示目标样本和正样本之间的余弦距离，cosinean表示目标样本和负样本之间的余弦距离，α为一个正数，是保证正样本与目标样本之间的距离要小于负样本与目标样本之间的距离一个常数；三元组损失函数如下所示：其中，中分别表示样本经过网络的输出编码；softmax损失函数如下所示：其中，N表示样本个数，xi表示第i个样本，yi表示第i个样本的正确标签，表示第i个样本的结果的第yi个输出，f(xi)j表示第i个样本的第j个节点的输出；则总的损失函数为：L＝Lt+Ls(2.3)反复迭代循环训练网络直至损失值不再减小为止，并将训练完后的网络模型存储。4.根据权利要求1所述的一种基于局部特征和深度学习的卡口车辆检索方法，其特征在于：所述的车辆局部特征的提取步骤如下：(4.1)提取车辆年检标特征：(4.1.1)对车窗位置进行粗定位：根据调查分析得到车窗左上角的位置一般处于车辆宽度的1/10处，高度的1/5，右下角位于宽度的9/10，位于高度的1/2，即Xmin＝1/10width,Ymin＝1/5height,Xmax＝9/10width,Ymax＝1/2height，截取该矩形区域；(4.1.2)自动选取阈值二值化车窗区域图像；(4.1.3)利用hough变换进行倾斜校正；(4.1.4)水平垂直方向分别进行直方图投影，定位车窗上下左右边界，进行精确定位；(4.1.5)定位年检标位置，取车窗部位的左上1/4部位作为年检标位置；(4.1.6)提取年检标部位，并进行尺寸归一化；(4.1.7)提取年检标特征并存储；(4.2)提取车灯特征：(4.2.1)根据车窗部位垂直方向对称轴确定车灯部位对称轴；(4.2.2)二值化图像后进行开闭运算筛选区域；(4.2.3)获取对称轴两侧对称的位于车辆宽度2/3部分的区域块为左右车灯位置；(4.2.4)获取左、右侧车灯部位，并且尺寸归一化；(4.2.5)提取车灯特征并存储。5.根据权利要求1所述的一种基于局部特征和深度学习的卡口车辆检索方法，其特征在于：所述步骤(6)具体如下：(6.1)建立车辆图片全局特征的k-means聚类：(6.1.1)随机选择K个质心点；(6.1.2)采用余弦相似度计算每个特征量到K个质心点的距...

【专利技术属性】
技术研发人员：温晓岳，田玉兰，陈涛，李建元，
申请(专利权)人：浙江银江研究院有限公司，
类型：发明
国别省市：浙江,33