一种基于融合特征的视频车辆重识别方法与系统技术方案

本发明专利技术公开了一种基于融合特征的视频车辆重识别方法与系统，方法包括：确定目标车辆与匹配范围；根据目标车辆与匹配范围采用基于颜色直方图的相似度计算方法，计算目标车辆图像与待匹配车辆图像的颜色特征相似度；根据目标车辆与匹配范围采用基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，计算目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征相似度；将计算的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合。本发明专利技术通过将计算的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合来得到车辆重识别的相似度结果，准确率更高，鲁棒性更强，通用性更高。本发明专利技术可广泛应用于图像处理领域。

A video vehicle weight recognition method and system based on fusion feature

The invention discloses a heavy vehicle video recognition method based on fusion feature and system and method includes: determining the target vehicle and matching range; according to the scope of matching with the target vehicle using a similarity calculation method based on color histogram, image and calculate the target vehicle to match the vehicle image color feature similarity matching with the target vehicle according to the scope; the calculation method of local linear constraint encoding and weighted space of Pyramid orientation gradient histogram feature similarity based on the calculation of the target vehicle image is matched with the vehicle image encoding gradient direction histogram similarity; color feature similarity and encoding orientation gradient histogram feature similarity weighted fusion. The present method obtains the similarity result of vehicle re recognition by weighted fusion of the calculated color similarity and the histogram similarity of the coding direction gradient. It has higher accuracy, robustness and versatility. The invention can be widely used in the field of image processing.

【技术实现步骤摘要】
一种基于融合特征的视频车辆重识别方法与系统
本专利技术涉及图像处理领域，尤其是一种基于融合特征的视频车辆重识别方法与系统。
技术介绍
车辆重识别是指，在视频图像中，监控场景、光照条件、目标角度等条件变化后，车辆被再次识别的过程(即从不同的时间与地点所采集的监控视频或图像中识别出同一个目标车辆)，其在道路交通状态分析以及打击违法犯罪等方面都有重要意义。首先，在现实交通流中，因车辆受遮挡或其他环境条件影响而不能收集到车牌等车辆信息的情况时有发生，通过车辆重识别可以在另一摄像头获取车牌信息，并且获取车辆行驶路径和车辆行程时间等信息用于后续数据分析。另外，在刑侦工作中，刑侦人员经常要浏览多个摄像头中的视频，查找某一特定的车辆在哪些摄像头曾经出现过，而通过车辆重识别技术则能快速找到目标车辆，以及对目标车辆进行后续的跟踪。车辆重识别的研究方法主要分为两类，第一类是基于外观特征的车辆重识别方法，通过提取车辆的颜色、形状、纹理等外观特征进行区分匹配；第二类是基于训练学习的车辆重识别方法，通过学习训练，获得具有最大区分度的车辆特征或者相似性度量准则，再对车辆进行建模实现车辆重识别。基于外观特征的车辆重识别方法不需要提前进行训练，可以直接进行车辆特征提取和匹配，在不同摄像机之间普遍适用，一般情况下这种方法具有较好的拓展性。该类方法采用的外观特征主要包括颜色特征、形状特征和纹理特征等。以颜色特征作为目标的主要特征时，一般使用颜色直方图(描述的是各种颜色占整幅图像的比例，一般可用一个二维直方图表示，横坐标表示颜色级别，纵坐标代表各颜色级别出现的频率，即像素个数)作为车辆的颜色特征，并计算颜色直方图间的欧式距离进行目标匹配。但是由于交通流中存在颜色相同或相近的车辆，以及不同摄像机间拍摄图像的光照会有差异，直接进行颜色特征的匹配会有偏差。在以纹理特征或点特征作为车辆的主要特征时，若使用单个特征，则其在多摄像机中进行车辆识别的鲁棒性不高，容易出现错误匹配的结果。基于训练学习的车辆重识别方法可以分为两种，一种是通过样本训练，学习到具有最大区分度的特征，再用学习到的特征进行车辆重识别。另一种方法则是训练学习相似性度量准则，使得同一个车辆的图像相似性高，不同车辆间相似性低。虽然训练学习的方法能有效地得到区分度大的特征或度量准则，但是由于在不同摄像机间车辆外观特征变化较大，其得到目标特征模型或相似性度量模型通用性不高，这也是目前训练学习方法较难解决的问题之一。
技术实现思路
为解决上述技术问题，本专利技术的目的在于：提供一种准确率高、适用性强、鲁棒性强和通用性高的，基于融合特征的视频车辆重识别方法。本专利技术的另一目的在于：提供一种准确率高、适用性强、鲁棒性强和通用性高的，基于融合特征的视频车辆重识别系统。本专利技术所采取的技术方案是：一种基于融合特征的视频车辆重识别方法，包括以下步骤：确定目标车辆与匹配范围；根据目标车辆与匹配范围采用基于颜色直方图的相似度计算方法，计算目标车辆图像与待匹配车辆图像的颜色特征相似度；根据目标车辆与匹配范围采用基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，计算目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征相似度，所述加权空间金字塔的权重能根据不同车辆特征进行调整；将计算的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合，得到车辆重识别的相似度结果，所述加权融合时的权重能根据不同环境条件进行自适应调整。进一步，所述确定目标车辆与匹配范围这一步骤，具体包括：从第一摄像头的车辆图像中选定一辆车作为目标车辆；在需要进行重识别的第二摄像头中，通过车辆检测器对每一辆经过的车辆进行记录，得到作为匹配范围的查找图库，所述查找图库记录的信息包括车辆经过的时间、车辆经过的地点和车辆在第二摄像头的视频帧中的坐标。进一步，所述根据目标车辆与匹配范围采用基于颜色直方图的相似度计算方法，计算目标车辆图像与待匹配车辆图像的颜色特征相似度这一步骤，具体包括：在HSV空间中分别提取目标车辆图像与待匹配车辆图像的颜色直方图；对目标车辆图像与待匹配车辆图像的颜色直方图进行颜色直方图匹配，得到目标车辆图像与待匹配车辆图像的颜色直方图的欧氏距离，从而得到目标车辆图像与待匹配车辆图像的颜色特征相似度。进一步，所述在HSV空间中分别提取目标车辆图像与待匹配车辆图像的颜色直方图这一步骤，具体包括：根据颜色空间转换公式将目标车辆图像与待匹配车辆图像从RGB空间转换到HSV空间；对目标车辆图像与待匹配车辆图像的H、S和V分量进行非等间隔量化，从而将目标车辆图像与待匹配车辆图像的H、S和V分量分别划分为16个量级、4个量级和4个量级，所述非等间隔量化的量化公式为：其中，h、s和v分别为目标车辆图像与待匹配车辆图像H、S和V分量的像素值；根据划分的量级将目标车辆图像与待匹配车辆图像的H、S和V分量合成一维特征向量L，并对L进行归一化，所述一维特征向量L的表达式为：L＝16H+4S+V，其中，归一化后的向量L的取值为0,1,2…255；根据归一化后的向量L得到目标车辆图像与待匹配车辆图像的颜色直方图。进一步，所述对目标车辆图像与待匹配车辆图像的颜色直方图进行颜色直方图匹配，得到目标车辆图像与待匹配车辆图像的颜色直方图的欧氏距离，从而得到目标车辆图像与待匹配车辆图像的颜色特征相似度这一步骤，具体为：分别计算目标车辆图像的颜色直方图h0与待匹配车辆图像的颜色直方图h1，h2…hn的欧氏距离d0i，生成一个1×n的欧氏距离矩阵，所述欧氏距离d0i的计算公式为：其中，h0k为目标车辆图像的颜色直方图h0第k维的数值，hik为待匹配车辆图像的第i幅图像的颜色直方图hi中第k维的数值，i＝1，2…n，n为待匹配车辆图像的总幅数。进一步，所述根据目标车辆与匹配范围采用基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，计算目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征相似度这一步骤，具体包括：分别提取目标车辆图像与待匹配车辆图像的方向梯度直方图特征；采用局部线性约束编码和加权空间金字塔对分别提取的方向梯度直方图特征进行编码，得到目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征；根据得到的编码方向梯度直方图特征进行相似度计算，得到目标车辆图像与待匹配车辆图像的相关系数，所述目标车辆图像IA与待匹配车辆图像IB的相关系数ρH(IA,IB)表达式为：其中，Cov(IA,IB)为目标车辆图像IA与待匹配车辆图像IB的协方差，D(IA)为目标车辆图像IA的方差，D(IB)为待匹配车辆图像IB的方差。进一步，所述分别提取目标车辆图像与待匹配车辆图像的方向梯度直方图特征这一步骤，具体包括：将目标车辆图像与待匹配车辆图像分别归一化为64×64标准像素大小的标准化图像；设置每个元胞的像素个数，并构建每个元胞的方向梯度直方图，其中每个元胞将360度划分为9个区间；将标准化图像划分为若干个图像块，并构建每个图像块的方向梯度直方图；设置每个图像块中元胞的个数，并按顺序连接每个元胞的9方向特征向量，得到每个图像块的特征向量；按照设定步长扫描标准化图像，得到由若干个图像块特征向量组成的方向梯度直方图特征向量。进一步，所述采用局部线性约束编码和本文档来自技高网...

【技术保护点】
一种基于融合特征的视频车辆重识别方法，其特征在于：包括以下步骤：确定目标车辆与匹配范围；根据目标车辆与匹配范围采用基于颜色直方图的相似度计算方法，计算目标车辆图像与待匹配车辆图像的颜色特征相似度；根据目标车辆与匹配范围采用基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，计算目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征相似度，所述加权空间金字塔的权重能根据不同车辆特征进行调整；将计算的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合，得到车辆重识别的相似度结果，所述加权融合时的权重能根据不同环境条件进行自适应调整。

【技术特征摘要】
1.一种基于融合特征的视频车辆重识别方法，其特征在于：包括以下步骤：确定目标车辆与匹配范围；根据目标车辆与匹配范围采用基于颜色直方图的相似度计算方法，计算目标车辆图像与待匹配车辆图像的颜色特征相似度；根据目标车辆与匹配范围采用基于局部线性约束编码和加权空间金字塔的方向梯度直方图特征相似度计算方法，计算目标车辆图像与待匹配车辆图像的编码方向梯度直方图特征相似度，所述加权空间金字塔的权重能根据不同车辆特征进行调整；将计算的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合，得到车辆重识别的相似度结果，所述加权融合时的权重能根据不同环境条件进行自适应调整。2.根据权利要求1所述的一种基于融合特征的视频车辆重识别方法，其特征在于：所述确定目标车辆与匹配范围这一步骤，具体包括：从第一摄像头的车辆图像中选定一辆车作为目标车辆；在需要进行重识别的第二摄像头中，通过车辆检测器对每一辆经过的车辆进行记录，得到作为匹配范围的查找图库，所述查找图库记录的信息包括车辆经过的时间、车辆经过的地点和车辆在第二摄像头的视频帧中的坐标。3.根据权利要求1所述的一种基于融合特征的视频车辆重识别方法，其特征在于：所述根据目标车辆与匹配范围采用基于颜色直方图的相似度计算方法，计算目标车辆图像与待匹配车辆图像的颜色特征相似度这一步骤，具体包括：在HSV空间中分别提取目标车辆图像与待匹配车辆图像的颜色直方图；对目标车辆图像与待匹配车辆图像的颜色直方图进行颜色直方图匹配，得到目标车辆图像与待匹配车辆图像的颜色直方图的欧氏距离，从而得到目标车辆图像与待匹配车辆图像的颜色特征相似度。4.根据权利要求3所述的一种基于融合特征的视频车辆重识别方法，其特征在于：所述在HSV空间中分别提取目标车辆图像与待匹配车辆图像的颜色直方图这一步骤，具体包括：根据颜色空间转换公式将目标车辆图像与待匹配车辆图像从RGB空间转换到HSV空间；对目标车辆图像与待匹配车辆图像的H、S和V分量进行非等间隔量化，从而将目标车辆图像与待匹配车辆图像的H、S和V分量分别划分为16个量级、4个量级和4个量级，所述非等间隔量化的量化公式为：其中，h、s和v分别为目标车辆图像与待匹配车辆图像H、S和V分量的像素值；根据划分的量级将目标车辆图像与待匹配车辆图像的H、S和V分量合成一维特征向量L，并对L进行归一化，所述一维特征向量L的表达式为：L＝16H+4S+V，其中，归一化后的向量L的取值为0,1,2…255；根据归一化后的向量L得到目标车辆图像与待匹配车辆图像的颜色直方图。5.根据权利要求3所述的一种基于融合特征的视频车辆重识别方法，其特征在于：所述对目标车辆图像与待匹配车辆图像的颜色直方图进行颜色直方图匹配，得到目标车辆图像与待匹配...

【专利技术属性】
技术研发人员：李熙莹，江倩殷，邓育新，李国鸣，欧炎丹，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44