一种多尺度特征融合的行人比对方法技术

本发明专利技术公开一种计算机视频处理技术领域的多尺度特征融合的行人比对方法，本发明专利技术融合多种行人特征，增强比对特征在多摄像头环境下的稳定性和独特性；同时根据特征在不同图像尺度上的表现，不同的行人特征将在不同尺度上进行比对：先在小尺度上进行比对过滤，而后对筛选后的行人在较大尺度上进行匹配，在保证各特征比对性能的前提下，降低方法复杂度；并针对现有纹理特征进行改进，采用一种新的基于显著特征点的比对方法；本方法引入半监督的距离学习方法进行距离函数学习，以降低传统距离学习算法训练标定过程的复杂度，提高匹配准确率。

【技术实现步骤摘要】

本专利技术属于计算机视频处理
，具体为一种融合多种行人特征，先在小尺 度上进行比对过滤，然后在较大尺度上匹配出目标行人的比对方法。
技术介绍
目前，行人比对技术在视频监控中发挥着越来越重要的作用，尤其在城市公共 安全领域有着广泛的应用。由于不同行人在摄像机下表现相似的特征以及多相机网络 环境的多样性（视角变化，光照变化和相互遮挡等），使得多相机下的行人比对面临着 严峻的挑战。基于多相机下行人分析已经成为计算机视觉领域的研究热点。研究思 路一般包括基于统计特征、基于局部特征点和基于距离学习的比对算法。基于统计特 征的行人比对方法（参见：Kviatkovsky, I. ;Adam, A. ;Rivlin, E.，Color Invariants for Person Reidentification, ^Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 35, no. 7, pp. 1622, 1634, July 2013)所采用的特征通常较为简 单、稳定、方法复杂度较低，在简单场景下能够取得明显效果，但由于采用直方图进行 特征统计，因而局部差异性特征较难体现。基于局部特征点的行人比对方法（参见： C.Varytimidis,K. Rapantzikos,Y. Avrithis.W a SH:ffeighted a-Shapes for Local Feature Detection. In Proceedings of European Conference on Computer Vision(ECCV 2012) ,Florence, Italy, October 2012.)则通过对行人进行局部特征点提取，通过特征点 匹配算法进行比对，该方法需要通过对行人所有特征点或特征区域进行匹配计算才能得到 行人之间的相似度，因而方法复杂度通常较高，无法满足实时需求。基于距离学习的比对 方法（参见：Wei_Shi Zheng, Shaogang Gong, Tao Xiang. Reidentification by Relative Distance Comparison, PAMI2013, 2013, 35(3) :653-668)通过对特定场景进行标定训练，会 对比对效果有较大提升，但普适性不强，针对新的场景需要进行重新训练，训练标定过程较 为复杂，且方法的空间复杂度都较高，目前还很难应用到实际系统中。
技术实现思路
本专利技术的目的在于克服上述现有技术的不足之处，提出了一种新的行人比对方 法---基于多尺度特征融合的行人比对方法（Multi-Scaled Feature Fusion, MSFF)。 本专利技术中所述尺度即为对图像放大的比例程度，放大的程度用尺度的高低来形 容；低尺度体现了图像的整体特征，高尺度更多体现的是图像中的细节特征。本专利技术融合多 种行人特征，增强比对特征在多摄像头环境下的稳定性和独特性；同时根据特征在不同图 像尺度上的表现，不同的行人特征将在不同尺度上进行比对：先在小尺度上进行比对过滤， 而后对筛选后的行人在较大尺度上进行匹配，在保证各特征比对性能的前提下，降低方法 复杂度；并针对现有纹理特征进行改进，采用一种新的基于显著特征点的比对方法；本方 法引入半监督的距离学习方法进行距离函数学习，以降低传统距离学习算法训练标定过程 的复杂度。 本专利技术是通过以下技术方案实现的，所述方法包括以下几个步骤： 第一步：设P = {p」1彡i彡N}为相机A下的行人图像集合，Q = {q」1彡i彡N} 为相机B下的行人集合，N为一个相机下的行人总数。 第二步：在低尺度下，应用颜色和轮廓的比对方法，进行第一次行人筛选，得到候 选行人集Qff。 所述第二步的具体实现步骤为： 1)选取K = e N组行人进行距离函数模型标定训练（式中K为选取的行人组数， N为整个行人组数，3为行人组的选取率），提取行人的颜色特征向量和轮廓特征向量，分 别进行直方图归一化； 2)将归一化后的两类特征向量进行级联，得到行人在低尺度上的融合特征，利用 此融合特征进行半监督SVM训练得到相似度函数； 3)在低尺度上采用颜色和轮廓特征进行行人比对，对于行人P e P，计算P与集合 Q中各行人的相似度后，归一化至[0, 1]; 4)将集合Q以相似度降序排列，即可得到集合Q中与P最相似的行人集合，记为 Pfs，选取毡 1中排名前r %的行人进行下一尺度上的比对，记为集合Af。 第三步：在高尺度上采用基于显著特征点的比对方法，针对行人P，对行人集 合中的各行人进行相似度计算。显著特征点是一种改进的基于纹理特征的比对方法，具体 步骤为： a)首先对行人图像进行SURF特征点提取，对每个特征点进行纹理特征提取，并在 特征点附近范围提取颜色特征，综合特征点的纹理和颜色特征，进一步提高局部特征点的 显著性。 b)并在进行特征点匹配时，进行空间约束，限定匹配特征点的空间范围，提高匹配 准确率， c)同时采用KNN(K Neatest Neighbor)方法计算每个特征点的权重，突出显著特 征点的权重，提高行人比对的准确率。 第四步：对低尺度和高尺度上的行人相似度进行叠加，按降序排列，得到Q中与p 最相似的行人集合。 与现有技术相比，本专利技术的具有以下有益效果： 1)提高了行人特征的独特性和稳定性，进而提高比对性能；2)同时采用基于多尺 度的比对方法框架，在保证各特征比对性能的基础上，尽可能降低系统运算复杂度；3)针 对传统距离学习算法训练标定过程复杂度较高的缺点，本专利技术引入半监督的距离学习方法 进行距离函数学习，以降低训练标定过程的复杂度，增强基于距离学习比对方法的实用性。 4)采用了一种改进的基于显著特征点的比对方法，增加了进行空间约束，提高匹配准确率， 同时计算每个特征点的权重，突出显著特征点的权重，提高行人比对的准确率。 【附图说明】 通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、 目的和优点将会变得更明显： 图1为本专利技术一实施例中基于多尺度特征融合的比对方法框架。 图2为基于显著特征点的行人比对方法流程图； 图3为本专利技术一实施例中行人比对场景图。 图4为本专利技术一实施例中广场行人比对结果图。 图5为本专利技术一实施例中道路行人比对结果图。 【具体实施方式】 下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术 人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术 人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变形和改进。这些都属于本专利技术 的保护范围。 如图1所示，为一种多尺度融合的对比方法的实施例框架：在低尺度下，提取颜色 和轮廓特征级联后得到融合特征；对融合特征进行半监督svm学习，进行第一次行人筛选， 得到候选行人集；在高尺度下，采用基于局部特征点的比对算法，针对目标行人，对筛选出 的行人集合中的各行人进行相似度计算；对两个本文档来自技高网...

【技术保护点】
一种多尺度特征融合的行人比对方法，其特征在于，包括以下步骤：第一步：设P＝{pi|1≤i≤N}为相机A下的行人图像集合，Q＝{qi|1≤i≤N}为相机B下的行人集合；第二步：在低尺度下，应用颜色和轮廓的比对方法，进行第一次行人筛选，得到候选行人集第三步：在高尺度上采用基于显著特征点的比对方法，针对行人p，对行人集合中的各行人进行相似度计算；第四步：对低尺度和高尺度上的行人相似度进行叠加，按降序排列，得到Q中与p最相似的行人集合。

【技术特征摘要】
1. 一种多尺度特征融合的行人比对方法，其特征在于，包括以下步骤： 第一步：设P = {Pill彡i彡N}为相机A下的行人图像集合，Q = {qi|l彡i彡N}为 相机B下的行人集合； 第二步：在低尺度下，应用颜色和轮廓的比对方法，进行第一次行人筛选，得到候选行 人集免了； 第三步：在高尺度上采用基于显著特征点的比对方法，针对行人P，对行人集合中 的各行人进行相似度计算； 第四步：对低尺度和高尺度上的行人相似度进行叠加，按降序排列，得到Q中与P最相 似的行人集合。2. 根据权利要求1所述的一种多尺度特征融合的行人比对方法，其特征是：所述第二 步的具体实现步骤为： 1) 选取K = β N组行人进行距离函数模型标定训练，式中K为选取的行人组数，N为 整个行人组数，β为行人组的选取率，提取行人的颜色特征向量和轮廓特征向量，分别进行 直方图归一化； 2) 将归一化后的两类特征向量进行级联，得到行人在低尺度上的融合特征，利...

【专利技术属性】
技术研发人员：杨华，吴佳俊，董莉莉，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31