用于图像相似性确定、对象检测和跟踪的方法和装置制造方法及图纸

本发明专利技术涉及用于图形相似性确定、对象检测和跟踪的方法和装置。一种用于确定模板图像和测试图像之间的相似性的相似性确定装置包括：匹配像素确定单元，被配置为通过将模板图像中包含的多个像素中的每一个与测试图像中的对应于该像素的局部区域进行匹配来确定模板图像中包含的多个像素中的每一个是否是匹配像素，其中局部区域包括多于一个的像素；以及确定单元，被配置为基于模板图像中的匹配像素的数量来确定模板图像和测试图像之间的相似性。

【技术实现步骤摘要】

本文件涉及用于图像相似性确定、对象检测和跟踪的方法和装置。特别地，本专利技术涉及基于模板图像的像素和检测图像的对应局部区域之间的相似性来进行图像相似性确定、对象检测和跟踪的方法和装置。
技术介绍
近年来，静态图像或一系列运动图像中的对象检测/识别/跟踪被普遍地和重要地应用于图像处理、计算机视觉和图案识别领域，并且在其中起到重要作用。对象可以是人脸、手部、身体等中的任一个。特别地，图像匹配是对象检测/跟踪算法中的重要模块。图1示意性地示出了图像匹配在人体跟踪系统中的应用，其中图1(a)示出了模板图像，其可被从先前帧裁剪或者被预先设定或者预先存储在数据库中，而图1(b)示出了在对象跟踪期间的当前图像帧，该当前图像帧可包括要被检测的对象并且在该当前图像帧上要执行跟踪，还被称为测试图像。如图1所示，跟踪算法使用图像匹配模块(对应于与从图1(a)到图1(b)的箭头所附的“图像匹配”)来测量模板图像和测试图像的候选位置处的图像块(被实线示出的图像块)之间的相似性。应指出，在这里仅示出一个具有实线的图像块以便清楚阐述图像匹配，并且在具体实现中，局部搜索区域中的许多位置点应被扫描以获得多个潜在的候选位置(图像块)，并且图像匹配可对于图像块逐一执行以便找到真正的对象位置。例如，最好的图像位置是根据候选位置上的匹配得分被确定的(常常通过应用均值移位算法，或者简单地选择具有最大匹配得分的位置)。局部搜索区域是测试图像中的在其中将如上所述地确定是否存在对象的匹配图像块的局部区域。如图1所示的测试图像中的局部搜索区域可被以多种方式确定。例如，帧图像中的局部搜索区域可直接为预期包括对象的区域，并且对应于已经在前一帧中被检测到并且在动态跟踪期间被看作包括对象图像的区域。此外，如果不存在作为参考的前一图像帧，则整个帧图像作为搜索区域。应指出，上述局部搜索区域的确定方法主要针对一个对象，而当存在多个对象时，可存在与该多个对象一一对应的多个局部搜索区域，并且每个对象的每个局部搜索区域可被如上所述地确定。在现有技术中，简单的图像匹配方法(还被称为直接像素匹配或者“点对点”匹配)是逐个像素地直接计算模板图像中的像素与测试图像中的对应像素之间的点对点颜色差值(在RGB或HSV颜色空间中)，并且将所计算的各像素的像素差值求平方和作为相似性测度，如图2所示。此测度被称为欧几里得测度或者方差和(SSD)。两个图像之间的SSD通过下式计算：其中，f()和g()可分别指地是在对应像素点处的模板图像的像素值和测试图像的像素值，并且(i，j)指的是像素点的坐标。越低的SSD得分意味着两个图像之间具有越高的相似性。当两个图像的图像尺寸不同时，缩放操作是必需的(通过缩放测试图像或模板图像)。尽管这样的方法可能是用于图像相似性确定的最简单的方法，但是这样的方法具有许多缺陷。一个缺陷是这样的方法由于其点对点匹配特性而对于图像变形非常敏感。另一个缺陷是这样的方法还对于光照变化和图像噪声敏感。例如，如果某个像素点的值由于噪声而从(0,0,0)改变为(255,255,255)，则即使所有其它像素保持不改变，SSD值也将显著改变。颜色直方图匹配是用于对象跟踪的另一常用方法，并且在NikhilNaik,SanmayPatil,MadhuriJoshi,\AScaleAdaptiveTrackerUsingHybridColorHistogramMatchingScheme,\ICETET,pp.279-284,2009SecondInternationalConferenceonEmergingTrendsinEngineering&Technology,2009中被公开。在该方法中，颜色直方图将首先对于模板图像和测试图像中的每一个被计算。颜色直方图的示例性计算是将颜色空间简单地分割成离散区间(bin)。例如，通过将每个R/G/B通道等分成4个范围：[0,63],[64,127],[128,191],[192,256]，可以将RGB颜色空间分割成64个区间。然后，各个图像中的像素将被归类到分割的64个区间中的一个中，并且分配给每个区间的像素的数量被累积。然后，应用Bhattacharyya测度和Chi-squared测度以通过区段到区段对准来测量直方图的相似度，如图3所示，其中图3中(a)示出了模板图像和要被跟踪的当前帧中的候选图像块，并且(b)分别示出了归一化后的模板图像块和候选图像块的颜色直方图Hq和Ht。尽管颜色直方图匹配对于对象变形和旋转是鲁棒的，但是这样的颜色直方图方法由于以下事实而对于光照变化是敏感的：直方图区间和它们的边界被离线选择并且在跟踪期间被保持固定，并且小的光照变化可显著改变颜色直方图。例如，值为63的像素将被分配给区间[0,63]。当光照改变很小，像素值被改变为64时，其将被分配给不同的区间[64,127]。此外，由于颜色直方图没有关于对象形状的信息，这样的颜色直方图方法在跟踪期间容易漂移。例如，关于如图4所示的两个不同形状，尽管这两个形状大不相同，但是它们的颜色直方图是相同的。因此，仍需要一种计算高效的颜色相似性确定方法，使得应用这样的颜色相似性确定的人体跟踪可高效地进行，尤其在实时性要求较高的场景下和场景包含许多人时。此外，仍需要可对于对象变形和照明光照变化鲁棒的图像相似性确定。即使在诸如当前帧中的人相对于模板图像具有大的变形之类的情况中，图像相似性确定方法仍可在此类情状况中良好地工作。
技术实现思路
本专利技术是针对图像匹配而开发的，旨在解决上述问题。本专利技术的目的是提供一种计算高效且对于对象变形和光照变化鲁棒的图像匹配方法。本专利技术的另一个目的是提供一种计算高效且对于对象变形和光照变化鲁棒的对象检测和/或跟踪方法。在一个方面，提供了一种用于确定模板图像和测试图像之间的相似性的相似性确定装置，可包含匹配像素确定单元以及确定单元，该匹配像素确定单元被配置为通过将模板图像中包含的多个像素中的每一个与测试图像中的对应于该像素的局部区域进行匹配来确定模板图像中包含的多个像素中的每一个是否是匹配像素，其中局部区域包括多于一个的像素；该确定单元被配置为基于模板图像中的匹配像素的数量来确定模板图像和测试图像之间的相似性。在另一个方面，提供了一种对象检测装置，可包括被配置为获得关于该对象的至少一个候选图像的获得单元；被配置为确定所述至少一个候选图像中的每一个与和该对象相关联的模板图像的相似性的相似性确定装置；以及检测单元，被配置为基于所确定的所述至少一个候选图像中的每一个的相似性来检测对象被包含于其中的最终图像。在还另一个方面，提供了一种对象跟踪装置，可包括被配置为从序列中的帧图像获得关于该对象的至少一个候选图像的获得单元；关联得分计算单元，被配置为基于利用相似性确定装置确定的所述至少一个候选图像中的每一个与和对象相关联的模板图像的相似性，计算所述至少一个候选图像中的每一个的关联得分；以及关联单元，被配置为基于候选图像的关联得分使候选图像与来自序列中的前一帧图像的已有轨迹相关联。在还另一个方面，提供了一种用于确定模板图像和测试图像之间的相似性的相似性确定方法，可包含匹配像素确定步骤以及确定步骤，该匹配像素确定步骤被配置为通过本文档来自技高网...

【技术保护点】
一种用于确定模板图像和测试图像之间的相似性的相似性确定装置，其特征在于，所述相似性确定装置包括：匹配像素确定单元，被配置为通过将模板图像中包含的多个像素中的每一个与测试图像中的对应于该像素的局部区域进行匹配，确定模板图像中包含的多个像素中的每一个是否是匹配像素，其中局部区域包括多于一个的像素；以及相似性确定单元，被配置为基于模板图像中的匹配像素的数量来确定模板图像和测试图像之间的相似性。

【技术特征摘要】
1.一种用于确定模板图像和测试图像之间的相似性的相似性确定装置，其特征在于，所述相似性确定装置包括：匹配像素确定单元，被配置为通过将模板图像中包含的多个像素中的每一个与测试图像中的对应于该像素的局部区域进行匹配，确定模板图像中包含的多个像素中的每一个是否是匹配像素，其中局部区域包括多于一个的像素；以及相似性确定单元，被配置为基于模板图像中的匹配像素的数量来确定模板图像和测试图像之间的相似性。2.根据权利要求1所述的装置，进一步包括：比率计算单元，被配置为计算模板图像中的匹配像素的数量与模板图像中的所述多个像素的总数的比率，其中，所述相似性确定单元基于所述比率来确定模板图像和测试图像之间的相似性。3.根据权利要求1所述的装置，其中，所述匹配像素确定单元进一步包括：差值计算单元，被配置为依次计算模板图像中的像素与测试图像中的局部区域中的多于一个的像素中的每一个像素之间的差值，直至差值小于阈值为止，从而对应于小于该阈值的差值的模板图像中的像素被确定为匹配像素，其中，所述差值是与表征模板图像和测试图像的图像特征有关的差值，其中，所述差值计算单元对于模板图像中的所述多个像素中的每个像素进行操作。4.根据权利要求1所述的装置，其中，所述差值是亮度差值和/
\t或颜色差值和/或纹理差值。5.根据权利要求1所述的装置，其中，模板图像中的所述多个像素表征模板图像中含有的对象。6.根据权利要求1所述的装置，其中，所述多个像素是模板图像上的前景像素。7.根据权利要求1所述的装置，其中，测试图像中的局部区域是中心对称的区域，该区域的中心像素对应于模板图像中的该进行匹配的像素。8.根据权利要求1所述的装置，其中，测试图像中的局部区域是N*N方形区域，其中N>1。9.根据权利要求1所述的装置，进一步包括：分割单元，被配置为将模板图像和测试图像相应地分割成若干个子图像以获得若干对模板子图像和测试子图像，其中匹配像素确定单元和相似性确定单元对于每一对中的模板子图像和测试子图像进行操作以确定它们之间的相似性。10.根据权利要求1所述的装置，其中，所述多个像素被从模板图像中包含的所有像素分别在水平方向和垂直方向上按一定间隔选择。11.根据权利要求1所述的装置，其中，与模板图像中的多个像素中的每一个对应的测试图像中的相应局部区域彼此相邻而不重叠。12.根据权利要求1所述的装置，其中，模板图像和测试图像具有相同的形状和对应的尺寸。13.一...

【专利技术属性】
技术研发人员：王世婷，胥立丰，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP