用于跟踪图像中移动物体的方法和装置制造方法及图纸

照相机拍摄的每帧时间序列图像由下面的等式转换成空间差分帧图像：Ｈ（ｉ，ｊ）＝∑｜Ｇ（ｉ＋ｄｉ，ｊ＋ｄｊ）－Ｇ（ｉ，ｊ）｜／（Ｇｉ，ｊ，ｍａｘ／Ｇｍａｘ），Ｉ＝Ｇｍａｘ／｛１＋ｅｘｐ（－０．０２（Ｈ－８０））｝，其中∑表示ｄｉ＝－１到１和ｄｊ＝－１到１的总和，Ｇｉ，ｊ，ｍａｘ表示中心在第ｉ行第ｊ列的３×３像素的最大像素值，Ｇｍａｘ表示像素值Ｇ（ｉ，ｊ）的可取的最大值２５５。根据在时间（ｔ－１）和ｔ的空间差分帧图像之间的相关性和在时间（ｔ－１）的空间差分帧图像中包含的移动物体的区分结果来区分在时间ｔ的移动物体。（*该技术在2023年保护过期，可自由使用*）

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种用于通过处理时间序列图像来跟踪图像中移动物体(即，可移动的事物，例如汽车、自行车和动物)的方法和装置。
技术介绍
交通事故的早期检测不仅能通过快速的救援作业提高救生成功率，而且还通过加速警方在该现场的检查而减轻与事故有关的交通拥挤。因此，期望交通事故的各种自动识别。为了实现交通事故的高识别率，必须通过处理照相机捕获的图像来正确跟踪移动物体。在跟踪移动物体时，特别难以区分图像中彼此重叠的移动物体以及不受由于云彩或建筑物的影子导致移动物体照度变化的影响来跟踪移动物体。前者的困难可以通过根据时空马尔可夫模型计算时空相关性的方法来克服，该时空马尔可夫模型已经在JP2001-148019-A的说明书中公开，该专利的专利技术人与本申请的专利技术人相同。后者的困难可以通过利用差分图像(IEEE trans.PAMI，第18卷，第11期，1996年，第1110-1114页，G.L.Gimel’farb的″多个成对像素相互作用的″纹理建模″)来克服。但是，在利用一个转换差分图像以并入基于相关性的方法的适当方法来实现跟踪移动物体的高成功率方面仍然存在技术挑战。
技术实现思路
因此，本专利技术的目的在于提供一种用于跟踪移动物体的方法和装置，从而可以实现跟踪移动物体的高成功率，并且与图像中移动物体之间的重叠和图像中移动物体的照度变化无关。在本专利技术的一个方面，提供一种移动物体跟踪方法，其处理第一时间序列图像以跟踪其中的移动物体，该方法包括步骤(a)通过将第一时间序列图像转换成各自空间差分帧图像来生成第二时间序列图像；和(b)根据在接近时间t2的时间t1的其中一个空间差分帧图像和在时间t2的另一个空间差分帧图像之间的相关性，还根据在时间t1的所述其中一个空间差分帧图像中包含的移动物体的区分结果，区分在时间t2的移动物体。根据这个构成，由于步骤(a)，第二时间序列图像几乎不受照度变化的影响，并且因为步骤(b)的处理是对第二时间序列图像执行的，所以有可能高成功率地跟踪移动物体，即使移动物体的照度在图像中变化或者移动物体在图像中彼此重叠。在步骤(a)中，例如，在任何空间差分帧图像中的关注像素的值是通过将相应一个第一时间序列图像的相应关注像素的值转换成与值H有关的值I得到的，该值H与通过将相应关注像素的值和其相邻像素值之间的差值除以相应关注像素和相邻像素当中的最大值得到的值成正比。从而，即使像素值小，因此差值小，也有可能获得几乎与像素值大和差值大的情况中获得的边缘信息等价的边缘信息，从而提高跟踪移动物体的成功率。在步骤(a)，例如，如果值H在预定范围内，则通过值H的近似线性变换来确定值I，否则通过将值H转换成一个被抑制以免超过空间差分帧图像的像素的可取最大值Gmax的值来确定值I。这允许值I的比特大小减少，并且H分布中包含的边缘信息的几乎不减少，实现快速的图像处理。本专利技术的其它方面、目的和优点从下面结合附图的详细描述中变得更加明显。附图说明图1是表示根据本专利技术实施例的十字路口和位于该十字路口的移动物体跟踪装置的示意图；图2是图1的移动物体跟踪装置的功能方框图； 图3是表示用于图2的图像转换部分的sigmoid函数的图；图4(A)是在没有建筑物影子的十字路口捕获的原始图像的拷贝；图4(B)是通过在图2的图像转换部分转换图4(A)的图像确定的差分图像；图5(A)是在具有建筑物影子的十字路口捕获的原始图像的拷贝；图5(B)是通过在图2的图像转换部分转换图5(A)的原始图像确定的空间差分图像；图6是分配给在十字路口的四个入口和四个出口定义的块(blocks)和狭缝(slits)的移动物体的ID的说明；图7是一种情况的说明，其中移动物体在一系列图像中频繁地相互重叠；图8是产生目标图(object map)的说明；图9是产生目标图的说明；图10是产生目标图的说明；图11是产生目标图的说明；图12是产生目标图的说明；图13是产生目标图的说明；图14(A)是由位于高速公路上的照相机以低照相机视角捕获的图像的一部分；图14(B)是在图2的图像转换部分从图14(A)转换成的图像，并覆盖有正方框，在这些框内包括由图2的移动物体跟踪装置识别的各个移动物体；图14(C)是对应于图14(B)图像的目标图；图15是在以下一种情况下sigmoid函数中关于参数β的跟踪移动物体成功率的一个实验结果图，这种情况是指图2的照相机位于高速公路上方，具有低照相机视角；和图16是表示代替图3的sigmoid函数的可用的简单线性函数(linefunction)的图。具体实施例方式现在参见附图，其中相似的附图标记表示多个附图的相似或相应的部分，本专利技术的优选实施例将如下所述。图1是表示根据本专利技术实施例的十字路口和位于该十字路口的移动物体跟踪装置的示意图。此装置装备有捕获十字路口和输出所捕获图像信号的电子照相机10和处理该图像以便自动跟踪移动物体的移动物体跟踪装置20。图2是移动物体跟踪装置20的功能方框图。在移动物体跟踪装置20的组成部分中，除了存储部分之外的每个组成部分还可以由计算机软件、专用硬件、或计算机软件和专用硬件的组合构成。电子照相机10拍摄的时间序列图像以例如12帧/秒的速率被存入图像存储器21。图像存储器21具有3帧或更多的存储容量，最老的帧图像替换为新的帧图像。图像转换部分22将图像存储器21中的每个帧图像复制到缓冲存储器23，参照复制的帧图像，将图像存储器21中相应的帧图像转换成空间差分帧图像。此转换分两步执行，如下设G(i，j)是原始帧图像第i行第j列的像素值(亮度值)，首先转换后的第i行第j列的像素值H(i，j)由下面的等式表示。H(i，j)＝∑相邻像素|G(i+di，j+dj)-G(i，j)|(1)这里，∑相邻像素表示di＝-c到c和dj＝-c到c的总和，其中c是自然数。例如，当c＝1时，它表示第i行第j列像素的8个相邻像素值的总和。当照度变化时，像素值G(i，j)及其相邻像素值G(i+di，j+dj)以相同方式变化。因此，H(i，j)的图像不受照度变化的影响。通常，像素值越大，像素值和相邻像素值之间差值的绝对值越大。即使像素值小并且因此差值小，也希望获得几乎与当像素值大并且差值大时所获得的边缘信息等价的边缘信息，以便提高跟踪移动物体的成功率。因此，H(i，j)被归一化为如下H(i，j)＝∑相邻像素|G(i+di，j+dj)-G(i，j)|/(Gi，j，max/Gmax)(2) 其中，Gi，j，max表示用于计算H(i，j)的原始像素值中的最大值。例如，当c＝1时，Gi，j，max是其中心在第i行第j列的3×3个像素的最大像素值。Gmax表示像素值G(i，j)的可取的最大值。例如，当像素值表示为8位时，Gmax是255。下面的描述将参照c＝1和Gmax＝255的情况给出。H(i，j)可取的最大值根据移动物体而变化。例如，当G(i，j)＝Gmax并且第i行第j列像素周围的所有8个相邻的像素具有像素值0时，H(i，j)＝8Gmax，因此H(i，j)不能表示成8位。另一方面，为在移动物体边缘部分的H(i，j)值所作的直方图表示出边缘部分中H的大多数值在50到110的范围内。也就是说，如果H值高于110，则跟踪移动物体的边缘信息量越小，因此它越不重要本文档来自技高网...

【技术保护点】
一种处理第一时间序列图像以便跟踪其中的移动物体的移动物体跟踪方法，该方法包括步骤： （ａ）通过将第一时间序列图像转换成各自的空间差分帧图像来生成第二时间序列图像；和 （ｂ）根据在接近时间ｔ２的时间ｔ１的其中一个空间差分帧图像和在时间ｔ２的另一个空间差分帧图像之间的相关性，还根据在时间ｔ１的所述其中一个空间差分帧图像中包含的移动物体的区分结果，区分在时间ｔ２的移动物体。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：上条俊介，坂内正夫，
申请(专利权)人：富士通株式会社，财团法人生产技术研究奖励会，
类型：发明
国别省市：JP[日本]