对象跟踪方法和设备技术

提供了一种对象跟踪方法和设备。所述对象跟踪方法包括：在当前帧视差图中检测对象的位置，其中对象的位置包括对象的尺寸和对象的中心；根据前预定帧视差图中检测出的对象的位置，预测当前帧视差图中对象的位置；在当前帧视差图中检测出的对象的位置与预测的对象的位置相匹配的情况下，利用前一帧视差图中检测出的对象的尺寸的置信度，对当前帧视差图中检测出的对象的位置进行校正，以获得校正的位置。

【技术实现步骤摘要】
对象跟踪方法和设备
本专利技术总体涉及图像识别，具体涉及对象跟踪方法和设备
技术介绍
对象跟踪技术在辅助驾驶、车辆识别和跟踪、驾驶预警等众多领域中有着广泛的应用。 模板匹配跟踪是一种常见的对象跟踪方法。专利文献US7660438B2公开了一种即将发生的碰撞检测之前的对象跟踪方法和装置。在该专利中，在对象跟踪器的第一操作区域内检测对象，对象跟踪器确定对象的种类并跟踪对象，然后在碰撞检测器的第二操作区域内检测对象，最后利用碰撞检测器基于所述对象的种类启动安全措施。该专利的主要思想是预先存储对象位于各个位置和深度的模板，并将检测到的对象与各个模板相匹配。然而，在预先不知道被跟踪对象的尺寸以及在各个位置和深度的模板的情况下，该方法并不适用。 目前，越来越多的研究者开始利用视差图来检测和跟踪道路上的对象(例如，车辆)，并获得比利用2维图像进行跟踪要好的结果。基于中心的预测-检测-校正方法是其中一种常见用的跟踪方法。然而，在现实中，所获取的对象的视差图往往是不完整的，对象的一些部分(例如水平边)在视差图中可能没有对应的视差值，因此在这种情况下，只能检测到对象的一部分。例如，在如图1所示的视差图中，两个圆圈中的车的一部分没有视差值；由此，如图2的对应灰度图中所示，左侧圆圈中的车只有左半部分被检测出来，而右侧圆圈中的车被错误地检测为3个物体。在这样的情况下，利用上述基于中心的预测-检测-校正方法根据检测结果进行跟踪，可能会得到错误的跟踪结果。 具体的，如图3 (a)所示，假设在第N-1帧图像中被跟踪对象(例如，车辆)的外框如图中的矩形框所示，并且由此确定的对象中心的横坐标为;在第N帧中，由于视差图不完整，只检测到对象的一部分，即检测到的被跟踪对象的外框如图3 (b)中的实线矩形框所示，并且由此确定的对象中心的横坐标为ΧΛμΝ，而实际上该对象在第N帧中真正的外框如图3 (b)中的虚线框所示，并且该对象真正的横坐标应为Χ’_<Ν。按照基于中心的预测-检测-校正方法,根据第N-1帧的对象中心的横坐标和第N帧中检测到的对象中心的横坐标,预测出第Ν+1帧中对象的外框(如图3 (c)中的虚线框所示)和对象中心的横坐标 ^■object, N+1 ,P Xobject，N+ ^ -^object, N ^object, N-1)。由于第N+1帧中对象的检测结果如图3 (c)中的实线框所示，因此第N+1帧中对象的预测结果和检测结果可能匹配不上。由此，可能错误地认为被跟踪对象丢失，从而得到不正确的跟踪结果。 因此，需要一种对象跟踪技术，该技术在预先不知道被跟踪对象的尺寸并且被跟踪对象的视差图不完整的情况下，也能够提供较好的跟踪结果。
技术实现思路
根据本专利技术的实施例，提供了一种对象跟踪方法，包括:在当前帧视差图中检测对象的位置，其中对象的位置包括对象的尺寸和对象的中心；根据前预定帧视差图中检测出的对象的位置，预测当前帧视差图中对象的位置；在当前帧视差图中检测出的对象的位置与预测的对象的位置相匹配的情况下，利用前一帧视差图中检测出的对象的尺寸的置信度，对当前帧视差图中检测出的对象的位置进行校正，以获得校正的位置。 根据本专利技术的另一实施例，提供了一种对象跟踪设备，包括:检测部件，在当前帧视差图中检测对象的位置，其中对象的位置包括对象的尺寸和对象的中心；预测部件，根据前预定帧视差图中检测出的对象的位置，预测当前帧视差图中对象的位置；校正部件，在当前帧视差图中检测出的对象的位置与预测的对象的位置相匹配的情况下，利用前一帧视差图中检测出的对象的尺寸的置信度，对当前帧视差图中检测出的对象的位置进行校正，以获得当前帧视差图中对象的校正的位置。 根据本专利技术实施例的对象跟踪技术在预先不知道被跟踪对象的尺寸并且被跟踪对象的视差图不完整的情况下，能够提供较好的跟踪结果。 【附图说明】 图1示出了视差图不完整的示例情形。 图2示出了灰度图中显示的示例性错误检测结果。 图3 (a)-3 (c)示意性地示出了根据现有技术的对象跟踪检测结果。 图4示意性地示出了应用根据本专利技术实施例的对象跟踪技术的示例场景。 图5示出了根据本专利技术第一实施例的利用视差图的对象跟踪方法的流程图。 图6 (a) -6 (d)分别示意性地示出了第N_2帧被跟踪对象的检测结果，第N_1帧被跟踪对象的检测结果，第N帧被跟踪对象的预测结果以及第N帧被跟踪对象的检测结果。 图7示出了根据本专利技术第一实施例的示例性置信度计算方法的流程图。 图8示出了对当前帧检测出的对象的中心进行处理的示意情形。 图9示出了根据本专利技术实施例的对象跟踪设备的功能配置框图。 图10示出了根据本专利技术实施例的对象跟踪系统的总体硬件框图。 【具体实施方式】 为了使本领域技术人员更好地理解本专利技术，下面结合附图和【具体实施方式】对本专利技术作进一步详细说明。 图4示意性地示出了应用根据本专利技术实施例的对象跟踪技术的示例场景。如图4所示，用户位于配备有双目像机402的车401内，该双目像机对道路上行驶的车辆进行跟踪拍摄，以获得连续多帧的左视图和右视图。诸如计算芯片的处理设备403根据由双目相机拍摄得到的连续多帧的左视图和右视图，计算得到对应的连续多帧的视差图，并利用该视差图来检测和跟踪所拍摄的车辆。为了便于理解，可以认为下文中所述的被跟踪对象是道路上的车辆。 <第一实施例> 图5示出了根据本专利技术第一实施例的利用视差图的对象跟踪方法的流程图。 如图5所示，在步骤S510，在当前帧视差图中检测对象的位置，其中对象的位置包括对象的尺寸和对象的中心。 如本领域技术人员公知的，视差图是以一对图像中任一图像为基准图像，尺寸为该基准图像的尺寸，并且每个点(像素点)的灰度值为基准图像中对应点的视差的图像。可以以本领域公知的很多方式获得视差图，此处不再进行详细描述。 另外，如前文所述，利用视差图来检测对象在本领域中已经有很多研究，其并非本专利技术的关键所在，本领域技术人员可以利用例如基于连通域分析(connected componentanalysis)的方法、基于U视差图或V视差图的方法等任何现有的适当方式在视差图中检测对象，此处不再进行详细描述。 在本专利技术中，通过对象的尺寸和对象的中心来表示对象的位置。参见图6 (d)，假设当前帧(第N帧)视差图中检测到的对象的位置如图6 (d)中的矩形框所示，其中该矩形框表示对象的外框，该外框的尺寸可以用长和宽来表，矩形框中的圆点表示通过该外框确定出的对象的中心，该中心的X坐标用ΧΛ_,Ν表示。另外，优选的，对象的尺寸还可以包括从上一帧到当前帧、对象在深度移动方向上的移动距离，该移动距离可以从视差图本身的 息获得。 在步骤S520，根据前预定帧视差图中检测出的对象的位置，预测当前帧视差图中对象的位置。 根据历史帧来预测当前帧中对象的位置在本领域中已经有很多研究，作为一种基本的实现方式，可以根据前两帧确定对象的移动速度，由此预测当前帧中对象的位置。 例如，如图6 (a)和6 (b)所示，在第N_2帧中检测的被跟踪对象的中心坐标为Object (xobJect；N_2, yobJect；N_2, zobJ本文档来自技高网...

【技术保护点】
一种对象跟踪方法，包括：在当前帧视差图中检测对象的位置，其中对象的位置包括对象的尺寸和对象的中心；根据前预定帧视差图中检测出的对象的位置，预测当前帧视差图中对象的位置；在当前帧视差图中检测出的对象的位置与预测的对象的位置相匹配的情况下，利用前一帧视差图中检测出的对象的尺寸的置信度，对当前帧视差图中检测出的对象的位置进行校正，以获得校正的位置。

【技术特征摘要】
1.一种对象跟踪方法,包括: 在当前帧视差图中检测对象的位置，其中对象的位置包括对象的尺寸和对象的中心； 根据前预定帧视差图中检测出的对象的位置，预测当前帧视差图中对象的位置； 在当前帧视差图中检测出的对象的位置与预测的对象的位置相匹配的情况下，利用前一帧视差图中检测出的对象的尺寸的置信度，对当前帧视差图中检测出的对象的位置进行校正，以获得校正的位置。2.如权利要求1所述的对象跟踪方法，其中对当前帧视差图中检测出的对象的位置进行校正以获得校正的位置包括: 利用前一帧视差图中检测出的对象的尺寸的置信度，根据前一帧视差图中对象的校正的尺寸，对当前帧视差图中检测出的对象的尺寸进行校正，以获得校正的尺寸；和 利用前一帧视差图中检测出的对象的尺寸的置信度，根据预测出的对象在当前帧视差图中的中心，对当前帧视差图中检测出的对象的中心进行校正，以获得校正的中心。3.如权利要求2所述的对象跟踪方法，其中所述对象的尺寸包括对象的高度和宽度以及在相邻帧之间在深度方向的移动距离。4.如权利要求3所述的对象跟踪方法，其中对当前帧视差图中检测出的对象的尺寸进行校正以获得校正的尺寸包括: 将前一帧视差图中对象的校正的高度和当前帧视差图中检测出的对象的高度进行加权，将加权得到的值作为当前帧视差图中对象的校正的高度，其中前一帧视差图中对象的校正的高度的权重为前一帧视差图中检测出的对象的高度的置信度； 将前一帧视差图中对象的校正的宽度和当前帧视差图中检测出的对象的宽度进行加权，将加权得到的值作为当前帧视差图中对象的校正的宽度，其中前一帧视差图中对象的校正的宽度的权重为前一帧视差图中检测出的对象的宽度的置信度； 将前一帧视差图中对象的校正的移动距离和当前帧视差图中检测出的对象的移动距离进行加权，将加权得到的值作为当前帧视差图中对象的校正的移动距离，其中前一帧视差图中对象的校正的移动距离的权重为前一帧视差图中检测出的对象的移动距离的置信度。5.如权利要求3所述的对象跟踪方法，其中对当前帧视差图中检测出的对象的中心进行校正以获得校正的中心包括: 将预测的当前帧视差图中对象的中心的X轴坐标值和当前帧视差图中检测出的对象的中心的X轴坐标值进行加权，并将加权得到的X轴坐标值作为当前帧视差图中对象的校正的中心的X轴坐标值，其中预测的当前帧视差图中对象的中心的X轴坐标值的权重为前一帧视差图中检测出的对象的宽度的置信度； 将预测的当前帧视差图中对象的中心在深度方向的移动距离和当前帧视差图中检测出的对象的中心在深度方向的移动距离进行加权，并将加权得到的移动距离作为当前帧视差图中对象的校正的移动距离，其中预测的当前帧视差图中对象的中心的移动距离的权重为前一帧视差图中检测出的对象的移动距离的置信度。6.如权利要求5所述的对象跟踪方法，其中对当前帧视差图中检测出的对象的中心进行...

【专利技术属性】
技术研发人员：游赣梅，鲁耀杰，师忠超，王刚，刘童，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP