用于多目标跟踪的方法和系统技术方案

提供了用于使用诸如UAV之类的可移动物体来跟踪多个目标物体的系统、装置和方法。具体地，可以基于从UAV承载的成像装置获得的图像来识别多个目标物体。可以基于多个目标物体来选择包括一个或多个目标物体在内的目标组。可以基于一个或多个目标物体的个体状态来确定目标组状态。可以基于目标组状态在整体上跟踪目标组。

【技术实现步骤摘要】
【国外来华专利技术】用于多目标跟踪的方法和系统
技术介绍
配备有成像装置的无人机(UAV)可用于包括监视、侦察和探索在内的各种应用中。这种应用中的一个重要任务是跟踪诸如在周围环境中移动的目标物体和/或UAV之类的目标。当需要跟踪多个目标物体时，任务可能尤其具有挑战性。
技术实现思路
根据实施例，提供了一种用于跟踪多个目标的计算机实现的方法。该方法包括基于从成像装置获得的多个图像识别多个目标，所述成像装置由无人机(UAV)经由载体承载；从所述多个目标中确定包括一个或多个目标在内的目标组；以及控制所述UAV和/或所述载体以跟踪所述目标组。根据实施例，提供了一种跟踪系统。该跟踪系统包括：存储器，存储一个或多个计算机可执行指令；以及一个或多个处理器，被配置为访问存储器并执行计算机可执行指令以执行方法，该方法包括以下步骤：基于从成像装置获得的多个图像识别多个目标，所述成像装置由无人机(UAV)经由载体承载；从所述多个目标中确定包括一个或多个目标在内的目标组；以及控制所述UAV和/或所述载体以跟踪所述目标组。根据实施例，提供了一种或多种非暂时性计算机可读存储介质。该一种或多种非暂时性计算机可读存储介质存储计算机可执行指令，该计算机可执行指令当由计算系统执行时配置该计算系统以执行方法，所配置的计算系统包括：存储器，存储一个或多个计算机可执行指令；以及一个或多个处理器，被配置为访问存储器并执行计算机可执行指令以执行方法，该方法包括以下步骤：基于从成像装置获得的多个图像识别多个目标，所述成像装置由无人机(UAV)经由载体承载；从所述多个目标中确定包括一个或多个目标在内的目标组；以及控制所述UAV和/或所述载体以跟踪所述目标组。在一些实施例中，确定所述目标组包括：基于与所述一个或多个目标中的每一个相关联的目标状态，从所述多个目标中选择所述一个或多个目标。在一些实施例中，确定所述目标组包括：基于主要目标从所述多个目标中选择一个或多个目标。在一些实施例中，方法还包括：基于所述一个或多个目标中的每一个的目标状态来确定所述目标组的目标组状态。所述目标组状态可以用于控制所述UAV和/或所述载体以跟踪所述目标组。所述目标组状态或所述目标状态可以包括位置、大小、速度或取向中的至少一个。在一些实施例中，方法还包括：更新所述目标组，并控制所述UAV和/或所述成像装置以跟踪更新的目标组。应当理解，可以单独地、共同地或彼此组合地理解本专利技术的不同方面。可以将本文中所描述的本专利技术的各种方面应用于以下所阐述的具体的应用中的任何一个或任何其他类型的可移动和/或静止物体之间的数据通信。通过阅读说明书、权利要求和附图，本专利技术的其它目的和特征将变得显而易见。附图说明本专利技术的新颖特征在所附权利要求中具体阐述。通过参考下面的详细描述及其附图，将更好地理解本专利技术的特征和优点，所述详细描述中阐述了利用本专利技术的原理的说明性实施例，所述附图中：图1示出了根据实施例的用于实现多目标跟踪的系统；图2示出了根据实施例的跟踪系统中的示例组件；图3示出了根据实施例的用于实现多目标跟踪的示例性过程；图4示出了根据实施例的用于实现多目标跟踪的示例性过程；图5示出了根据实施例的用于实现多目标跟踪的另一示例性过程；图6示出了根据实施例的用于实现多目标跟踪的另一示例性过程；图7示出了根据实施例的用于目标组选择的一些示例性过程；图8示出了根据实施例的用于目标组选择的示例性过程；图9示出了根据实施例的目标物体向目标组的添加；图10示出了根据实施例的目标物体从目标组的移除；图11示出了根据实施例的基于主要目标对目标组的更新；图12示出了根据实施例的目标组选择的示例；图13示出了根据一些实施例的当目标组相对于跟踪装置以平移运动移动时对目标组的跟踪；图14示出了根据一些实施例的图13的实施例的不同的视觉描绘；图15示出了根据一些实施例的用于基于跟踪装置与目标组之间的相对平移运动来跟踪目标组的示例性反馈控制环路的框图；图16示出了根据一些实施例的使用反馈控制系统对目标组的跟踪；图17示出了根据一些实施例的用于基于跟踪装置与目标组之间的相对位移的改变的最小化来跟踪目标组的示例性反馈控制环路的框图；图18示出了根据一些实施例的通过改变跟踪装置相对于目标组的取向对目标组的跟踪；图19示出了根据一些实施例的图18的实施例的不同的视觉描绘；图20示出了根据一些实施例的当跟踪装置相对于目标组在偏航方向和俯仰方向上改变其取向时，多个图像帧中的边界框的位置的改变；图21示出了根据实施例的包括载体和搭载物在内的可移动物体；图22是根据实施例的用于控制可移动物体的系统的框图形式的示意图。具体实施方式提供了用于使用诸如UAV之类的可移动物体来跟踪多个目标物体的系统、装置和方法。具体地，可以基于从UAV承载的成像装置获得的图像来识别多个目标物体。可以基于多个目标物体来选择包括一个或多个目标物体在内的目标组。可以基于一个或多个目标物体的个体状态来确定目标组状态。可以基于目标组状态在整体上跟踪目标组。图1示出了根据实施例的用于实现多目标跟踪的系统100。跟踪系统100可以包括成像装置106或可移动物体102，该可移动物体102通过或不通过载体104而承载成像装置106。在一些实施例中，跟踪系统100可以可选地包括远程终端112。跟踪系统100可以被配置为跟踪包括一个或多个目标物体110在内的目标组108。在一些实施例中，可移动物体可以是诸如本文中其他地方所描述的无人飞行器(UAV)。搭载物可以包括能够感测可移动物体周围的环境的装置、能够向环境发射信号的装置和/或能够与环境交互的装置。搭载物可以包括成像装置。成像装置可以是物理成像装置。成像装置可以被配置为检测电磁辐射(例如，可见光、红外光和/或紫外光)，并基于检测到的电磁辐射生成图像数据。成像装置可以包括响应于光的波长而产生电信号的电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。可以对所得到的电信号进行处理以生成图像数据。由成像装置生成的图像数据可以包括一个或多个图像，其可以是静态图像(例如照片)、动态图像(例如视频)或其适合的组合。图像数据可以是多色的(例如RGB、CMYK、HSV)或单色的(例如灰度、黑白、棕褐色)。成像装置可以包括配置成将光引导到图像传感器上的镜头。成像装置可以是相机。相机可以是捕获动态图像数据(例如视频)的电影或视频相机。相机可以是捕获静态图像(例如照片)的静态相机。相机可以捕获动态图像数据和静态图像二者。相机可以在捕获动态图像数据和静态图像之间切换。尽管本文中提供的某些实施例是在相机的背景下描述的，但是应当理解，可以将本公开应用于任何适合的成像装置，也可以将本文中关于相机的任何描述应用于任何合适的成像装置，并且本文中涉及相机的任何描述也可以应用于其它类型的成像装置。可以使用相机来生成3D场景(本文档来自技高网...

【技术保护点】
1.一种用于跟踪多个目标的计算机实现的方法，包括：/n基于从成像装置获得的多个图像识别多个目标，所述成像装置由无人机UAV经由载体承载；/n从所述多个目标中确定包括一个或多个目标在内的目标组；以及/n控制所述UAV和/或所述载体以跟踪所述目标组。/n

【技术特征摘要】
【国外来华专利技术】1.一种用于跟踪多个目标的计算机实现的方法，包括：
基于从成像装置获得的多个图像识别多个目标，所述成像装置由无人机UAV经由载体承载；
从所述多个目标中确定包括一个或多个目标在内的目标组；以及
控制所述UAV和/或所述载体以跟踪所述目标组。


2.根据权利要求1所述的方法，其中，确定所述目标组包括：基于与所述一个或多个目标中的每一个相关联的目标状态，从所述多个目标中选择所述一个或多个目标。


3.根据权利要求1所述的方法，其中，确定所述目标组包括：基于主要目标从所述多个目标中选择一个或多个目标。


4.根据权利要求1所述的方法，还包括：基于所述一个或多个目标中的每一个的目标状态来确定所述目标组的目标组状态。


5.根据权利要求4所述的方法，其中，所述目标组状态被用于控制所述UAV和/或所述载体以跟踪所述目标组。


6.根据权利要求4所述的方法，其中，所述目标组状态或所述目标状态包括位置、大小、速度或取向中的至少一个。


7.根据权利要求1所述的方法，还包括：更新所述目标组，并控制所述UAV和/或所述成像装置以跟踪更新的目标组。


8.一种跟踪系统，包括：
存储器，存储一个或多个计算机可执行指令；以及
一个或多个处理器，被配置为访问所述存储器并执行所述计算机可执行指令以执行包括以下步骤的方法：
基于从成像装置获得的多个图像识别多个目标，所述成像装置由无人机UAV经由载体承载；
从所述多个目标中确定包括一个或多个目标在内的目标组；以及
控制所述UAV和/或所述载体以跟踪所述目标组。


9.根据权利要求8所述的系统，其中，确定所述目标组包括：基于与所述一个或多个目标中的每一个相关联的目标状态，从所述多个目标中选择所述一个或多个目标。


10.根据权利要求8所述的系统，其中，确定所述目标组包括：基于主要目标从所述多个目标中选择一个或多个目标。


11.根据权利要求8所述的系统，其中，所述方法还包括：基于所述一个...

【专利技术属性】
技术研发人员：钱杰，王宏达，邬奇峰，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44