用于检测视频中的对象的方法、设备和系统技术方案

公开了用于进行视频内容分析以检测视频图像中感兴趣的人物或其他对象的方法、设备和系统。检测人物可以用于对人数进行计数、确定每个人的位置并且/或者对监测区域进行人群分析。

Method, device and system for detecting objects in video

A method, apparatus, and system for video content analysis to detect interested characters or other objects in a video image are disclosed. Detecting people can be used to count the number of people, determine where each person is and / or analyze the population in the monitoring area.

【技术实现步骤摘要】
用于检测视频中的对象的方法、设备和系统本案是分案申请，其母案为于2013年9月12日提交的题为“用于检测视频中的对象的方法、设备和系统”的申请号为201380047668.5的申请。相关专利申请的交叉引用本申请要求于2013年3月15日提交的美国申请第13/838,511号以及于2012年9月12日提交的美国临时专利申请第61/700,033号的优先权，以上两个申请的每一个的内容通过引用方式全文并入本文中。
本公开涉及视频监控，例如，视频监控方法和系统以及视频查证方法和系统。公开了可以检测人物的视频监控系统、设备和方法。视频监控系统、设备和方法可以统计人数并且/或者监测视频流中的人群场景。
技术介绍
智能视频监控(IVS)系统可以用于(例如，通过回顾此前记录并存储的视频)实时或离线检测视频中感兴趣的事件。通常，该任务通过检测并跟踪感兴趣的目标来完成。当场景不拥挤时，这通常很好地发挥作用。然而，这种系统的性能在拥挤场景中会显著降低。实际上，这种拥挤的场景频繁发生，因此，对能检测人群中的人物具有极大兴趣。这种检测人物可以用于统计以及其他人群分析，例如，人群密度、人群形成和人群分散。此前的人群分析工作处理一些具体的极端拥挤的场景，例如某些体育运动或宗教活动。然而，还需要关注偶尔会形成大量人群的更普通的监控场景。这些场景包括公共场所，例如，街道、购物中心、机场、公共汽车站和火车站等。最近，人群密度评估或统计人群中的人物的问题越来越得到研究社群以及行业的高度关注。现有的方法主要包括基于映射(间接)的方法和/或基于检测(直接)的方法。基于映射的方法可以尝试将人物目标的数量映射到提取的图像特征，例如，运动像素的数量、前景斑点(foregroundblob)的大小、前景边缘、前景角落的群以及其他图像特征。基于映射的方法通常要求针对不同类型的视频场景进行训练。研究主要集中在查找与人数良好对应的可靠特征以及如何处理一些特殊问题，例如，阴影和摄像机视图透视。在许多场景中，在提供足够训练视频的情况下，基于映射的方法可以提供相当精确的人数估计。然而，效果通常与场景有关系，并且每个个体的实际位置可能难以获得。基于检测的方法可以通过识别每个单独的人物目标来对场景中的人数进行计数。研究已经集中在人物检测、人体部位检测以及检测与跟踪的结合考量。这些方法可以在稍微拥挤的场景中提供更加精确的检测和计数。如果使得每个个体的位置可以获得，那么就可能能够计算局部人群密度。这些方法的关键挑战是更高的计算成本、依赖视角的知识以及较大的人物图像大小要求。本专利技术所述的实施例解决了现有系统的这样一些问题。
技术实现思路
所公开的实施例提供了用于对视频图像进行智能分析以检测对象(例如人物对象)的方法、设备和系统。在某些实施例中，一种检测视频中的人物对象的方法包括：确定作为前景像素的视频图像的某些像素，前景像素的组构成一个或多个前景斑点的前景斑点集；对于视频图像中N个位置的每个位置，其中N是整数(integer)，将预定形状与前景斑点集进行比较以获得人物在该位置的相应概率，从而获得与N个位置对应的N个概率；并且使用N个概率，确定由前景斑点集代表的X个人物，其中X是整数(wholenumber)。一种检测视频中的人物对象的方法可以包括：将真实世界场景的视频图像的像素确定为前景像素，前景像素的组构成一个或多个前景斑点的前景斑点集；对于视频图像中N个位置的每个位置，其中N是整数，将预定形状与前景斑点集进行比较以确定由所述前景斑点集代表的X个人物，其中X是整数。方法可以包括确定X个人物的每个人物的位置。X个人物的每个人物的位置可以确定为真实世界的水平面上的位置，例如，真实世界的物理地平面上的位置。检测人物对象可以用于对人物进行计数，用于人群分析和其他事件检测。公开了可以被配置成执行这些方法的系统和设备。包括可用于配置计算机以执行本专利技术所述操作的软件的计算机可读介质进一步包括本专利技术的实施例。附图说明结合附图，从以下详细描述可以更加清晰地理解示例性实施例。附图代表本专利技术描述的非限制性示例性实施例。图1图示了根据本专利技术的示例性实施例的示例性视频监控系统。图2图示了根据本专利技术的示例性实施例的示例性视频监控系统的视频流的示例性帧。图3A图示了根据本专利技术的示例性实施例的用于目标检测和计数的示例性流程图。图3B图示了几个人物模型占用二维视频图像的实例，每个人物模型相对于二维视频图像与不同的位置对应。图3C图示了一行(x，y)识别坐标321，每个识别坐标与对应的人物模型320相关联。图3D图示了用于计算人物概率映射(humanprobabilitymap)的示例性方法。图3E图示了执行单次扫过(pass)概率映射的示例性方法，该方法是找到视频图像内人物模型的最佳数量的一部分。图3F图示了执行多次扫过概率映射的方法，该方法用于找到视频图像内人物模型的最佳数量。图4图示了一般人物模型，包括三维圆柱体模型及其对应的二维凸壳(convexhull)模型。图5图示了可以使用几个人物图像样本进行校正的一般平地摄像机模型。图6A、图6B和图6C示出了示例性检测结果。图7A、图7B和图7C图示了关于基于人物检测结果的人群密度的实例。图8图示了用于检测各种人群相关事件的示例性实施方式。图9图示了如何定义并检测拥挤区域的示例性方法。图10图示了对每个检测的人物目标的示例性处理。图11图示了对每个拥挤区域的示例性处理。图12图示了可用于定义并检测人群“聚集”和“分散”事件的方法。图13图示了定义人群聚集点的一个实例。图14A和图14B示出了人群聚集点的一个实例。图15图示了检测人群聚集点的示例性方法。图16图示了更新人群聚集点并检测人群“聚集”和“分散”事件的示例性方法。图17图示了使用多个摄像机的示例性实施方式。具体实施方式以下将参照附图更全面地描述各个示例性实施例，附图图示了一些示例性实施例。然而，本专利技术能够以许多不同的方式来实施并且不应当被理解为限于本专利技术所述的示例性实施例。这些示例性实施例仅仅是实例，并且不要求本专利技术提供的细节的许多实施方式和变型是可行的。还应当强调的是，本公开提供替代实例的细节，但是这种替代方式的列举不是详尽的。此外，多个实例之间的任何细节一致不应当理解成要求这种细节，因为无法针对本专利技术描述的每种特征列举每种可行的变型。在确定本专利技术的要求时应当参照权利要求书的语言。在附图中，为了清晰起见，可以夸大层和区域的大小和相对大小。在整篇文中相同的附图标记指代相同的元件。应当理解，虽然术语“第一”、“第二”、“第三”等可以在本文中用于描述多种元件，但是这些元件应当不受这些术语的限制。这些术语用于使一个元件与另一个元件区分开。因此，在不脱离本专利技术构思的教导的情况下，以下讨论的第一元件可以称为第二元件。本专利技术中使用的术语“和/或”包括一个或多个相关的所列项目的任何和所有组合。应当理解，当元件被称为与另一个元件“连接上”或“耦接上”时，它可以与另一个元件直接连接上或耦接上，或者可以存在中间元件。反之，当元件被称为与另一个元件上“直接连接上”、“直接耦接上”时，不存在中间元件。用于描述元件之间的关系的其他词语应当用相同的方式进行理解(例如，“...与...之间”与“.直接在..与...本文档来自技高网...

【技术保护点】
一种检测视频中的人物对象的方法，包括：确定作为前景像素的视频图像的像素，所述前景像素的组构成一个或多个前景斑点的前景斑点集；对于所述视频图像中N个预定位置的对应的预定位置处的N个预定形状的每个预定形状，其中N是大于1的正整数，通过将对应的预定形状的重叠与所述前景斑点集进行比较来计算第一值，所述第一值用于获得所述对应的预定位置处的人物的对应的概率，从而获得与N个位置对应的N个概率；使用所述N个概率，确定由所述前景斑点集代表的X个人物，其中X是整数；并且使用所述X个人物的代表的确定来提供报告、警报和事件检测的至少一种，其中，响应于视频系统的校正来确定所述N个位置的每个位置的所述对应的预定形状的大小，并且其中，对于所述N个预定形状的每个预定形状，所述对应的预定形状与所述前景斑点集的比较包括分析所述对应的预定形状与所述前景斑点集的重叠面积的量。

【技术特征摘要】
2012.09.12 US 61/700,033;2013.03.15 US 13/838,5111.一种检测视频中的人物对象的方法，包括：确定作为前景像素的视频图像的像素，所述前景像素的组构成一个或多个前景斑点的前景斑点集；对于所述视频图像中N个预定位置的对应的预定位置处的N个预定形状的每个预定形状，其中N是大于1的正整数，通过将对应的预定形状的重叠与所述前景斑点集进行比较来计算第一值，所述第一值用于获得所述对应的预定位置处的人物的对应的概率，从而获得与N个位置对应的N个概率；使用所述N个概率，确定由所述前景斑点集代表的X个人物，其中X是整数；并且使用所述X个人物的代表的确定来提供报告、警报和事件检测的至少一种，其中，响应于视频系统的校正来确定所述N个位置的每个位置的所述对应的预定形状的大小，并且其中，对于所述N个预定形状的每个预定形状，所述对应的预定形状与所述前景斑点集的比较包括分析所述对应的预定形状与所述前景斑点集的重叠面积的量。2.根据权利要求1所述的方法，进一步包括使用所述N个概率以确定所述X个人物的每个人物的位置。3.根据权利要求2所述的方法，其中，所述X个人物的每个人物的确定的所述位置是与所述视频图像对应的图像平面中的位置。4.根据权利要求2所述的方法，其中，所述X个人物的每个人物的确定的所述位置是相对于与真实世界对应的物理地平面的位置。5.根据权利要求1所述的方法，其中，确定所述视频图像的前景像素包括将没有前景对象的视频图像的第一帧与包括所述前景对象的所述视频图像的第二帧进行比较。6.根据权利要求1所述的方法，其中，所述N个位置的每个位置的所述预定形状相同。7.根据权利要求1所述的方法，其中，所述N个位置的至少一些位置的所述预定形状具有不同大小。8.根据权利要求1所述的方法，其中，所述视频系统的校正包括确定所述视频图像的与所述N个位置的每个位置的平均人物大小对应的一部分的图像大小，并且其中，响应于对应的所述图像大小来确定所述N个位置的每个位置的所述预定形状的大小。9.根据权利要求1所述的方法，进一步包括：在确定作为所述前景像素的所述视频图像的所述像素之前，对于所述N个位置的每个位置，通过估计在人物存在于所述对应的位置时在所述视频图像中要被占据的前景图像部分来确定所述对应的预定形状。10.根据权利要求9所述的方法，其中，基于将真实世界中的人物模型投影到所述视频图像的图像平面上来估计所述N个位置的每个位置的所述前景图像部分。11.根据权利要求1所述的方法，其中，所述视频图像包括多个图像帧，每个图像帧包括具有所述N个位置的二维图像，所述N个位置的每个位置通过所述二维图像中的对应x、y坐标对来进行识别。12.根据权利要求11所述的方法，其中，所述N个位置的每个位置与相对于与所述视频图像对应的图像平面的所述N个预定形状的对应的预定形状相关。13.根据权利要求1所述的方法，进一步包括，对于所述N个位置的每个位置，计算所述对应的预定形状和所述前景斑点的调用率以确定相关的概率。14.根据权利要求13所述的方法，其中，对于所述N个位置的每个位置，计算所述调用率包括确定(a)包括所述预定形状和所述前景斑点占据的重叠面积的面积与(b)所述前景斑点的面积的比值。15.根据权利要求1所述的方法，进一步包括：使用所述N个概率创建概率映射；以及确定所述概率映射的概率的局部最大值。16.根据权利要求15所述的方法，进一步包括：选择所述N个位置中的与所述概率映射的局部最大值对应的第一位置；获得与所述第一位置对应的第一预定形状；以及分析所述第一预定形状和所述前景斑点占据的重叠面积的量。17.根据权利要求16所述的方法，进一步包括：计算(a)包括所述第一预...

【专利技术属性】
技术研发人员：张忠，尹卫红，彼得·为奈蒂阿奈尔，
申请(专利权)人：威智伦富智堡公司，
类型：发明
国别省市：加拿大,CA