视频分析制造技术

一种用于执行低水平视频分析处理的视频分析系统及相关方法将处理分为三个阶段，以便高效地使用许多现代数据处理器的ＳＩＭＤ指令。在第一阶段，使用预先确定的掩码来收集感兴趣的像素并将其置于像素矩阵中。在第二阶段，对像素矩阵执行视频分析处理，并且在第三阶段，使用相同的预先确定的掩码来分散所述像素。这允许同时处理许多像素，提高了总体性能。还可以在像素的收集和分散期间使用ＤＭＡ单元来减轻处理器的负担，进一步提高性能。网络照相机集成了视频分析系统以降低网络通信量。

【技术实现步骤摘要】

本公开涉及一种用于高效地执行视频分析操作的方法、相应的计 算机程序和照相机。
技术介绍
视频分析或视频内容分析涵盖从视频运动检测和音频检测到更先进的系统(包括照相机擅改(tampering)检测、人员计数、检测 物体穿过感兴趣的线或区域、车辆牌照识别、将视频分成前景部分和 背景部分、跟踪目标、交通分析、元数据提取、生物测定应用、以及 人脸识别)。视频分析还使得监视系统更加智能，以将大量的图像数 据减少到可管理的水平。智能视频监视系统例如可以实时地自动分析 监视视频并对监视视频加标签，检测可疑活动，启动视频记录，激活 警报或其它动作以警告操作员或其他人员。在监视应用中，常常使用视频分析来检测运动。运动检测是通过 分析图像数据来定义场景中的活动的一种方式，并可以对监视照相机 的整个视野或者对用户定义的感兴趣的区域执行运动检测。此外，具 有运动检测能力的视频监视系统能够比操作员更可靠地检测运动，并 因此能够使操作员不必长时间地盯着多个视频监视器。作为替代，具 有运动检测能力的视频监视系统能够在检测到运动时使用视觉指示 器、音频指示器或两者来警告操作员。这样的监视系统还可以使监视 照相机自动地聚焦在检测到运动的区域以获得更详细的图像。如本专利技术人所认识的那样，能够执行视频分析的网络照相机将降 低集中式图像处理系统的工作负荷，并节省宝贵的网络带宽。这样的 网络照相机将使得能够实现真正的事件驱动的监视系统，其中照相机 进行的运动检测可以触发预先定义的自动处理(诸如调整温度、激活警报、锁门/开门，等等)。然而，由于视频分析频繁地需要对大量的像素数据执行几种相对 简单的操作，所以当前的方法不适用于诸如网络照相机的移动应用或嵌入式应用。为了降低CPU处理负担，已开发了快速减少在视频分析期间所处理的数据量(像素数目)的传统方法。一种这样的传统方法顺序地遍历图像中的所有像素以识别感兴 趣的像素。如果对某像素不感兴趣，则该方法转到下一像素进行分析。 在本文中，感兴趣的表示像素包含与正在进行的分析相关的信息 (例如，运动信息)。如果对某像素感兴趣，则该方法在转到下一像 素之前对该像素执行相关操作。因此，此方法将像素的视频分析处理嵌套(nest)在识别感兴趣的像素的例程(routine)内。在滤波器的 情况下，例如，虽然只是选择性地对感兴趣的像素应用滤波器，但每 次仍仅对一个像素应用滤波器。许多现代处理器能够执行单指令多数据(SIMD)指令，以便并 行地处理多个数据字段，并提高性能。在具有SIMD指令能力的处理 器中，每个寄存器被划分成至少两个字段。每个字段表示独立于其它 字段中数据的数据。例如，在视频分析的情况下，每个字段可以表示 单个像素。由于处理器能够对整个寄存器执行SIMD指令，所以在寄 存器的多个字段中包含的像素被同时处理。因此，具备SIMD能力的 处理器的性能会明显地好于通用处理器的性能。然而，如本专利技术人所认识的那样，选择要被处理的像素的上述传 统方法不是很适合于SIMD指令处理。因为该方法将视频分析处理嵌 套在像素选择流程内，所以迫使具备SIMD能力的处理器以与通用处 理器大致相同的方式一次一个地处理所选的像素，从而消除了通过采 用SIMD指令而获得的优点。传统视频分析的上述低效的结果是对于执行视频分析功能(诸 如滤波和运动检测)来说，仍然优选具有高处理能力的强大计算机系 统。因此，这些方法不是很适合于网络照相机中视频分析的本地实现。典型的视频监视系统包括通过诸如基于IP的网络之类的网络连接到中央处理单元的多个视频监视照相机。基于IP的网络常常不是 排它地专用于视频监视系统，而被与其它基于网络的应用(诸如电子邮件、Web浏览、数据库系统等)共享。在视频监视系统采用由中央 处理单元执行的传统视频分析的情况下，每个照相机必须向中央处理 单元提供原始视频图像流。这将巨量的视频数据置于具有大量数据通 信量的网络上，因此需要本来可被其它网络应用所使用的带宽。
技术实现思路
本公开提供一种适合于具备SIMD能力的处理器的、用于从图像 中选择感兴趣的像素的方法、计算机程序、以及照相机，从而解决现 有技术中的上述不足。根据本专利技术的用于视频分析处理的示例性系统 包括像素收集单元，所述像素收集单元通过使用预先确定的二进制掩 码从图像收集多个感兴趣的像素。所述预先确定的二进制掩码被用于 定义感兴趣的像素在图像上的位置。电子存储器将感兴趣的像素存储 为像素矩阵，该像素矩阵只包含被相邻排列的感兴趣的像素。数据处 理器独立于像素收集单元地对所述像素矩阵执行视频分析处理，且像 素分散单元根据预先确定的掩码将经处理的像素分散回图像中。附图说明随着通过阅读参照附图进行的以下详细描述而更好地理解本专利技术及其许多伴随的优点，将容易地获得对本专利技术及其许多伴随的优点的更全面的认识，在附图中图1是根据本公开的示例性实施例的视频分析系统的示意图； 图2是在其上执行根据本公开的示例性实施例的视频分析方法的计算机系统的示意图3是根据本公开的示例性实施例的视频分析方法的示意图； 图4是根据本公开的示例性实施例的二进制掩码应用的流程图； 图5是根据本公开的示例性实施例的二进制掩码的形态膨胀和应用的示意图；图6是根据本公开的示例性实施例的形态膨胀的流程图7是根据本公开的实施例的像素收集图8是根据本公开的实施例的像素分散图；以及图9是根据本公开的示例性实施例的视频分析方法的流程图10是视频监视系统图；以及图11是根据本公开的示例性实施例的网络照相机的图。 具体实施例方式本公开通过参考附图来描述优选实施例。图1是根据本公开的示例性实施例的视频分析系统的图。该系统 包括用于收集感兴趣的像素的收集单元3、用于在处理完成时分散感 兴趣的像素的分散单元4、用于存储感兴趣的像素的电子存储器2、 以及用于执行视频分析处理的数据处理器1。所有上述组件通过数据 总线5互连。可以在诸如采用奔腾处理器的PC的个人计算设备上实现所述视 频分析处理系统。可以将收集单元3和分散单元4的指令集提供作为 结合处理器和操作系统(诸如Microsoft VISTA 、 Unix、 Solaris, Linux、 Apple MAC-OS及本领域技术人员已知的其它系统)所执行 的实用程序(utility application )、操作系统的后台守护进程或组件、 或其组合。电子存储器2可以是被集成到PC的动态或静态随机存取存储器 (RAM)，或者可以是其它存储设备(诸如FLASH、 EEPROM、光 盘、服务器等)。所述存储器也可以是能够从视频分析处理系统拆卸 的。图2是根据本实施例的客户端计算机或监视中心计算机的示意 图。该计算机包括与键盘112、定位设备lll和显示器IIO相连的计 算设备100。计算设备100包括执行控制处理并与用于临时存储正被处理的 数据的主存储器105相连的处理器101，和存储由处理器101执行的指令的ROM 106。盘控制器107至少控制可用于在处理前和处理后 存储视频序列的盘108和CD-ROM 109。显示器控制器104用于控制 外部显示器，且I/O接口 102用于控制其它外部设备(诸如键盘112、 定位设备111和显示器110)。总线103将所有这些组件互连。计算设备本文档来自技高网...

【技术保护点】
一种视频分析处理方法，包括：　根据预先确定的二进制掩码将来自图像的多个感兴趣的像素收集在计算机可读存储介质中，所述预先确定的二进制掩码定义所述多个感兴趣的像素在所述图像上的至少一个位置；　将所述多个感兴趣的像素排列在至少包括所述 感兴趣的像素的像素矩阵中，每个感兴趣的像素被与其它感兴趣的像素相邻地存储在所述像素矩阵中；　使用数据处理器上的ＳＩＭＤ指令对所述像素矩阵执行视频分析处理；以及　根据所述预先确定的二进制掩码，在处理之后将所述感兴趣的像素分散到图像 中，其中　独立于执行视频分析处理步骤地执行所述收集步骤和所述分散步骤。

【技术特征摘要】
US 2008-9-26 61/100,575;US 2008-11-21 12/275,832;E1.一种视频分析处理方法，包括根据预先确定的二进制掩码将来自图像的多个感兴趣的像素收集在计算机可读存储介质中，所述预先确定的二进制掩码定义所述多个感兴趣的像素在所述图像上的至少一个位置；将所述多个感兴趣的像素排列在至少包括所述感兴趣的像素的像素矩阵中，每个感兴趣的像素被与其它感兴趣的像素相邻地存储在所述像素矩阵中；使用数据处理器上的SIMD指令对所述像素矩阵执行视频分析处理；以及根据所述预先确定的二进制掩码，在处理之后将所述感兴趣的像素分散到图像中，其中独立于执行视频分析处理步骤地执行所述收集步骤和所述分散步骤。2. 如权利要求1所迷的视频分析处理方法，其中，对于每个感 兴趣的像素，所述收集步骤包括使所述预先确定的二进制掩码沿横向方向膨胀至少一个像素位置，依照膨胀后的二进制掩码收集来自所述感兴趣的像素之上的像 素行的至少 一 个相邻像素，依照膨胀后的二进制掩码收集来自所述感兴趣的像素的像素行 的至少一个相邻像素和所述感兴趣的像素，以及依照膨胀后的二进制掩码收集来自所述感兴趣的像素之下的像 素行的至少 一个相邻像素。3. 如权利要求1或2所述的视频分析处理方法，其中，所述收 集步骤和所述分散步骤还包括使用DMA单元以独立于所述数据处理器的方式分别收集和分散所述多个感兴趣的像素和相邻像素。4. 如权利要求1至3中的任何一项所述的视频分析处理方法， 其中，执行视频分析处理包括使用SIMD指令集利用NxN滤波器核 对所述感兴趣的像素进行滤波，所述SIMD指令集包括取平均指令、 具有有偏结果的半分减法指令和接合指令。5. 如权利要求4所述的视频分析处理方法，其中，在整个滤波 运算过程中，预先确定的表示每个像素的位的数目被保持恒定。6. —种包括计算机可读指令的计算机程序，所述指令在被处理 器执行时使该处理器执行视频分析处理方法，所述视频分析处理方法 包括根据预先确定的二进制掩码将来自图像的多个感兴趣的像素收 集在计算机可读存储介质中，所述预先确定的二进制掩码定义所述多个感兴趣的像素在所述图像上的至少一个位置；将所述多个感兴趣的像素排列在至少包括所述感兴趣的像素的 像素矩阵中；使用SIMD处理器对所述像素矩阵执行视频分析处理；以及 根据所述预先确定的二进制掩码，在处理之后将所述像素分散到 图像中，其中独立于执行视频分析处理步骤地执行所述收集步骤和所述分散步骤。7. 如权利要求6所述的计算机程序，其中，对于每个感兴趣的 像素，所述收集步骤包括使所述预先确定的二进制掩码沿横向方向膨胀至少 一 个像素位置，依照膨胀后的二进制掩码收集来自所述感兴趣的像素之...

【专利技术属性】
技术研发人员：J阿尔布莱德，
申请(专利权)人：阿克塞斯股份公司，
类型：发明
国别省市：SE[瑞典]