用于在移动终端中跟踪视频图像中的物体的方法技术

提供一种用于在移动终端中跟踪视频图像中的物体的方法，包括：(A)实时地获取视频图像的视频帧；(B)识别视频帧中是否存在具有预定特征的可疑物体；(C)将首次识别出的存在具有预定特征的可疑物体的视频帧作为触发帧，将触发帧中的可疑物体进行标记并将触发帧发送给服务器；(D)当从服务器接收到所述可疑物体是目标物体的指示时，从服务器接收触发帧中的目标物体的物体特征点和标记位置特征点，从所述候选帧中确定用于对目标物体进行定位跟踪的参考帧，基于接收的触发帧中的目标物体的物体特征点和标记位置特征点，对参考帧进行目标物体位置标记。根据所述方法，能够有效地提高物体定位跟踪的实时性和准确性。

【技术实现步骤摘要】

本专利技术总体来说涉及计算机视觉和模式识别
更具体地讲，涉及一种用于在移动终端中跟踪视频图像中的物体的方法。
技术介绍
随着电子技术的飞速发展，各种移动终端(例如，手机，平板电脑等)实现的功能越来越多，相应地，人们常常倾向于用移动终端替代计算机来满足各种需求，例如，通过移动终端实现对视频图像中的物体(例如，行人、车辆、路标等)的识别和跟踪。目前，在移动终端中实现对视频图像中的物体进行识别(例如，物体检测、特征提取、物体识别等)和跟踪等处理需要2-4秒，比在一般的服务器上进行处理慢了11-21倍，此外，在移动终端中实现对视频图像中的物体进行识别和跟踪处理在实时性和准确性方面也具有局限性，例如，由于图像处理识别和网络延迟的存在，以及智能手机的帧间物体跟踪计算的速度与帧率的不匹配，使得无法实时地实现对当前视频帧中物体的定位跟踪，如果丢弃部分视频帧进行计算，虽然加快了对缓存区中视频帧的处理并且及时地实现了对当前帧中物体的定位跟踪，但是使得定位跟踪的准确性降低，另一方面，在移动终端中进行上述处理不仅占用了内存资源还消耗了移动终端的电量。综上所述，现有的通过移动终端来跟踪视频图像中的物体的方法无法保证物体跟踪的实时性和准确性。
技术实现思路
本专利技术的示例性实施例在于提供一种用于在移动终端中跟踪视频图像中的物体的方法，通过所述方法，能够克服现有的通过移动终端跟踪视频图像中的物体的方法无法保证物体跟踪的实时性和准确性的缺陷。根据本专利技术的示例性实施例，提供一种用于在移动终端中跟踪视频图像中的物体的方法，包括：(A)实时地获取视频图像的视频帧；(B)识别视频帧中是否存在具有预定特征的可疑物体；(C)将首次识别出的存在具有预定特征的可疑物体的视频帧作为触发帧，将触发帧中的可疑物体进行标记并将触发帧发送给服务器，将所述触发帧之后获取的视频帧作为候选帧进行存储；(D)当从服务器接收到所述可疑物体是目标物体的指示时，从服务器接收触发帧中的目标物体的物体特征点和标记位置特征点，从所述候选帧中确定用于对目标物体进行定位跟踪的参考帧，基于接收的触发帧中的目标物体的物体特征点和标记位置特征点，对参考帧进行目标物体位置标记。可选地，步骤(B)包括：(B1)对获取的视频图像的视频帧中出现的物体进行特征检测；(B2)判断检测出的特征与预定特征是否匹配，其中，当检测出的特征与预定特征匹配时，确定视频帧中出现的物体为可疑物体。可选地，在步骤(D)中，从所述候选帧中确定用于对目标物体进行定位跟踪的参考帧的步骤包括：(D1)将所述候选帧转换为灰度图；(D2)利用转换的灰度图按照时间顺序获取每两个时间相邻的候选帧的帧间差分，以形成候选帧的帧间差分序列；(D3)采用多种划分方式将所述帧间差分序列划分为多个子序列组；(D4)提取每个子序列组中所包括的元素之和为最大值的子序列；(D5)从提取出的子序列中确定包括的元素之和为最小值的子序列；(D6)将确定的子序列所在的子序列组中相邻的子序列的各自作为端点的帧间差分都对应的候选帧作为参考帧。可选地，步骤(D3)包括：判断所述帧间差分序列中的帧间差分是否大于第一阈值，其中，当所述帧间差分序列中的所有帧间差分都不大于第一阈值时，采用多种划分方式将所述帧间差分序列划分为多个子序列组。可选地，在步骤(D2)中，获取每两个时间相邻的候选帧的帧间差分的步骤包括：确定每两个时间相邻的候选帧的灰度图之间所有相应位置点的灰度差值的绝对值，利用确定的绝对值确定每两个时间相邻的候选帧的帧间差分。可选地，在步骤(D)中，当从服务器接收到所述可疑物体不是目标物体的指示时，释放之前存储的候选帧，并返回步骤(B)。可选地，在步骤(D)中，利用以下项中的任意一种方法依次对所述参考帧进行目标物体位置标记：光流法、卡尔曼滤波法、连续自适应均值偏移算法。可选地，在步骤(D)中，当对所述参考帧进行目标物体位置标记的位置偏离了目标物体的预设位置时，释放之前存储的候选帧，并返回步骤(B)。可选地，在步骤(D)中，当所述帧间差分序列中的任意帧间差分大于第一阈值时，释放之前存储的候选帧，并返回步骤(B)。在根据本专利技术示例性实施例的用于在移动终端中跟踪视频图像中的物体的方法中，能够在移动终端中连续地、实时地对视频图像中的物体进行识别和跟踪，有效地提高物体定位跟踪的实时性和准确性，同时减少了对内存空间的占用。附图说明图1示出根据本专利技术示例性实施例的用于在移动终端中跟踪视频图像中的物体的方法的流程图；图2示出根据本专利技术示例性实施例的识别视频帧中是否存在具有预定特征的可疑物体的步骤的流程图；图3示出根据本专利技术示例性实施例的从所述候选帧中确定用于对目标物体进行定位跟踪的参考帧的步骤的流程图。具体实施方式现将详细参照本专利技术的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本专利技术。图1示出根据本专利技术示例性实施例的用于在移动终端中跟踪视频图像中的物体的方法的流程图。这里，作为示例，所述移动终端可以是智能手机、平板电脑、游戏机、多媒体播放器等安装有视频监控设备的移动终端。此外，作为示例，所述方法可由设置于移动终端中的相关的视频监控设备来实现，也可完全通过计算机程序来实现。如图1所示，在步骤S100，实时地获取视频图像的视频帧。具体说来，可利用安装在移动终端中的相关视频监控设备(例如，安装在智能手机中的摄像头等)来实时地拍摄视频图像，从而获取到视频图像的视频帧。在步骤S200，识别视频帧中是否存在具有预定特征的可疑物体。这里，可预先设置视频帧中需要进行识别的物体，作为示例，所述物体可以是行人、车辆、路标等，此外，由于每个物体都具有各自独特的特征(例如，汽车具有封闭性的边缘、路标固定的背景颜色、人脸区域人眼比脸颊颜色黑等)，因此，可通过检测视频帧中出现的物体是否具有预定特征来判断视频中出现的物体是否是可疑物体。下面，将结合图2来详细说明识别视频帧中是否存在具有预定特征的可疑物体的步骤。图2示出根据本专利技术示例性实施例的识别视频帧中是否存在具有预定特征的可疑物体的步骤的流程图。具体说来，在步骤S210，对获取的视频图像的视频帧中出现的物体进行特征检测。例如，可检测视频图像的视频帧中出现的物体是否具有封闭性边缘。在步骤S221，判断检测出的特征与预定特征是否匹配，本文档来自技高网...

【技术保护点】
一种用于在移动终端中跟踪视频图像中的物体的方法，包括：(A)实时地获取视频图像的视频帧；(B)识别视频帧中是否存在具有预定特征的可疑物体；(C)将首次识别出的存在具有预定特征的可疑物体的视频帧作为触发帧，将触发帧中的可疑物体进行标记并将触发帧发送给服务器，将所述触发帧之后获取的视频帧作为候选帧进行存储；(D)当从服务器接收到所述可疑物体是目标物体的指示时，从服务器接收触发帧中的目标物体的物体特征点和标记位置特征点，从所述候选帧中确定用于对目标物体进行定位跟踪的参考帧，基于接收的触发帧中的目标物体的物体特征点和标记位置特征点，对参考帧进行目标物体位置标记。

【技术特征摘要】
1.一种用于在移动终端中跟踪视频图像中的物体的方法，包括：
(A)实时地获取视频图像的视频帧；
(B)识别视频帧中是否存在具有预定特征的可疑物体；
(C)将首次识别出的存在具有预定特征的可疑物体的视频帧作为触发帧，
将触发帧中的可疑物体进行标记并将触发帧发送给服务器，将所述触发帧之后
获取的视频帧作为候选帧进行存储；
(D)当从服务器接收到所述可疑物体是目标物体的指示时，从服务器接收
触发帧中的目标物体的物体特征点和标记位置特征点，从所述候选帧中确定用
于对目标物体进行定位跟踪的参考帧，基于接收的触发帧中的目标物体的物体
特征点和标记位置特征点，对参考帧进行目标物体位置标记。
2.如权利要求1所述的方法，其中，步骤(B)包括：
(B1)对获取的视频图像的视频帧中出现的物体进行特征检测；
(B2)判断检测出的特征与预定特征是否匹配，其中，当检测出的特征与
预定特征匹配时，确定视频帧中出现的物体为可疑物体。
3.如权利要求1所述的方法，其中，在步骤(D)中，从所述候选帧中确
定用于对目标物体进行定位跟踪的参考帧的步骤包括：
(D1)将所述候选帧转换为灰度图；
(D2)利用转换的灰度图按照时间顺序获取每两个时间相邻的候选帧的帧
间差分，以形成候选帧的帧间差分序列；
(D3)采用多种划分方式将所述帧间差分序列划分为多个子序列组；
(D4)提取每个子序列组中所包括的元素之和为最大值的子序列；
(D5)从提取出的子序列中...

【专利技术属性】
技术研发人员：吴静，谭光，陈孔阳，谷瑑，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东;44