一种解决低功耗直播跟拍云台目标跟丢的方法技术

本发明专利技术提供一种解决低功耗直播跟拍云台目标跟丢的方法，所述方法包括：S1、获取视频图像数据：通过云台安装的摄像头获取到实时码流数据，得到每帧图像数据；S2、跟踪条件a：判断是否直接进入S6，如果判定结果为TRUE，则直接进入S6，否则进入S3；S3、电机停止状态：如果为TRUE则进入S4，否则继续执行S1；S4、检测环节：包括移动侦测模块、人形检测模块、目标选优模块；S5、跟踪条件b：判断是否直接进入跟踪环节的KCF跟踪模块，如果判定为TRUE，则直接进入S6.2；否则继续S1；S6、跟踪环节：包括KCF预跟踪模块、KCF跟踪模块；以及更新跟踪条件a；S7、云台控制环节：包括计算云台控制信号模块、电机执行模块、获取电机状态模块；以及更新电机停止状态。止状态。止状态。

【技术实现步骤摘要】
一种解决低功耗直播跟拍云台目标跟丢的方法


[0001]本专利技术涉及智能视频处理
，特别涉及一种解决低功耗直播跟拍云台目标跟丢的方法。

技术介绍

[0002]随着计算机技术的发展和计算机视觉原理的广泛应用，使用计算机图像处理技术来实时检测跟踪目标变得越来越流行。在智能AI图像识别系统，智能监控系统等中使用目标的动态实时跟踪和定位进行检测人形，具有广泛的应用价值。其中常见的系统应用，例如基于OpenCV HOG算法检测人形，并通过人形结果的偏差量控制云台转动，达到实时跟踪的目的。
[0003]然而，现有的检测人形的方法存在一些缺陷，如下：
[0004]1、基于OpenCV HOG算法检测人形的跟踪方法，首先因检测算法较简单无法适应各种光线、各种姿态的人形，容易出现漏检和误检等情况，其次没有考虑当摄像头视野里出现多个人形目标时如何优选跟踪目标，还有当人形检测失效及画面中有人形但是人形检测没有给出检测结果时如果只是等待人形下一次的正确结果时很容易丢失移动的人形目标导致跟踪失败。
[0005]2、采用CNN深度学习算法进行人形检测，检测效果有很大提升，考虑到低功耗芯片平台中(一般指CPU主频低于1GHz，ddr主频低于500MHz)，一般没有深度学习推理引擎，会导致CNN前向推理时间较长无法满足实际使用情况，当检测到移动目标后进入下一帧的时长一般会大于200—300ms，导致随后的实时跟踪流程中初始跟踪的目标框与实际目标产生较大偏差导致跟踪流程失效。
[0006]另外，现有技术中的常用术语如下：
[0007]1、移动侦测：基于连续视频图像数据，判断图像中是否有移动目标，如有则会以矩形框形式反馈矩形框的坐标位置。
[0008]2、CNN人形检测：基于Yolov3
‑
tiny等CNN卷积神经网络检测视频图像中的人形，并计算得到人形的矩形框。
[0009]3、两轴云台：一个装有摄像头装置的可以实现两个自由度运动的装置，4、KCF跟踪算法：全称为
‘
Kernel Correlation Filter
’
核相关滤波算法，可以根据给定的一个图像上的矩形区域进行快速跟踪以及目标框的调整。

技术实现思路

[0010]为了解决上述现有技术中的问题，本申请的目的在于：提出一种新的控制流程：
[0011]1、使用Yolov3
‑
tiny进行人形检测，可以高效准确进行人形检测。
[0012]2、提出一种预跟踪模块，可以有效降低CNN人形检测在低功耗平台上效率低导致的跟踪初始化结果与实际差异过大导致的跟踪丢失问题。
[0013]3、使用KCF跟踪算法，可以实时进行人形结果的更新，同时可以将该算法运行在低
功耗额芯片上。
[0014]4、提出使用移动侦测结果作为目标选优及误检人形过滤，可以实现在复杂场景下进行人形跟踪。
[0015]5、使用移动侦测来有效改善人形检测失效时的目标跟踪，改善人形跟丢的情况。
[0016]具体地，本专利技术提供一种解决低功耗直播跟拍云台目标跟丢的方法，所述方法包括以下步骤：
[0017]S1、获取视频图像数据：通过云台安装的摄像头获取到实时码流数据，得到每帧图像数据；
[0018]S2、跟踪条件a：判断是否直接进入跟踪环节，如果判定结果为TRUE，则直接进入步骤S6跟踪环节，否则进入步骤S3电机停止状态判断；
[0019]S3、电机停止状态：如果为TRUE则进入步骤S4检测环节，否则继续执行步骤S1；
[0020]S4、检测环节：包括移动侦测模块、人形检测模块、目标选优模块；
[0021]S5、跟踪条件b：判断是否直接进入跟踪环节的KCF跟踪模块，如果判定为TRUE，则直接进入S6跟踪环节的S6.2；否则继续步骤S1操作获取图像数据；
[0022]S6、跟踪环节：包括KCF预跟踪模块、KCF跟踪模块；以及更新跟踪条件a；其中，使用局部CNN人形检测算法的预跟踪模块：当在全帧检测完人形结果后，进入KCF跟踪流程开始首先使用局部CNN人形检测算法，对初始目标区域周围进行二次人形检测定位，更新目标框位置，并以此作为KCF初始跟踪参数进行后续的KCF跟踪；
[0023]S7、云台控制环节：包括计算云台控制信号模块、电机执行模块、获取电机状态模块；以及更新电机停止状态。
[0024]所述步骤S2中，跟踪条件a：用于判断状态机的情况，状态机可表示状态有：检测状态、跟踪状态、等待状态三种，如果判断当前状态机为跟踪状态则结果为TRUE。
[0025]所述步骤S5中，跟踪条件b为一个状态标识，该状态的具体标识设置条件为：详见下文，其中，选优模块：将移动侦测的结果和人形检测结果综合选优，得出最终的跟踪目标。
[0026]S4.1、进行移动侦测模块：使用相隔T帧的图像帧差方法实现移动目标检测，判断图像中是否有移动目标存在，如果有将结果(矩形框位置)保留以备选优使用；其中，所述使用相隔T帧的图像帧差方法中，T：该值作为可配置参数供使用者配置，保证大于1的数，包括，3，4，5，6，默认配置为4；所述图像帧差法：选取当前帧记F
n
，间隔T帧再选取一帧记F
n+T
，将F
n，
F
n+T
，对应像素点的灰度值做差取绝对值得到差分图像F
d
，再做阈值化处理得到二值图，然后进行形态学处理，得到最终二值图F,在二值图F上进行轮廓查找，得到n(n>＝0的整数)个轮廓数据，在对n个轮廓进行最小外接矩形计算可以得出n个矩形框，当矩形框个数不为零时即认为有移动目标，矩形框表示移动目标在图像上的位置信息，否则没有移动目标出现。
[0027]S4.2、进行人形检测模块：使用Yolov3
‑
tiny CNN卷积神经网络对当前图片进行人形检测，如果检测到人形将检测的所有人形结果(矩形框)进行保留以备选优使用；
[0028]S4.3、进行目标选优模块：将移动侦测的结果和人形检测结果综合选优，得出最终的跟踪目标。
[0029]所述步骤S4.3目标选优模块中，具体选优逻辑如下：
[0030]情况1：当只有移动侦测有结果时，首先将检测结果矩形框的宽高b_wh同预设值进
行比较min_wh<b_wh<max_wh，在条件范围内的矩形框保留，将保留下来的矩形框选取面积最大的作为最终矩形框；
[0031]情况2：当只有人形检测结果时，因为没有检测到移动侦测结果，说明画面中没有移动目标出现，不需要重新调整云台的位置，将跟踪条件b设置为FALSE；
[0032]情况3：当既有人形检测结果又有移动侦测结果时，将移动侦测结构矩形框和人形检测矩形框做与操作，与操作之后将有交集且交集达到预设值的人形检测框保留记B1，否则将跟踪条件b设置为FALSE，如果预设当前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种解决低功耗直播跟拍云台目标跟丢的方法，其特征在于，所述方法包括以下步骤：S1、获取视频图像数据：通过云台安装的摄像头获取到实时码流数据，得到每帧图像数据；S2、跟踪条件a：判断是否直接进入跟踪环节，如果判定结果为TRUE，则直接进入步骤S6跟踪环节，否则进入步骤S3电机停止状态判断；S3、电机停止状态：如果为TRUE则进入步骤S4检测环节，否则继续执行步骤S1；S4、检测环节：包括移动侦测模块、人形检测模块、目标选优模块；S5、跟踪条件b：判断是否直接进入跟踪环节的KCF跟踪模块，如果判定为TRUE，则直接进入S6跟踪环节的S6.2；否则继续步骤S1操作获取图像数据；S6、跟踪环节：包括KCF预跟踪模块、KCF跟踪模块；以及更新跟踪条件a；其中，使用局部CNN人形检测算法的预跟踪模块：当在全帧检测完人形结果后，进入KCF跟踪流程开始首先使用局部CNN人形检测算法，对初始目标区域周围进行二次人形检测定位，更新目标框位置，并以此作为KCF初始跟踪参数进行后续的KCF跟踪；S7、云台控制环节：包括计算云台控制信号模块、电机执行模块、获取电机状态模块；以及更新电机停止状态。2.根据权利要求1所述的一种解决低功耗直播跟拍云台目标跟丢的方法，其特征在于，所述步骤S4进一步包括：S4.1、进行移动侦测模块：使用相隔T帧的图像帧差方法实现移动目标检测，判断图像中是否有移动目标存在，如果有，将结果即矩形框位置保留以备选优使用；S4.2、进行人形检测模块：使用Yolov3
‑
tiny CNN卷积神经网络对当前图片进行人形检测，如果检测到人形将检测的所有人形结果即矩形框进行保留以备选优使用；S4.3、进行目标选优模块：将步骤S4.1移动侦测的结果和步骤S4.2人形检测结果综合选优，得出最终的跟踪目标。3.根据权利要求1所述的一种解决低功耗直播跟拍云台目标跟丢的方法，其特征在于，所述使用相隔T帧的图像帧差方法中，T：该值作为可配置参数供使用者配置，保证大于1的数，包括，3，4，5，6，默认配置为4；所述图像帧差法：选取当前帧记F
n
，间隔T帧再选取一帧记F
n+T
，将F
n
，F
n+T
，对应像素点的灰度值做差取绝对值得到差分图像F
d
，再做阈值化处理得到二值图，然后进行形态学处理，得到最终二值图F,在二值图F上进行轮廓查找，得到n个轮廓数据，其中n>＝0的整数，在对n个轮廓进行最小外接矩形计算可以得出n个矩形框，当矩形框个数不为零时即认为有移动目标，矩形框表示移动目标在图像上的位置信息，否则没有移动目标出现。4.根据权利要求2所述的一种解决低功耗直播跟拍云台目标跟丢的方法，其特征在于，所述步骤S4.3目标选优模块中，具体选优逻辑如下：情况1：当只有移动侦测有结果时，首先将检测结果矩形框的宽高b_wh同预设值进行比较min_wh<b_wh<max_wh，在条件范围内的矩形框保留，将保留下来的矩形框选取面积最大的作为最终矩形框；情况2：当只有人形...

【专利技术属性】
技术研发人员：蔡俊杰，
申请(专利权)人：北京君正集成电路股份有限公司，
类型：发明
国别省市：