基于边云卷积神经网络级联的监控视频目标实时查询方法技术

本发明专利技术公开了基于边云卷积神经网络级联的监控视频目标实时查询方法，属于计算机视觉行人再识别技术领域。边缘端服务器从监控视频中进行运动目标的提取并由轻量级CNN优先识别目标，无法判断的目标上传至云端服务器，用高精度CNN进行二次识别。同时设置了边云任务调度算法和阈值参数的自适应调整机制，可以有效提高监控视频目标查询任务的性能表现。与只使用云端服务器的监控视频目标查询方法相比，显著降低了边缘端服务器到云端服务器的带宽消耗，降低了成本，并显著减少了平均查询时延以及查询时延的波动性，满足了实时性的要求，同时保持了较好的查询准确度；与只使用边缘端服务器的监控视频目标查询方法相比，显著提升了查询的准确度。查询的准确度。查询的准确度。

【技术实现步骤摘要】
基于边云卷积神经网络级联的监控视频目标实时查询方法


[0001]本专利技术属于边缘计算/深度学习
，具体涉及一种基于边云卷积神经网络级联的监控视频目标实时查询方法。

技术介绍

[0002]随着监控摄像头的广泛部署，监控视频数据呈爆发式增长，依赖人工筛查的监控视频分析方法已无法满足实际的需要。一方面，速度慢，人工筛查的方法很难实时地处理大量的视频数据；另一方面，成本高昂，海量视频分析带来巨大的人力成本开销。因此，随着深度学习的发展，尤其是卷积神经网络(CNN)的发展，借助计算机资源和视频分析算法，自动对监控视频数据进行处理分析越来越普及。
[0003]监控视频中的目标查询任务，由于其在智慧安防、智慧交通等中的重要意义，得到了广泛的关注和发展。监控视频中的目标查询任务指的是，输入查询目标(如摩托车)和监控视频数据，输出该监控视频中含查询目标的帧。目前存在的监控视频目标查询方法主要是将监控视频上传至云端服务器，借助云端服务器丰富的计算资源对视频进行处理分析。但将海量监控视频上传到云端服务器带来了巨大的网络带宽要求和数据传输延迟，难以满足监控视频目标查询任务对实时性的新要求，也给云端服务器带来了巨大的负担。同时，大多数边缘设备的资源都是有限的，只能部署轻量级的CNN模型(如MobileNet)，但不能保证可靠的查询准确性。因此，在边云系统中有两个基本的问题亟待解决：1)如何在保证较高查询准确度的同时，显著降低查询时延，满足实时性的要求；2)如何在保证较高查询准确度的同时，显著降低带宽消耗，进而降低成本。
>
技术实现思路

[0004]本专利技术的目的在于提供基于边云卷积神经网络级联的监控视频目标实时查询方法，以解决上述问题。
[0005]为实现上述目的，本专利技术采用以下技术方案：
[0006]基于边云卷积神经网络级联的监控视频目标实时查询方法，包括以下步骤：
[0007]步骤1：接收到查询命令时，基于特异性训练数据集和指定查询目标的特异性卷积神经网络CNN(卷积神经网络)将在云端服务器中进行微调训练，然后将特异性CNN部署到边缘端服务器；
[0008]步骤2：在边缘端服务器对监控视频中的运动目标进行检测和提取；
[0009]步骤3：在边缘端服务器为每一个提取出的运动目标选择执行识别任务的边缘端服务器；
[0010]步骤4：在边缘端服务器上使用轻量级CNN对检测出的运动目标进行快速识别，输出是查询目标的识别置信度，若识别置信度大于α，则认为该运动目标是查询目标；若识别置信度小于β，则认为该运动目标不是查询目标；若置信度在α和β之间，则认为轻量级CNN无法判断该运动目标是否为查询目标，将该运动目标上传到云端服务器；
[0011]步骤5：对于边缘端服务器上的轻量级CNN无法判断的运动目标，使用高精度CNN进行二次识别，判断是否为查询目标，完成监控视频目标实时查询。
[0012]进一步的，步骤2中，采用基于帧间差分的目标检测算法对监控视频中的运动目标进行检测和提取。
[0013]进一步的，步骤3中，采用基于负载的边云任务调度算法为每一个提取出的运动目标选择执行识别任务的边缘端服务器。
[0014]进一步的，步骤3具体为：
[0015]对于总数为N的边缘端服务器i，t
i
为边缘端服务器i的推理时间，即边缘端服务器识别一张图像的时延，Q
i
为边缘端服务器i的识别任务的队列长度，一张图像由边缘端服务器i处理的查询时延为(Q
i
+1)t
i
；当检测到一个运动目标时，立即触发实时任务调度程序，判断哪个边缘端服务器d将以最少的查询时延对该运动目标进行分类，公式如下：
[0016][0017]将该边缘端服务器d作为执行识别任务的边缘端服务器。
[0018]进一步的，步骤4中，轻量级CNN采用MobileNet_v2。
[0019]进一步的，步骤4中，根据整个系统的负载情况，对α、β进行自适应调整，调整公式为：
[0020]α
new
＝max{min{α
old-γ1(Q
d
t
d-s),1},0.5}
[0021]β
new
＝γ2(1+α
new
)
[0022]其中，γ1、γ2为权重参数，且γ1∈(0,1)，γ2∈(0,1)，s为查询时延标准，Q
d
为边缘端服务器d的识别任务的队列长度，t
d
为边缘端服务器d的推理时间。
[0023]进一步的，步骤4中，高精度CNN采用ResNet152。
[0024]进一步的，步骤4中，α、β是查询目标的识别置信度的阈值参数，满足0<β<α<1。
[0025]与现有技术相比，本专利技术有以下技术效果：
[0026]本专利技术公开的基于边云卷积神经网络级联的监控视频目标实时查询方法，边缘端服务器从监控视频中进行运动目标的提取并由其上的轻量级CNN优先识别目标，无法判断的目标上传至云端服务器，用云端服务器上的高精度CNN进行二次识别。同时设置了边云任务调度算法和阈值参数的自适应调整机制，可以有效提高监控视频目标查询任务的性能表现。实验结果表明，与传统的只使用云端服务器的监控视频目标查询方法相比，本系统显著降低了边缘端服务器到云端服务器的带宽消耗，降低了成本，并显著减少了平均查询时延以及查询时延的波动性，满足了实时性的要求，同时保持了较好的查询准确度；与只使用边缘端服务器的监控视频目标查询方法相比，本系统显著提升了查询的准确度。
[0027]进一步地，采用在线微调的方法为部署在边缘端服务器的CNN进行微调训练，不仅降低了模型复杂度，并且增强了识别特定类型目标的能力。
[0028]进一步地，采用基于帧间差分的目标检测算法对监控视频中的运动目标进行检测和提取。每隔一定时间提取视频中的两到三个相邻帧，计算相邻帧之间的灰度值差异，如果某个区域的差值接近零，也就是这个区域在这两到三帧的时间里变化不大，可以认为是在这个区域没有值得提取出来的运动目标。反之，如果某个区域的差值比较大，超过了一定的阈值，则认为这个区域存在值得提取的运动目标，于是我们将这个区域提取出来作为检测
到的运动目标，传给任务调度模块。该目标检测算法复杂度低，鲁棒性强，计算资源消耗少，能较快的从视频流中提取出运动目标。
[0029]进一步地，采用基于负载的边云任务调度算法为每一个提取出的运动目标选择执行识别任务的边缘端服务器，实现了计算资源靠近数据源头、优先本地化处理，有效降低了数据传输时延和上云数据量，同时有效平衡了各边缘端服务器的计算负载。
[0030]进一步地，边缘端服务器上的CNN采用结构简单，计算资源消耗少但精度相对不足的MobileNet_v2，降低了检测出的运动目标的推理时延；云端服务器上的CNN采用精度高但结构复杂的ResNet15本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于边云卷积神经网络级联的监控视频目标实时查询方法，其特征在于，包括以下步骤：步骤1：接收到查询命令时，基于特异性训练数据集和指定查询目标的特异性CNN卷积神经网络将在云端服务器中进行微调训练，然后将特异性CNN部署到边缘端服务器；步骤2：在边缘端服务器对监控视频中的运动目标进行检测和提取；步骤3：在边缘端服务器为每一个提取出的运动目标选择执行识别任务的边缘端服务器；步骤4：在边缘端服务器上使用轻量级CNN对检测出的运动目标进行快速识别，输出是查询目标的识别置信度，若识别置信度大于α，则认为该运动目标是查询目标；若识别置信度小于β，则认为该运动目标不是查询目标；若置信度在α和β之间，则认为轻量级CNN无法判断该运动目标是否为查询目标，将该运动目标上传到云端服务器；步骤5：对于边缘端服务器上的轻量级CNN无法判断的运动目标，使用高精度CNN进行二次识别，判断是否为查询目标，完成监控视频目标实时查询。2.根据权利要求1所述的基于边云卷积神经网络级联的监控视频目标实时查询方法，其特征在于，步骤2中，采用基于帧间差分的目标检测算法对监控视频中的运动目标进行检测和提取。3.根据权利要求1所述的基于边云卷积神经网络级联的监控视频目标实时查询方法，其特征在于，步骤3中，采用基于负载的边云任务调度算法为每一个提取出的运动目标选择执行识别任务的边缘端服务器。4.根据权利要求3所述的基于边云卷积神经网络级联的监控视频目标实时查询方法，其特征在于，步骤3具体为：对于总数为N的边缘端服务器i，t
i
为边缘端服务器i的推理时间，即边缘端服务器识别一张图像的时延，Q
i<...

【专利技术属性】
技术研发人员：杨树森，赵鹏，王世博，张靖琪，赵聪，任雪斌，王路辉，王艺蒙，韩青，
申请(专利权)人：杭州卷积云科技有限公司，
类型：发明
国别省市：