一种边端协同的目标检测任务卸载方法技术

本发明专利技术提出的一种边端协同的目标检测任务卸载方法，首先，基于视频内容特性，自适应确定关键帧数量提取关键帧，有效反映视频主要内容。接着，提取视频帧感兴趣区域并构造任务的本地时延和卸载时延线性回归方程，建立边端协同时延驱动的任务卸载数学模型。最终，在任务卸载分配的方案空间中利用遗传算法求得最优方案，保证整体任务的时延最小。本发明专利技术解决了智能终端资源受限导致的高工作负载下计算能力不足产生的高时延问题。力不足产生的高时延问题。力不足产生的高时延问题。

【技术实现步骤摘要】
一种边端协同的目标检测任务卸载方法


[0001]本专利技术涉及边端协同的目标检测任务卸载方法研究，具体涉及到关键帧提取以及智能终端任务卸载的决策和执行方案。

技术介绍

[0002]随着普适计算、万物互联时代的到来，摄像头已经无处不在，部署在交通、校园和商店等各个场景，随着相机数量的扩大，它们每秒共产生数百千兆字节的数据，面对如此庞大的视频信息，对视频内容简化，提取关键信息是必不可少的。视频相比图像信息更加丰富，每个视频都是一个图像序列，其内容比一张图像丰富很多，表现力强，信息量大。对视频的分析通常是基于视频帧，但视频帧通常存在大量冗余。视频关键帧提取则主要体现视频中各个镜头的显著特征，有效减少整体视频处理所需要花费的时间。目前主流的方法是通过聚类方法来提取关键帧，这种方法依赖视觉信息，可以极大程度的避免关键帧丢失，但难点在于不同视频对应不同的聚类参数，难以获得通用的聚类参数。
[0003]现实生活中，基于部署的地理位置不同，各个摄像机的工作负载各不相同，且会随时间动态变化。不同区域的摄像头，感兴趣的物体数量(例如每个相机捕捉到的人、车辆、自行车)各不相同。一般来说，感兴趣物体数量多的摄像头其工作负荷也更高。对于经历高工作负荷的摄像机，终端自身的算力终归有限，它无法在短时间内处理这么多的任务量，这可能会导致显著的高延迟。由于智能终端受到资源限制，比如有限的CPU，内存，有限的电量等，这成为了制约实时视频分析应用的重要因素，在面对突发的高工作负载时，智能终端往往显得手足无措。近来，任务卸载为解决上述问题提供了新思路而得到广泛关注。任务卸载就是根据智能终端的计算和存储资源，网络状态等因素将任务卸载到其他空闲的设备上计算或存储，能有效降低智能终端能耗和任务处理时延。任务卸载时，智能终端集群与边缘服务器组成的系统在任务传输，计算过程中会产生任务卸载成本，这是一个需要重点考虑的问题。其次，面对动态的工作负载，需实现任务卸载方案动态自适应工作负载的变化，保证卸载方案最优；再者，任务自身规模对任务卸载决策的影响也是要重点考虑的因素。

技术实现思路

[0004]要解决的技术问题
[0005]面向智能终端资源受限导致的面对高工作负载计算能力不足产生的高时延问题，本专利技术提供了一种边端协同的目标检测任务卸载方法。
[0006]技术方案
[0007]一种边端协同的目标检测任务卸载方法，其特征在于步骤如下：
[0008]步骤1：自适应关键帧提取，从原始视频帧序列获取视频帧的特征，用颜色直方图来表示；计算相邻帧之间的帧间距和全体帧平均帧间距，初始化聚类中心数k值，遍历所有视频帧，若相邻帧差值大于平均值，规定k值加1；当k值确定之后，对所有视频帧进行K
‑
Means聚类，根据聚类结果，选择每一簇中距离聚类中心最近的帧作为视频关键帧；
[0009]步骤2：读取视频关键帧，对每帧实现基于高斯混合模型的背景减法BackgroundSubtractorMOG2，获取前景区域；用FindContours算法提取感兴趣区域ROI，作为任务进行后续目标检测处理；
[0010]步骤3：对边端协同时延驱动的任务卸载过程进行建模，将其表示为：
[0011][0012][0013][0014]上式表达了问题的优化目标及约束条件，将整体时延设为优化目标，将终端的任务量设为约束，进行了边端协同任务卸载下时延优化问题建模，对于每一个终端，x
i
代表本地处理的任务量，代表任务卸载的任务量，本地处理和任务卸载并行工作，则整体任务的时延T
i
可为本地任务时延和卸载时延的较大值；其中C
i
表示终端的处理能力，C
edge
表示服务器处理能力，R
i
表示网络传输速度，表示传输的数据总量，通过R
i
和就可以求得传输时延u
i
表示终端i的总工作量，又被分为终端本地工作量x
i
和传输服务器工作量两部分：
[0015]s
local
＝w1*m+b1,
[0016]对于每个具体任务而言，根据自身任务大小来构建它们的本地处理和任务卸载时延的线性公式，预测每个任务的时延，从而求得本地处理任务规模和任务卸载规模的总时延；其中m表示为任务大小，w1、b1、b2为具体参数，s
local
和s
edge
则表示单个任务的本地时延和传输时延；
[0017]步骤4：完成边端协同任务卸载下时延优化问题建模，通过遗传算法求得终端任务分配方案中时延最小的任务分配方案，自适应地控制搜索过程以求得最佳解。
[0018]一种边端协同的目标检测任务卸载模型，其特征在于包括：
[0019]关键帧数量自适应模块：基于视频帧间特征差异性来确定关键帧数量，自适应地根据视频内容设置合适的聚类中心数，提取和反映视频的关键信息；
[0020]边端协同任务卸载模块：基于任务规模对任务卸载决策的影响，构造任务的本地处理时延和卸载时延的线性回归方程，预测任务的本地时延和卸载时延，构建遗传算法来获得最佳的任务卸载方案，并根据任务规模的动态变化，自适应调整最佳任务卸载方法。
[0021]一种计算机系统，其特征在于包括：一个或多个处理器，计算机可读存储介质，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。
[0022]一种计算机可读存储介质，其特征在于存储有计算机可执行指令，所述指令在被执行时用于实现上述的方法。
[0023]有益效果
[0024]本专利技术提出的一种边端协同的目标检测任务卸载方法，首先，基于视频内容特性，
自适应确定关键帧数量提取关键帧，有效反映视频主要内容。接着，提取视频帧感兴趣区域并构造任务的本地时延和卸载时延线性回归方程，建立边端协同时延驱动的任务卸载数学模型。最终，在任务卸载分配的方案空间中利用遗传算法求得最优方案，保证整体任务的时延最小。
[0025]本专利技术主要面向智能终端(智能相机)—一种未来极为重要的智能应用部署平台，解决终端资源受限导致的面对高工作负载计算能力不足产生的高时延问题。其提出了一种边端协同的目标检测任务卸载方法，根据视频内容自适应地获取关键帧，提取关键帧感兴趣区域，构造任务时延的线性回归方程来预测其本地时延和卸载时延，构建遗传算法来自适应获得最佳的任务卸载方案。通过本方法，智能终端在面对高工作负载时，根据任务规模自适应地实现任务本地处理和任务卸载的并行工作，实现整体任务的时延最小。
附图说明
[0026]附图仅用于示出具体实施例的目的，而并不认为是对本专利技术的限制，在整个附图中，相同的参考符号表示相同的部件。
[0027]图1为本专利技术一种边端协同的目标检测任务卸载方法的示意框架；
[0028]图2为本专利技术基于边端协同时延驱动的任务卸载建模和遗传算法设计的示意图。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种边端协同的目标检测任务卸载方法，其特征在于步骤如下：步骤1：自适应关键帧提取，从原始视频帧序列获取视频帧的特征，用颜色直方图来表示；计算相邻帧之间的帧间距和全体帧平均帧间距，初始化聚类中心数k值，遍历所有视频帧，若相邻帧差值大于平均值，规定k值加1；当k值确定之后，对所有视频帧进行K
‑
Means聚类，根据聚类结果，选择每一簇中距离聚类中心最近的帧作为视频关键帧；步骤2：读取视频关键帧，对每帧实现基于高斯混合模型的背景减法BackgroundSubtractorMOG2，获取前景区域；用FindContours算法提取感兴趣区域ROI，作为任务进行后续目标检测处理；步骤3：对边端协同时延驱动的任务卸载过程进行建模，将其表示为：步骤3：对边端协同时延驱动的任务卸载过程进行建模，将其表示为：步骤3：对边端协同时延驱动的任务卸载过程进行建模，将其表示为：上式表达了问题的优化目标及约束条件，将整体时延设为优化目标，将终端的任务量设为约束，进行了边端协同任务卸载下时延优化问题建模，对于每一个终端，x
i
代表本地处理的任务量，代表任务卸载的任务量，本地处理和任务卸载并行工作，则整体任务的时延T
i
可为本地任务时延和卸载时延的较大值；其中C
i
表示终端的处理能力，C
edge
表示服务器处理能力，R
i
表示网络传输速度，表示传输的数据总量，通过R
i
和就可以求得...

【专利技术属性】
技术研发人员：刘思聪，骆浩，郭斌，於志文，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：