一种基于深度强化学习的跨摄像头任务卸载方法技术

本发明专利技术公开了一种基于深度强化学习的跨摄像头任务卸载方法，用于解决由多个摄像头和计算节点组成的边缘计算网络中实时视频分析任务的卸载分发与资源配置问题，视频分析的全局精度是该方法的性能评价指标。首先，需要获取边缘计算网络环境中智能摄像头、边缘服务器、网络设备于云中心的设备信息以及配置信息，设定跨摄像头任务的最低帧率，然后以最大分析任务精度为目标建立跨摄像头任务的卸载方法模型，最后基于深度强化学习构建跨摄像头任务卸载方法的深度神经网络模型，并通过该深度神经网络求解建立的任务卸载模型获取实时动态的跨摄像头任务卸载方法。本发明专利技术能够有效解决基于边缘计算网络中跨摄像头视频分析任务的卸载分发和资源分配的问题。务的卸载分发和资源分配的问题。务的卸载分发和资源分配的问题。

【技术实现步骤摘要】
一种基于深度强化学习的跨摄像头任务卸载方法


[0001]本专利技术涉及一种基于深度强化学习的跨摄像头任务卸载方法，属于物联网与人工智能


技术介绍

[0002]近年来，物联网(Internet ofThings，IoT)技术的发展使得大量的IoT应用呈现爆炸式的增长，基于实时视频的跨摄像头任务逐步成为众多IoT应用极为重要的研究内容。大量城市正在利用成规模的监控网络打造“智慧城市”。在商业领域中，很多企业已经在边缘计算集群中部署了大型摄像机网络赋能其公共安全与商业智能。这些大型摄像机网络支持许多依赖跨摄像机分析的应用程序，即在实时视频中随着时间的推移在摄像机之间移动时检测、关联和跟踪查询的“身份”。一般情况下，大型跨摄像头系统的任务类型包括实时目标检测、目标跟踪、目标轨迹预测、特征预测。
[0003]但是，跨摄像头实时任务的性能表现始终是一个大的挑战。目前大多数落地场景均采用云计算模式，跨摄像头网络的所有采集数据均会上传至云处理中心处理并直接传回终端。此种模式下有两大显著的缺陷：对网络带宽与稳定性要求极高；云处理中心的计算负载极高。这使得该类跨摄像头的实时任务一般仅能部署于少数特定的场所，如大型体育赛事现场、军用场地等，而商用与民用领域往往难以落地。
[0004]随着物联网技术的发展，边缘计算逐步被引入用以解决跨摄像头场景下传输与算力成本高的问题。一方面，通过边缘计算技术，延迟敏感的跨摄像头实时子任务可以卸载到边缘服务器、云处理中心乃至另一个AI摄像机，并最终将数据量较小的跟踪结果(少量帧)传输到终端显示器，避免了将所有的数据都传输到距离较远的云处理中心，从而导致通信负载高与延迟高的问题。同时，边缘计算还有效利用了就近空闲的异构计算资源，有效的解决了云处理中心计算负载过高的问题。
[0005]然而，利用边缘计算处理跨摄像头任务也存在一个巨大的问题，即任务卸载方法的制定。边缘计算的任务卸载方法是状态值对卸载动作的映射函数，决定了每一时间周期内子任务传输并处理的计算节点，也极大程度的影响着整体性能。但是基于边缘计算的跨摄像头环境的复杂度极高。再结合跨摄像头视频分析任务本身的计算密集性与延迟敏感性，跨摄像头场景下的任务卸载方法制定的复杂度明显大于其他边缘计算应用场景，这导致大量现有基于边缘计算的跨摄像头任务卸载方法的全局收益极低。

技术实现思路

[0006]针对现有技术中存在的问题与不足，本专利技术提出了一种基于深度强化学习的跨摄像头任务卸载方法，解决了跨摄像头场景下实时视频分析任务计算卸载和资源分配优化问题。
[0007]为了达到上述目的，本专利技术提供如下技术方案：
[0008]一种基于深度强化学习的跨摄像头任务卸载方法，包括如下步骤：
[0009]步骤1：获取边缘计算网络中摄像头集群、边缘服务器、网络设备与云处理中心的空间状态信息以及设备配置信息，解析网络中各个设备的时空关联信息并量化为时空关联矩阵；
[0010]步骤2：构建基于边缘计算网络的跨摄像头任务通信模型，并基于该通信模型制定跨摄像头任务的计算过程模型；
[0011]步骤3：基于深度强化学习方法建立跨摄像头任务卸载方法的深度神经网络模型，根据训练数据集与步骤1中获取的时空关联矩阵提升该神经网络模型的卸载方法生成效率；
[0012]步骤4：依据建立的跨摄像头任务卸载算法求解多目标联合优化方程以制定动态的跨摄像头任务卸载方法。
[0013]进一步的，所述步骤1中使用流量概率值TP量化摄像机的空间关联性，一个区域的空间关联性是一个n*n的矩阵S，其中n表示摄像机的数量；S[i][j]表示一个时间周期内从i摄像机转移到j摄像机的流量占比，表示为下式：
[0014][0015]Dc＝{0，1，2，3，
…
Cmax}表示AI摄像头集合，用M[i][j]表示摄像机i至摄像机j之间的平均通行时间，向量N[i]表示目标离开摄像头i范围的平均时间；T[i][j]表示单位时间周期内i摄像机到j摄像机通行的时间关联值，该关联值计算方式如下式：
[0016][0017]进一步的，所述步骤2包括如下子步骤：
[0018](3)构建跨摄像头任务通信模型
[0019]跨摄像头任务生成以及设备之间的传输过程模型化为边缘计算网络的通信模型：其中表示跨摄像头任务的源设备编号，表示子任务的卸载方式，表示子任务的计算设备编号，size
k
表示跨摄像头任务的帧尺寸信息，表示子任务的通信总延迟，表示子任务的弃置状态信息，表示子任务的产生时间信息；
[0020](4)构建跨摄像头任务计算过程模型
[0021]任务计算过程抽象化为<S，A，R，P，γ＞，其中S代表代表环境状态，包括网络状态与任务状态信息，A代表方法选择的卸载动作，R表示从一个状态s转移到s
′
时能够获得的奖励期望，P表示状态转移概率，γ表示折扣因子。
[0022]进一步的，所述步骤3具体包括如下：
[0023](1)将基础的深度强化学习算法进行改进，结合边缘计算网络环境的特殊性提升了算法的收敛性，并设计了一个动态的边缘计算卸载算法；
[0024](2)利用步骤1中获取的时空信息建立摄像头集群的时空关联性矩阵，在训练网络模型的过程中利用该时空关联性矩阵对子任务进行筛选并最终利用训练数据集完成网络模型的训练。
[0025]进一步的，所述步骤4具体包括如下过程：
[0026]将实时的边缘计算网络状态信息作为步骤3中算法的输入，跨摄像头子任务的卸载受到时空关联性的筛选，并在一定时间周期内更新神经网络中参数，最终利用该算法制定动态实时的边缘计算卸载方法。
[0027]与现有技术相比，本专利技术具有如下优点和有益效果：
[0028]1.针对传统边缘计算卸载方法模型利用动态环境信息效率低的问题，本方案中基于时空关联性的跨摄像头视频分析任务计算模型提升了动态环境信息的广度与深度，建立环境状态信息与卸载策略的映射关系，极大提升了对跨摄像头场景环境信息的利用效率。
[0029]2.针对边缘计算卸载算法生成卸载方法效率低的问题，本方案提出的基于深度强化学习的卸载算法相对传统算法提升了卸载方法的收敛效率以及探索能力，提升了卸载方法的实时性。
[0030]3.针对传统基于边缘计算网络的跨摄像头任务全局处理收益低的问题，本方案制定了多目标联合优化问题，兼顾了影响跨摄像头任务服务质量的多个重要因素，相对传统方案具有更高的全局任务处理收益。
附图说明
[0031]图1为本专利技术提供的基于深度强化学习的跨摄像头任务卸载方法的步骤流程示例图。
[0032]图2为本专利技术在实际边缘计算网络中跨摄像头集群设备的混合卸载架构示例图。
具体实施方式
[0033]以下将结合具体实施例对本专利技术提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本专利技术而不用于限制本专利技术的范围。
[0034]本专利技术提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的跨摄像头任务卸载方法，其特征在于，包括如下步骤：步骤1：获取边缘计算网络中摄像头集群、边缘服务器、网络设备与云处理中心的空间状态信息以及设备配置信息，解析网络中各个设备的时空关联信息并量化为时空关联矩阵；步骤2：构建基于边缘计算网络的跨摄像头任务通信模型，并基于该通信模型制定跨摄像头任务的计算过程模型；步骤3：基于深度强化学习方法建立跨摄像头任务卸载方法的深度神经网络模型，根据训练数据集与步骤1中获取的时空关联矩阵提升该神经网络模型的卸载方法生成效率；步骤4：依据建立的跨摄像头任务卸载算法求解多目标联合优化方程以制定动态的跨摄像头任务卸载方法。2.根据权利要求1所述的基于深度强化学习的跨摄像头任务卸载方法，其特征在于，所述步骤1中使用流量概率值TP量化摄像机的空间关联性，一个区域的空间关联性是一个n*n的矩阵S，其中n表示摄像机的数量；S[i][j]表示一个时间周期内从i摄像机转移到j摄像机的流量占比，表示为下式：Dc＝{0,1,2,3,
…
Cmax}表示AI摄像头集合，用M[i][j]表示摄像机i至摄像机j之间的平均通行时间，向量N[i]表示目标离开摄像头i范围的平均时间；T[i][j]表示单位时间周期内i摄像机到j摄像机通行的时间关联值，该关联值计算方式如下式：3.根据权利要求1所述的基于深度强化学习的跨摄像头任务卸载方法，其特征在于，所述步骤2包括如下子步骤：(1)构建跨摄像头任务通信模型跨摄像头任务生...

【专利技术属性】
技术研发人员：杨鹏，江思明，易梦，李冰，
申请(专利权)人：浙江华巽科技有限公司，
类型：发明
国别省市：