一种基于全局信息的DNN任务卸载决策方法技术

本发明专利技术实施例提供了一种基于全局信息的DNN任务卸载决策方法，包括：S1、响应于多个移动端的任务卸载请求，根据移动端的数量和DNN任务的层数生成对应的策略矩阵；S2、根据策略矩阵获取所有可能的卸载策略，每个卸载策略对所有移动端中每个移动端的DNN任务的卸载位置进行定义；S3、预测所有DNN任务的子任务对应的参考时延信息，包括该子任务的本地处理时延、服务器处理时延和对应的卸载传输时延；S4、基于参考时延信息确定每种卸载策略下各移动端的卸载任务到达边缘服务器的抵达时延和任务量；S5、对于每种卸载策略，计算该卸载策略对应的总时延；S6、从所有的卸载策略中选取总时延最小的卸载策略作为卸载决策。本发明专利技术可提高边缘辅助计算的整体效率。

【技术实现步骤摘要】
一种基于全局信息的DNN任务卸载决策方法
本专利技术涉及深度神经网络任务的边缘计算领域，具体来说涉及深度神经网络任务的优化卸载领域，更具体地说，涉及一种基于全局信息的DNN任务卸载决策方法。
技术介绍
现如今，深度学习广泛应用于众多移动端的应用程序中，比如苹果智能语音助手(Siri)和谷歌助理(GoogleAssistant)。然而，大多数的深度学习模型都需要复杂的计算，并且很难在移动端上以有限的计算资源计算其推理结果。因此，目前常用的方法是将深度学习任务卸载到云上，即移动云计算(MobileCloudComputing，简称MCC)，云具有丰富的计算资源和强大的计算能力，可以处理复杂的计算任务。由于云通常情况下与移动端距离很远，处理延迟通常大于100ms。这给延迟敏感的应用程序带来了糟糕的体验质量，这也是MCC的瓶颈。为了缓解这一问题，移动边缘计算(MobileEdgeComputing，简称MEC)应运而生，通过布置在移动端附近的单个或者多个边缘服务器接收并处理移动端卸载的任务，从而加快计算密集型任务的处理过程来减轻移动端的计算负担。MEC中最直接的方法是将所有的计算从移动端转移到边缘服务器，目前已有许多研究。在一些研究中，研究者考虑了采用二进制卸载策略的无线MEC网络，通过0或者1来分别表示无线设备的每个计算任务在本地执行或者完全卸载到MEC服务器；然后，研究者提出了一个基于深度强化学习的在线卸载框架，该框架最优的适应了时变无线信道条件下的任务卸载决策和无线资源分配。在另一些研究中，研究者提出了一个分布式框架，该框架将移动端与更强大的后端服务器捆绑在一起，从而允许深度学习在本地执行或卸载到服务器。该框架能够结合应用程序的需求，智能的通过估计的方法来协调当前对网络情况和后端服务器负载情况，进而确定最佳策略。可以发现，在上述研究中，虽然将数据卸载到附近的边缘服务器是节省时间的，但是由于移动端的计算能力没有得到充分的利用，又或者多个移动端同时卸载数据导致边缘服务器的计算时延增加，再加上传输时延，使得整体的效率不高。特别是大量移动端的任务卸载顺序彼此独立时，则某一时刻可能这些移动端同时将所有数据都卸载到边缘服务器上，那么此时传输时延和边缘服务器的计算时延都可能大幅增加，而该时刻之后，边缘服务器又可能较长时间处于空闲的状态，不仅没有充分利用边缘服务器的资源，还可能影响用户体验。为了提高MEC计算资源的利用率，部分卸载是一种可行的方法。实际上，部分卸载在MCC中已经得到了很好的研究，但在MEC中，部分卸载深度学习的任务存在很多的挑战。第一个挑战是，MCC中的许多工作都是通过自动程序分析来执行部分卸载，其中使用基于图的模型来区分子图和子图之间的相互作用。然后应用图划分算法来获得子图。但是对于深度学习任务，由于计算复杂度极高，很难进行自动程序分析。第二个挑战是多个移动端任务的联合优化调度，特别是对复杂的执行顺序决策。因此，虽然联合优化调度算法在单用户场景中得到了广泛的研究，但在多用户场景中联合优化调度的研究却很少。为应对第一个挑战，许多工作利用深度学习的特定内部结构来研究如何实现部分卸载。一些研究者通过对单个移动端的DNN任务进行划分以实现单个移动端的时延最优。另一些研究者提出一个基于资源受限的物联网边缘集群的卷积神经网络(CNN)推理应用的自适应分布式执行框架DeepThings，其使用可伸缩的卷积层融合块分区(FTP)来最小化内存占用，同时提高并行性。为应对第二个挑战，一些研究者考虑了一个基于多进多出技术(MultiInputMultiOutput，简称MIMO)的多单元系统，其中，多个移动用户请求将计算卸载到云服务器。将卸载问题表示为在满足延迟约束的情况下，将无线资源和云分配给每个移动用户的计算资源联合优化，以最小化用户的总体能耗。为了解决这一问题，研究者提出了一种迭代算法，基于一种新的逐次凸逼近技术，收敛到原非凸问题的局部最优解。在另一些研究中，研究了多信道无线干扰环境下MEC的多用户计算卸载问题。他们将移动端之间的分布式计算卸载决策问题描述为一个多用户计算卸载博弈。然后，他们设计了一种能够达到纳什均衡的分布式计算卸载算法，推导出收敛时间的上界，并用两个重要的性能指标量化其在集中最优解上的效率比。目前，如何让多个移动端任务实现低时延的部分卸载存在困难，特别是在这一过程中如何尽可能地综合利用多个移动端和边缘服务器的计算资源，从而减少全局的时延以及避免边缘服务器出现处理拥堵，是当前的技术难点。因此，有必要对现有技术进行改进。
技术实现思路
因此，本专利技术的目的在于克服上述现有技术的缺陷，提供一种基于全局信息的DNN任务卸载决策方法。本专利技术的目的是通过以下技术方案实现的：根据本专利技术的第一方面，提供一种基于全局信息的DNN任务卸载决策方法，包括：S1、响应于多个移动端的任务卸载请求，根据移动端的数量和DNN任务的层数生成对应的策略矩阵；S2、根据策略矩阵获取所有可能的卸载策略，每个卸载策略对所有移动端中每个移动端的DNN任务的卸载位置进行定义；S3、预测所有DNN任务的子任务对应的参考时延信息，包括该子任务的本地处理时延、服务器处理时延和对应的卸载传输时延；S4、基于参考时延信息确定每种卸载策略下各移动端的卸载任务到达边缘服务器的抵达时延和任务量；S5、对于每种卸载策略，根据抵达时延和任务量对多线程的边缘服务器的处理时延的影响，计算该卸载策略对应的总时延；S6、从所有的卸载策略中选取总时延最小的卸载策略作为卸载决策。在本专利技术的一些实施例中，所述方法还包括：S7、根据卸载决策指示各个移动端对其DNN任务进行本地计算并且在计算至指定的卸载位置时进行任务卸载。在本专利技术的一些实施例中，所述策略矩阵表示为：其中，策略矩阵X的第i行表示移动端i的策略，对于该策略矩阵中的任意一个元素xij，表示移动端i的第j个子任务的处理方式，xij为第一数值时表示该子任务在移动端本地处理，xij为第二数值时表示该子任务卸载到边缘服务器上处理，i∈{1,…,N}，j∈{1,…,M}，N表示当前请求卸载任务的移动端的总数量，M表示DNN任务的层数。在本专利技术的一些实施例中，按照以下约束条件根据策略矩阵获取所有可能的卸载策略：当一个移动端的DNN任务的某个子任务卸载到边缘服务器上执行时，该子任务后续所有子任务均在边缘服务器上执行。在本专利技术的一些实施例中，步骤S3包括：S31、通过预先训练的时延预测模型预估相应类型的DNN任务的每层对应的子任务的本地处理时延、服务器处理时延；S32、预估DNN任务每层对应的子任务的输出数据的大小，并基于香农公式计算该子任务对应的卸载传输时延。在本专利技术的一些实施例中，所述步骤S4包括：S41、根据卸载策略和参考时延信息确定该卸载策略下每个移动端在本地处理所有子任务的本地计算时延；S42、根据卸载位置获取预估得到的对应的卸载传输时延；S43、对每个移动端在本地处理所有子任务的本地计算时延和对应的卸载传输时延求和得到该移动端的卸载任务到本文档来自技高网...

【技术保护点】
1.一种基于全局信息的DNN任务卸载决策方法，其特征在于，包括：/nS1、响应于多个移动端的任务卸载请求，根据移动端的数量和DNN任务的层数生成对应的策略矩阵；/nS2、根据策略矩阵获取所有可能的卸载策略，每个卸载策略对所有移动端中每个移动端的DNN任务的卸载位置进行定义；/nS3、预测所有DNN任务的子任务对应的参考时延信息，包括该子任务的本地处理时延、服务器处理时延和对应的卸载传输时延；/nS4、基于参考时延信息确定每种卸载策略下各移动端的卸载任务到达边缘服务器的抵达时延和任务量；/nS5、对于每种卸载策略，根据抵达时延和任务量对多线程的边缘服务器的处理时延的影响，计算该卸载策略对应的总时延；/nS6、从所有的卸载策略中选取总时延最小的卸载策略作为卸载决策。/n

【技术特征摘要】
1.一种基于全局信息的DNN任务卸载决策方法，其特征在于，包括：
S1、响应于多个移动端的任务卸载请求，根据移动端的数量和DNN任务的层数生成对应的策略矩阵；
S2、根据策略矩阵获取所有可能的卸载策略，每个卸载策略对所有移动端中每个移动端的DNN任务的卸载位置进行定义；
S3、预测所有DNN任务的子任务对应的参考时延信息，包括该子任务的本地处理时延、服务器处理时延和对应的卸载传输时延；
S4、基于参考时延信息确定每种卸载策略下各移动端的卸载任务到达边缘服务器的抵达时延和任务量；
S5、对于每种卸载策略，根据抵达时延和任务量对多线程的边缘服务器的处理时延的影响，计算该卸载策略对应的总时延；
S6、从所有的卸载策略中选取总时延最小的卸载策略作为卸载决策。


2.根据权利要求1所述的基于全局信息的DNN任务卸载决策方法，其特征在于，所述方法还包括：
S7、根据卸载决策指示各个移动端对其DNN任务进行本地计算并且在计算至指定的卸载位置时进行任务卸载。


3.根据权利要求1所述的基于全局信息的DNN任务卸载决策方法，其特征在于，所述策略矩阵表示为：



其中，策略矩阵X的第i行表示移动端i的策略，对于该策略矩阵中的任意一个元素xij，表示移动端i的第j个子任务的处理方式，xij为第一数值时表示该子任务在移动端本地处理，xij为第二数值时表示该子任务卸载到边缘服务器上处理，i∈{1,…,N}，j∈{1,…,M}，N表示当前请求卸载任务的移动端的总数量，M表示DNN任务的层数。


4.根据权利要求3所述的基于全局信息的DNN任务卸载决策方法，其特征在于，按照以下约束条件根据策略矩阵获取所有可能的卸载策略：当一个移动端的DNN任务的某个子任务卸载到边缘服务器上执行时，该子任务后续所有子任务均在边缘服务器上执行。


5.根据权利要求1所述的基于全局信息的DNN任务卸载决策方法，其特征在于，S3包括：
S31、通过预先训练的时延预测模型预估相应类型的DNN任务的每层对应的子任务的本地处理时延、服务器处理时延；
S32、预估DNN任务每层对应的子任务的输出数据的大小，并基于香农公式计算该子任务对应的卸载传输时延。


6.根据权利要求1至5任一项所述的基于全局信息的DNN任务卸载决策方法，其特征在于，所述步骤S4包括：
S41、根据卸载策略和参考...

【专利技术属性】
技术研发人员：高明晋，沈茹婧，齐文，周一青，石晶林，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11