【技术实现步骤摘要】
本专利技术涉及dnn推理任务部署，尤其涉及一种面向运行可靠性和时延的多目标dnn推理任务部署方法和系统。
技术介绍
1、得益于物联网(internet of things，iot)与机器学习的快速发展，促进了大量的智能移动应用发展，例如vr、监控等。深度学习技术作为人工智能的核心技术，特别是深度神经网络(deep neural networks，dnn)在各个领域得到了广泛的应用。新兴的智能移动应用对通信系统的要求主要体现在四个方面：低响应时间、低能耗、低货币成本和计算资源均匀分配。而部分智能移动应用需要调用到极强的计算能力，例如人脸识别。考虑到移动设备的资源有限，难以在本地移动设备对密集型深度学习应用进行处理。目前主要的处理方法是通过dnn推理，以满足智能应用的实时需求。
2、其中，智能移动应用是一种利用本地移动设备和智能技术开发的应用程序。这些应用旨在提供用户友好、便捷且高效的服务，以满足用户在移动设备上的各种需求。密集型深度学习应用主要指的是那些涉及大量数据读写和网络请求响应需求的应用了深度学习技术的智能应用程序。
3、dnn推理指的是通过执行与dnn模型紧耦合的计算任务，获得计算结果的过程，dnn推理的实现需要经过模型训练和在线推理两个阶段。
4、(1)模型训练阶段：dnn模型需要通过不断迭代训练以完成权重更新，并作为可调用的服务功能模型存储在云服务器。
5、(2)在线推理阶段：通过将已训练好的dnn模型集中式或分布式的部署在终端、边缘节点或云服务器上，并执行dnn推理任务
6、对于在线推理阶段，传统的方法是将部分dnn模型直接卸载到远端云服务器(或可称为中心云服务器)上，以降低本地设备的压力，即将物联网设备的推理任务转移到远端云服务器上执行，但这种方法会导致沉重的负载和网络拥塞，从而影响对时延敏感的dnn推理任务的执行。而随着移动边缘计算技术的发展，给dnn推理任务的部署带来了新的范式。在边缘计算环境下，dnn推理任务典型的部署模式主要分为以下4种：1)边缘节点部署模式；2)边端协同部署模式；3)云边端协同部署模式；4)终端协同部署模式。
7、文献方案1：《cost-driven off-loading for dnn-based applications overcloud,edge,and end devices》作者研究了dnn推理任务在云服务器、边缘节点和设备中的分布式部署问题，提出了一种自适应离散粒子群优化算法，在保证推理时延约束的前提下优化了资源利用率，降低了系统的成本消耗。
8、文献方案2：《energy-aware inference offloading for dnn-drivenapplications in mobile edge clouds》作者研究了mec网络中的dnn推理任务卸载，假设每个请求的dnn推理任务已经被划分。然后他们分别提供了一个随机算法和一个在线算法来最小化总能量消耗和处理实时申请。
9、文献方案3：《throughput maximization of delay-aware dnn inference inedge computing by exploring dnn model partitioning and inference parallelism》作者通过将dnn推理任务划分为两部分，一部分在本地物联网设备中执行，一部分在mec网络中的cloudlet中执行，并分配多个线程实现dnn推理任务的加速推理。在满足dnn推理任务推理延迟的前提下，最大化dnn推理任务的吞吐量。
10、上述文献方案1和文献方案2关注于资源的优化与成本的开销上。文献方案3则主要关注于最大化dnn推理任务的吞吐量。可以看出，当前研究方案大多集中于针对系统成本优化、或dnn推理效率的优化上。
11、以上三种方案均没有考虑到可靠性对dnn推理任务执行带来的影响，而可靠性在当前网络环境下越来越得到重视。当dnn推理任务的执行由于服务器故障等不可靠情况导致的计算结果不准确时，轻则造成计算资源的浪费，重则可能带来安全性问题。此外，以上研究均只考虑了一种主要的优化目标，以此来进行最优解的计算。而随着网络结构和业务越来越复杂，单一的优化目标越来越难以适应灵活多变的网络环境。
技术实现思路
1、鉴于此，本专利技术实施例提供了一种面向运行可靠性和时延的多目标dnn推理任务部署方法和系统，以消除或改善现有技术中存在的一个或更多个缺陷。
2、本专利技术的一个方面提供了一种面向运行可靠性和时延的多目标dnn推理任务部署方法，该方法包括以下步骤：接收移动设备提出的dnn推理任务；获取包含中心云服务器、边缘服务器和移动设备的物理网络拓扑图；获取预设的用于多目标dnn推理任务部署寻优的种群数量和最大迭代次数；利用多目标遗传模型寻找优化的dnn推理任务部署，按照所述种群数量生成种群个体，对所有的种群个体进行多次迭代寻优，迭代达到所述最大迭代次数后，输出寻找到的优化后的dnn推理任务部署结果；其中，将所述物理网络拓扑图和所述dnn推理任务作为多目标遗传模型的输入，多目标遗传模型的多目标优化方向包含高运行可靠性和低延迟性，多目标遗传模型的约束条件包含推理总时延约束。
3、在本专利技术的一些实施例中，所述物理网络拓扑图的数据结构中包含中心云服务器、边缘服务器和移动设备的总数目，以及中心云服务器、边缘服务器和移动设备之间相互连接的链路。
4、在本专利技术的一些实施例中，所述多目标遗传模型按照多目标遗传算法寻找优化的dnn推理任务部署，在每一轮次迭代寻优的过程中，所述方法包括：随机生成父代种群，通过对父代种群进行遗传操作得到子代种群；合并子代种群和父代种群；根据目标函数计算各目标优化方向上的适应度值，根据适应度值计算合并后种群的快速非支配排序；计算合并后种群的个体在各目标优化方向上的拥挤度；按照计算得到的所述快速非支配排序和拥挤度，选择更优的种群作为下一代父种群；检查是否达到最大迭代次数，若达到则退出迭代过程，若未达到则继续下一轮次的迭代。
5、在本专利技术的一些实施例中，所述高运行可靠性包含服务可靠性和推理精度可靠性，所述低延迟性以最小化dnn推理任务总时延的函数作为目标函数。
6、在本专利技术的一些实施例中，所述dnn推理任务包含多个dnn推理子任务，所述dnn推理任务部署结果是卸载dnn推理子任务到不同服务器的方案；所述dnn推理任务附带一个最大推理总时延，所述最大推理总时延作为所述推理总时延约束，所述推理总时延包含服务器上的dnn推理子任务的处理延迟，以及dnn推理子任务之间以来的数据传输在链路上的数据传输时延。
7、在本专利技术的一些实施例中，所述方法使用服务器的cpu核数表示计算资源，所述多目标遗传模型的约束条件还包含服务器计算资源约束，每个卸载到服务器上的dnn推理子任务均需消耗服务器上本文档来自技高网...
【技术保护点】
1.一种面向运行可靠性和时延的多目标DNN推理任务部署方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述物理网络拓扑图的数据结构中包含中心云服务器、边缘服务器和移动设备的总数目，以及中心云服务器、边缘服务器和移动设备之间相互连接的链路。
3.根据权利要求1所述的方法，其特征在于，所述多目标遗传模型按照多目标遗传算法寻找优化的DNN推理任务部署，在每一轮次迭代寻优的过程中，所述方法包括：
4.根据权利要求1所述的方法，其特征在于，所述高运行可靠性包含服务可靠性和推理精度可靠性，所述低延迟性以最小化DNN推理任务总时延的函数作为目标函数。
5.根据权利要求1所述的方法，其特征在于，所述DNN推理任务包含多个DNN推理子任务，所述DNN推理任务部署结果是卸载DNN推理子任务到不同服务器的方案；
6.根据权利要求5所述的方法，其特征在于，所述方法使用服务器的CPU核数表示计算资源，所述多目标遗传模型的约束条件还包含服务器计算资源约束，每个卸载到服务器上的DNN推理子任务均需消耗服务器上的计算
7.根据权利要求5所述的方法，其特征在于，所述多目标遗传模型的约束条件还包含部署约束，所述部署约束指的是各DNN推理子任务均需要部署在服务器上，并且每个DNN推理子任务只能部署在一个服务器上执行,并且该服务器只能为发起推理任务的移动设备、边缘服务器或中心云服务器。
8.一种面向运行可靠性和时延的多目标DNN推理任务部署系统，包括处理器、存储器及存储在存储器上的计算机程序/指令，其特征在于，所述处理器用于执行所述计算机程序/指令，当所述计算机程序/指令被执行时该系统实现如权利要求1至7中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种面向运行可靠性和时延的多目标dnn推理任务部署方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述物理网络拓扑图的数据结构中包含中心云服务器、边缘服务器和移动设备的总数目，以及中心云服务器、边缘服务器和移动设备之间相互连接的链路。
3.根据权利要求1所述的方法，其特征在于，所述多目标遗传模型按照多目标遗传算法寻找优化的dnn推理任务部署，在每一轮次迭代寻优的过程中，所述方法包括：
4.根据权利要求1所述的方法，其特征在于，所述高运行可靠性包含服务可靠性和推理精度可靠性，所述低延迟性以最小化dnn推理任务总时延的函数作为目标函数。
5.根据权利要求1所述的方法，其特征在于，所述dnn推理任务包含多个dnn推理子任务，所述dnn推理任务部署结果是卸载dnn推理子任务到不同服务器的方案；
6.根据权利要求5所述的方法，其特征在于，所述方法使用服务器的cpu核数表示计算资源，所述多目标遗传模型的约束条件还包含服务器计算资源约束，每个卸载到服务器上的dnn推理子任务均需消耗服...
【专利技术属性】
技术研发人员：王颖，邱雪松，卫俊杰，张满钧，郭少勇，芮兰兰，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。