【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种传算资源动态适配的协同推演模型剪枝分割方法及装置。
技术介绍
1、在应急救援现场，往往需要部署无人机完成灾情态势感知任务，结合人工智能（artificial intelligence，ai）技术，可以有效提升感知任务的执行效率。
2、然而，人工智能技术往往依赖复杂的深度神经网络（deep neural networks，dnn）模型，存在极高的计算资源开销。由于无人机的载荷有限，只能携带轻量化设备，轻量化设备算力不足，通常难以及时完成复杂dnn模型的计算。同时，应急现场往往会因基础设施退服导致公网缺失，临时构建的专网链路不稳定、传输速率低，无人机实时采集的图像数据也难以快速传输至位于后方的服务器进行处理，无法应用传统的依赖公网通信的云计算架构。此外，不同无人机设备异构，不同应用场景下无人机具备差异化的传输、计算资源，存在传算资源差异大的问题。基于此，如何高效适配并利用有限的传算资源提供低延迟、高可靠的智能感知服务，成为了亟需解决的技术难题。
3、传统方法依靠剪枝、蒸馏、量化等操作，针对部署在单一设备的dnn模型进行压缩，实现了模型轻量化，但受限于单一设备的算力，轻量化模型仍然具备较高的推演时延。基于此，在一些相关技术中，提出了边端协同推演框架，由部署在现场的低算力终端设备和部署在后方的高算力边缘服务器共同完成模型推演：首先，将dnn模型分割为两部分，在终端设备（例如无人机）上先完成前一部分dnn模型的推演，再将中间结果传输至边缘服务器上，继续完成后一部分dnn模型的推演
4、在现有技术中，可在预先给定传输速率以及边端设备算力的情况下，训练一个专门用于剪枝分割的模型，通过该模型对已有的识别模型进行剪枝分割。
5、但是，由于现有的模型剪枝分割方法无法灵活根据无人机实际具备的传输资源和计算资源调整剪枝分割决策结果，难以适配无人机设备异构、通信链路动态变化的复杂应急环境，因此模型生成的剪枝分割策略不佳，导致剪枝分割后的识别模型的推演时延高。
技术实现思路
1、本专利技术提供一种传算资源动态适配的协同推演模型剪枝分割方法及装置，用以解决现有的技术中模型生成的剪枝分割策略不佳，导致剪枝分割后的识别模型的推演时延高的技术问题。
2、本专利技术提供一种传算资源动态适配的协同推演模型剪枝分割方法，包括：获取边端节点之间的传输速率、边端节点算力比、预设最低识别精度，并加载预训练的识别模型；边端节点之间的传输速率为无人机与边缘服务器之间的数据传输速率，边端节点算力比为识别模型部署于无人机上的推演时延与部署于边缘服务器上的推演时延的比值，预设最低识别精度为根据实际业务需求设置的识别模型的最小推演精度；将传输速率、边端节点算力比和预设最低识别精度输入至预训练的强化学习模型，对识别模型进行剪枝分割决策，获得强化学习模型输出的剪枝分割决策结果。
3、根据本专利技术提供的一种传算资源动态适配的协同推演模型剪枝分割方法，识别模型包括多个卷积层，剪枝分割决策结果包括识别模型的每一卷积层的剪枝率，强化学习模型包括critic网络和actor网络；critic网络，用于预测整体决策过程最终获得的累积奖励；累积奖励为执行完识别模型分割与每一卷积层剪枝后，根据识别模型的推演时延和推演精度所计算的奖励；actor网络，用于决策识别模型的每一卷积层的剪枝率。
4、根据本专利技术提供的一种传算资源动态适配的协同推演模型剪枝分割方法，critic网络采用第一预设损失函数进行训练；第一预设损失函数为：
5、；
6、其中，t为样本总数，t为当前样本，为critic网络的输出结果，return为强化学习模型的累积奖励。
7、根据本专利技术提供的一种传算资源动态适配的协同推演模型剪枝分割方法，actor网络采用第二预设损失函数进行训练；第二预设损失函数为：
8、；
9、其中，t为样本总数，t为当前样本，为critic网络的输出结果。
10、根据本专利技术提供的一种传算资源动态适配的协同推演模型剪枝分割方法，强化学习模型的决策过程的状态为：
11、；
12、其中，为传输速率，为边端节点算力比，为预设最低识别精度，为每一步决策过程中识别模型的各卷积层及其余层的计算量，为每一步决策过程中识别模型的各卷积层的通道数量，为识别模型每个可选分割位置对应的传输数据量，为每一步决策过程中所剪枝的卷积层的位置，为识别模型各卷积层的剪枝率。
13、根据本专利技术提供的一种传算资源动态适配的协同推演模型剪枝分割方法，强化学习模型的动作包括识别模型的每一卷积层的剪枝率。
14、根据本专利技术提供的一种传算资源动态适配的协同推演模型剪枝分割方法，强化学习模型的奖励为：
15、；
16、其中，为无人机侧的推演时延，为边缘服务器侧的推演时延，为传输时延，为识别模型的推演精度，为预设最低识别精度，o为识别模型的分割点位置集合，为识别模型的当前分割位置。
17、本专利技术还提供一种传算资源动态适配的协同推演模型剪枝分割装置，包括：获取模块，用于获取边端节点之间的传输速率、边端节点算力比、预设最低识别精度，并加载预训练的识别模型；边端节点之间的传输速率为无人机与边缘服务器之间的数据传输速率，边端节点算力比为识别模型部署于无人机上的推演时延与部署于边缘服务器上的推演时延的比值，预设最低识别精度为根据实际业务需求设置的识别模型的最小推演精度；决策模块，用于将传输速率、边端节点算力比和预设最低识别精度输入至预训练的强化学习模型，对识别模型进行剪枝分割决策，获得强化学习模型输出的剪枝分割决策结果。
18、本专利技术提供的传算资源动态适配的协同推演模型剪枝分割方法及装置，根据边端节点之间的传输速率、边端节点算力比、预设最低识别精度，利用强化学习模型对识别模型进行剪枝分割决策，获得剪枝分割决策结果。通过上述方式，在强化学习模型的剪枝分割决策中综合考虑边端节点之间的传输速率、边端节点算力比和识别模型的最低精度，使得最终生成的剪枝分割决策结果可动态适配边端两侧的传输资源、计算资源以及精度需求，优化剪枝分割策略，进而降低剪枝分割后的识别模型的推演时延。
本文档来自技高网...【技术保护点】
1.一种传算资源动态适配的协同推演模型剪枝分割方法，其特征在于，包括：
2.根据权利要求1所述的传算资源动态适配的协同推演模型剪枝分割方法，其特征在于，所述识别模型包括多个卷积层，所述剪枝分割决策结果包括所述识别模型的每一所述卷积层的剪枝率，所述强化学习模型包括Critic网络和Actor网络；
3.根据权利要求2所述的传算资源动态适配的协同推演模型剪枝分割方法，其特征在于，所述Critic网络采用第一预设损失函数进行训练；
4.根据权利要求2所述的传算资源动态适配的协同推演模型剪枝分割方法，其特征在于，所述Actor网络采用第二预设损失函数进行训练；
5.根据权利要求1所述的传算资源动态适配的协同推演型剪枝分割方法，其特征在于，所述强化学习模型的决策过程的状态为：
6.根据权利要求1所述的传算资源动态适配的协同推演模型剪枝分割方法，其特征在于，所述强化学习模型的动作包括所述识别模型的每一卷积层的剪枝率。
7.根据权利要求1所述的传算资源动态适配的协同推演模型剪枝分割方法，其特征在于，所述强化学习模型的奖励为
8.一种传算资源动态适配的协同推演模型剪枝分割装置，其特征在于，包括：
...【技术特征摘要】
1.一种传算资源动态适配的协同推演模型剪枝分割方法，其特征在于，包括：
2.根据权利要求1所述的传算资源动态适配的协同推演模型剪枝分割方法，其特征在于，所述识别模型包括多个卷积层，所述剪枝分割决策结果包括所述识别模型的每一所述卷积层的剪枝率，所述强化学习模型包括critic网络和actor网络；
3.根据权利要求2所述的传算资源动态适配的协同推演模型剪枝分割方法，其特征在于，所述critic网络采用第一预设损失函数进行训练；
4.根据权利要求2所述的传算资源动态适配的协同推演模型剪枝分割方法，其特征...
【专利技术属性】
技术研发人员：王莉，徐连明，张东辉，王凯亮，吴鑫，付玮琦，于然，王宣元，周国亮，宋伟，那琼澜，赵庆凯，苏丹，赵子兰，徐鑫，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。