【技术实现步骤摘要】
本专利技术涉及边缘资源优化分配领域，尤其是一种基于多目标优化的数字孪生边缘资源分配算法。
技术介绍
1、元宇宙(metaverse)为人们提供了一个由计算机生成的、多用户共享的、三维的接口，使得用户拥有沉浸式的服务体验。实现元宇宙系统的关键支撑技术之一是数字孪生(digital twin)技术。在智能制造领域，引入数字孪生技术能够帮助相关领域工作人员进行产品以及生产线设计，有助于相关人员及时发现问题并解决，从而大幅降低原本迭代过程的各项成本，提高工业产品与生产线的设计效率。无线虚拟现实(virtual reality，vr)技术能够基于物联网(internet of things，iot)和数字孪生技术为技术人员提供虚拟工业制造环境。用户(进行虚拟工业流程的工人)通过佩戴头戴式可视设备(head mounteddevice，hmd)可以观看嵌入了数字孪生实体模型的全景视频以进行相应的工业流程，同时，用户能够根据现实状况的需要向数字孪生模型发送更改工业生产线或工业产品参数的操作指令，在经过服务器的处理后，用户将得到实时反馈的新场景内容。
2、上述场景中，存在以下几个挑战：(1)全景视频流传输具有严格的低时延和高数据率要求。虚拟工业制造场景需要内容传输的低时延以保证高效的工作流程，而在多用户共享网络带宽的场景下，各个用户的网络状况不同，且传输信道具有振荡性，如果带宽分配策略不合理，则很难达到上述的时延指标的要求；(2)虚拟工业制造场景要求用户端接收内容的高质量呈现。在多用户请求的虚拟工业制造场景下，服务器端需要对各个用户
3、边缘计算技术可以为上述场景提供内容渲染与传输支持。部署在网络边缘的服务器相比于云服务器更加靠近用户端，从而能够以更低的时延处理用户请求，避免主干网络拥堵带来的高时延，从而提高用户的体验质量。然而，边缘计算资源是有限的，如何分配边缘资源以满足各用户的低时延与高内容质量要求是一个复杂的决策问题。在边缘资源优化分配领域，有部分工作针对上述挑战提出了相应的解决方案。比如，采用高性能的传输网络从物理层面提高内容的传输效率(如采用太赫兹网络)；考虑多种计算任务卸载模式(在本地渲染、在边缘服务器端渲染)，来优化用户体验质量等。但从物理层面提高传输效率的同时也会带来更高的传输成本，考虑多种计算任务卸载模式选择也会给边缘服务器增加额外的计算负担。
4、其次，在处理边缘资源优化分配问题时，往往会涉及多个优化目标，而现有的大部分工作在针对多个目标进行优化时，通常会选择将其转化为单个优化目标后(如最小化用户设备能耗，最大化用户体验质量等)再进行资源分配决策，而对于多个目标的协同优化欠缺考虑。因此，考虑到网络传输信道的振荡性、共享边缘资源的有限性以及多用户的长期利益，设计一个有效的基于多目标优化的数字孪生边缘计算资源、带宽和码率联合分配策略具有高度的复杂性和挑战性。
技术实现思路
1、本专利技术所要解决的技术问题在于，提供一种基于多目标优化的数字孪生边缘资源分配算法，高效地利用了边缘上的有限传输和计算资源，来进一步提高数字孪生内容传输的质量。其次，内嵌的一种多目标优化问题所有子问题模型的协同训练方法提高了整体框架的训练效率。
2、为解决上述技术问题，本专利技术提供一种基于多目标优化的数字孪生边缘资源分配算法，利用深度强化学习算法求解资源优化分配策略，包括如下步骤：
3、(1)初始化基于边缘数字孪生的内容渲染与传输的系统环境；
4、(2)初始化ddpg算法包含的actor当前网络θμ和actor目标网络θμ′、critic当前网络θq和critic目标网络θq′的参数，清空经验回放池
5、(3)用户发送请求或操作指令，边缘服务器接收并处理信息和指令，drl智能体从系统环境中观察状态s(t)并预处理为状态特征φ(s(t))，将其输入actor当前网络，得到对应的动作
6、(4)drl智能体执行动作a(t)，进行相应的带宽资源、渲染资源和码率分配，得到反馈奖励r(s(t)，a(t))，观察新的状态s(t+1)并预处理为状态特征φ(s(t+1))；
7、(5)系统构造{φ(s(t))，a(t)，r(s(t)，a(t))，φ(s(t+1))}的转换关系，并将其存储到经验回放池中；
8、(6)更新状态s(t)←s(t+1)；
9、(7)drl智能体从经验回放池中采样m个样本，计算目标q值，分别更新actor当前网络和critic当前网络参数；
10、(8)每隔c步对目标网络参数进行软更新。
11、优选的，步骤(3)中，drl智能体从环境中观察状态s(t)并将其预处理为φ(s(t))，输入actor当前网络，然后得到相应的动作a(t)，具体包括如下步骤：
12、(31)观测环境的状态s(t)，状态采用以下计算式：
13、
14、其中，表示在时刻t，用户k的下行链路信噪比。
15、(32)将观测到的状态s(t)预处理为状态特征φ(s(t))，并输入actor当前网络；
16、(33)actor当前网络输出添加了噪声的动作a(t)，对动作空间的描述采用以下计算式：
17、a(t)＝{xt，wt，ct}
18、其中，表示在时刻t，drl智能体为所有用户分配的渲染资源比例，表示在时刻t，drl智能体为所有用户分配的带宽资源比例，表示在时刻t，drl智能体为所有用户分配的内容码率大小。
19、优选的，步骤(4)中，drl智能体执行动作a(t)，进行相应的带宽资源、渲染资源和码率分配操作，得到反馈奖励r(s(t)，a(t))，观察新的状态s(t+1)并预处理为状态特征φ(s(t+1))，具体包括如下步骤：
20、(41)计算一个用户上传信息与操作指令的传输成本(上行链路传输时延)如下式：
21、
22、其中，bu表示上行链路分配给每一个用户的带宽资源，hu，k表示用户k的上行链路信噪比。
23、(42)计算边缘服务器为一个用户渲染数字孪生模型的时延成本(渲染时延)如下式：
24、
25、其中，β1，β2，β3是与硬件相关的常量，为在时刻t为用户k分配的渲染资源比例，r为边缘服务器端的渲染资源总量，为在时刻t为用户k分配的内容码率，cavg表示用户平均内容码率，表示视频内容码率决策对渲染时延的影响程度。
26、(43)计算边缘服务器向一个用户传输嵌入了数字孪生模型的全景视频的传输成本(下行链路传输时延)如下式：本文档来自技高网...
【技术保护点】
1.一种基于多目标优化的数字孪生边缘资源分配算法，其特征在于，使用深度强化学习方法在多目标优化框架下解决边缘资源优化分配问题，包括如下步骤：
2.如权利要求1所述的基于多目标优化的数字孪生边缘资源分配算法，其特征在于，步骤(3)中，DRL智能体从环境中观察状态s(t)并将其预处理为φ(s(t))，输入Actor当前网络，然后得到相应的动作a(t)，具体包括如下步骤：
3.如权利要求1所述的基于多目标优化的数字孪生边缘资源分配算法，其特征在于，步骤(4)中，DRL智能体执行动作a(t)，进行相应的带宽资源、渲染资源和码率分配操作，得到反馈奖励R(s(t)，a(t))，观察新的状态s(t+1)并预处理为状态特征φ(s(t+1))，具体包括如下步骤：
4.如权利要求1所述的基于多目标优化的数字孪生边缘资源分配算法，其特征在于，步骤(7)中，DRL智能体从经验回放池中采样m个样本，计算目标Q值，分别更新Actor当前网络和Critic当前网络参数，具体包括如下步骤：
5.如权利要求1所述的基于多目标优化的数字孪生边缘资源分配算法，其特征在于
6.如权利要求1所述的基于多目标优化的数字孪生边缘资源分配算法，其特征在于，针对多目标优化问题分解后的所有子问题的网络模型训练方法，具体包括如下步骤：
...【技术特征摘要】
1.一种基于多目标优化的数字孪生边缘资源分配算法，其特征在于，使用深度强化学习方法在多目标优化框架下解决边缘资源优化分配问题，包括如下步骤：
2.如权利要求1所述的基于多目标优化的数字孪生边缘资源分配算法，其特征在于，步骤(3)中，drl智能体从环境中观察状态s(t)并将其预处理为φ(s(t))，输入actor当前网络，然后得到相应的动作a(t)，具体包括如下步骤：
3.如权利要求1所述的基于多目标优化的数字孪生边缘资源分配算法，其特征在于，步骤(4)中，drl智能体执行动作a(t)，进行相应的带宽资源、渲染资源和码率分配操作，得到反馈奖励r(s(t)，a(t))，观察新的状态s(t...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。