一种面向切片的低时延无线资源调度方法及系统技术方案

本发明专利技术公开了一种面向切片的低时延无线资源调度方法及系统，其中方法步骤如下：接收物理世界用户发送的资源调度请求信息；基于当前接收到的资源调度请求信息，获取用户的瞬时传输速率；通过可用的计算资源构建用户资源分配的数字孪生模拟环境；在数字孪生模拟环境中，结合用户的瞬时传输速率、现有可用的计算资源、用户的调度请求信息计算每个用户在每个资源块上的优先级，初步评估资源块的分配决策；基于用户的历史分配数据，通过深度确定性策略迭代模型对初步评估资源块的分配决策进行优化；根据优化后的分配决策完成对用户的资源块分配，并将分配决策映射到物理世界。并将分配决策映射到物理世界。并将分配决策映射到物理世界。

【技术实现步骤摘要】
一种面向切片的低时延无线资源调度方法及系统


[0001]本专利技术涉及5G无线资源分配
，更具体的，涉及一种面向切片的低时延无线资源调度方法及系统。

技术介绍

[0002]在传统的无线资源分配场景中，用户将资源请求信息发送给蜂窝网络端，基站针对用户的数量公平的切割可用的资源块，并将其对应的资源块下发给用户。然而，用户自身的特性往往被忽略。因此，在这种情况下，一些优先级高的用户往往被分到的资源块不足以支撑用户的需求。另一方面，用户的待发数据量在基站侧的队列中停留的时间直接影响用户的时延。当停留时间较长时，用户自身的需求大概率是无法得到满足的。另一方面，现有的研究为了考虑用户的时延，构建多目标优化模型，但是该模型不能准确的判断用户精确的资源需求。
[0003]针对上述讨论，现有的解决方案不能很好的对用户的资源请求信息精确的分配需要的资源。

技术实现思路

[0004]本专利技术为了解决以上现有技术存在的不足与缺点的问题，提供了一种面向切片的低时延无线资源调度方法及系统，其基于深度确定性策略梯度算法，完成对资源的精确分配，以此满足用户的低时延需求。
[0005]为实现上述本专利技术目的，采用的技术方案如下：
[0006]一种面向切片的低时延无线资源调度方法，所述的方法包括步骤如下：
[0007]接收物理世界用户发送的资源调度请求信息；
[0008]基于当前接收到的资源调度请求信息，获取用户的瞬时传输速率；
[0009]通过现有可用的计算资源构建用户资源分配的数字孪生模拟环境；
[0010]在数字孪生模拟环境中，结合用户的瞬时传输速率、现有可用的计算资源、用户的调度请求信息计算每个用户在每个资源块上的优先级，初步评估资源块的分配决策；
[0011]基于用户的历史分配数据，通过深度确定性策略迭代模型对初步评估资源块的分配决策进行优化；
[0012]根据优化后的分配决策完成对用户的资源块分配，并将分配决策映射到物理世界。
[0013]进一步地，计算每个用户i，在每个资源块上的优先级R
i
，表示为：
[0014][0015]其中，ω1,ω2,ω3,ω4表示权重系数，满足ω1+ω2+ω3+ω4＝1；γ
i
(t)表示用户i在时刻t时的信噪比；r
i
(t)表示用户i在时刻t时的瞬时传输速率；RA
i
(t)表示用户i在时刻t之前一段时间的平均传输速率；C
i
(t)表示用户i在时刻t时的队列缓冲时间；D
i
(t)表示用户
i在时刻t时需要发送的数据量。
[0016]再进一步地，所述的深度确定性策略迭代模型包括Actor神经网络、Critic神经网络；
[0017]将当前的资源调度请求信息作为观测信息并定义为S
i
，将历史分配数据放入构建的replaymemory中；将当前的数据S
i
输入Actor神经网络中获取对应的资源分配决策a
i
，并且通过给定的优先级公式计算对应的reward值。
[0018]再进一步地，将当前的资源调度请求信息S
i
输入Actor神经网络进行迭代训练，在迭代多次后，其reward考虑记忆的折扣能够重写为：
[0019][0020]其中，R
i
(s,a)表示用户i获得的奖赏，γ
i
‑
t
表示折扣因子，是一个固定数值(比如设置为0.999)；T表示时间尺度。
[0021]再进一步地，基于获取对应的资源块分配策略a
i
，建立行为值函数去表述在采取该资源块分配策略a
i
后所期望得到的回报，该行为值函数表示为：
[0022][0023]式中，
[0024]再进一步地，针对建立行为值函数去表述在采取资源块分配策略a
i
后所期望得到的回报，通过构建loss函数来获取最大的期望回报，所述的loss函数表示为：
[0025][0026]其中，θ
Q
表示函数Q
π
的参数近似，Y表示用户i的真实需求回报、为期望函数。
[0027]优选地，在完成对用户的资源块分配后，从资源块列表中删除已经分配出去的资源块。
[0028]进一步地，在将已经分配出去的资源块从资源块列表中删除后，
[0029]判断资源块列表是否为空，确认资源块列表为空，则结束分配流程；
[0030]确认资源块列表不为空，则继续执行分配策略，并将分配策略发送给物理世界中的用户，满足用户低时延的需求。
[0031]优选地，对接收到的资源调度请求信息进行解析，并判断在基站侧的缓存中是否存在该用户的以往资源需求信息，如果存在，则添加到用户的资源调度请求信息中；
[0032]所述的资源调度请求信息包括用户的位置、用户传输的信道质量信息、用户的数据在基站侧队列中的等待时间。
[0033]一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述的处理器执行所述的计算机程序时，实现所述的面向切片的低时延无线资源调度方法。本专利技术的有益效果如下：
[0034]1、本专利技术给出了一种面向切片的低时延无线资源调度方法，有效的保证用户的低时延需求，可以精确的满足不同用户的时延需求。
[0035]2、克服了资源分配不合理的情况：基站侧构建一个物理实体和虚拟实体之间的对
应关系的数字孪生系统，通过对历史分配数据进行学习，精确的模拟用户当前资源请求。
[0036]3、使用深度确定性策略迭代模型在获取用户当前资源请求的情况下，将优先级作为reward精准的指导基站侧获取精确的资源分配方案。
[0037]4、本专利技术的方法普遍适用于5G网络应用下的无线资源分配应用。
附图说明
[0038]图1是实施例1所述的面向切片的低时延无线资源调度方法的步骤框图。
[0039]图2是实施例1所述的面向切片的低时延无线资源调度方法的步骤流程图。
具体实施方式
[0040]下面结合附图和具体实施方式对本专利技术做详细描述。
[0041]本实施例可能涉及到本领域专有名词解释如下：
[0042]1.用户：连接同一个蜂窝网络的终端用户。
[0043]2.切片：将一个蜂窝网络切割成多个虚拟的端到端的网络，每个网络之间是逻辑独立的，任何一个网络发生故障都不会影响到其它的虚拟网络。
[0044]3.映射：数字孪生的物理实体和虚拟实体之间的对应关系。
[0045]4.数字孪生：一个或多个彼此依赖的数字映射系统。
[0046]实施例1
[0047]本实施例提供的一种面向切片的低时延无线资源调度方法，主要应用于第五代移动通信(The fifth generation mobile c本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向切片的低时延无线资源调度方法，其特征在于：所述的方法包括步骤如下：接收物理世界用户发送的资源调度请求信息；基于当前接收到的资源调度请求信息，获取用户的瞬时传输速率；通过现有可用的计算资源构建用户资源分配的数字孪生模拟环境；在数字孪生模拟环境中，结合用户的瞬时传输速率、现有可用的计算资源、用户的调度请求信息计算每个用户在每个资源块上的优先级，初步评估资源块的分配决策；基于用户的历史分配数据，通过深度确定性策略迭代模型对初步评估资源块的分配决策进行优化；根据优化后的分配决策完成对用户的资源块分配，并将分配决策映射到物理世界。2.根据权利要求1所述的面向切片的低时延无线资源调度方法，其特征在于：计算每个用户i，在每个资源块上的优先级R
i
，表示为：其中，ω1，ω2，ω3，ω4表示权重系数，满足ω1+ω2+ω3+ω4＝1；γ
i
(t)表示用户i在时刻t时的信噪比；r
i
(t)表示用户i在时刻t时的瞬时传输速率；RA
i
(t)表示用户i在时刻t之前一段时间的平均传输速率；C
i
(t)表示用户i在时刻t时的队列缓冲时间；D
i
(t)表示用户i在时刻t时需要发送的数据量。3.根据权利要求2所述的面向切片的低时延无线资源调度方法，其特征在于：所述的深度确定性策略迭代模型包括Actor神经网络、Critic神经网络；将当前的资源调度请求信息作为观测信息并定义为S
i
，将历史分配数据放入构建的replaymemory中；将当前的资源调度请求信息S
i
输入Actor神经网络中获取对应的资源分配决策a
i
，并且通过给定的优先级公式计算对应的reward值。4.根据权利要求3所述的面向切片的低时延无线资源调度方法，其特征在于：将当前的资源调度请求信息S
i
输入Actor神经网络进行迭代训练，在迭代多次后...

【专利技术属性】
技术研发人员：刘铭，桂振文，谢伟坤，
申请(专利权)人：中国电子科技集团公司第七研究所，
类型：发明
国别省市：