【技术实现步骤摘要】
本专利技术涉及无线通信，尤其涉及一种基于平衡系统稳定与通信资源的数据流量调度方法及装置。
技术介绍
1、在5g和下一代通信网络系统中，物与物的连接成为其主要组成部分，物理对象和计算单元通过新型无线通信网络实现元素复杂融合，并高度集成协作，为提高工业生产力做出贡献。分布式发电系统作为一个典型的工业物联网应用案例，通过微电网接入电网，提高电网品质和可靠性。通过将物理基础设施与传感器、控制器和通信网络等网络部分相结合，可以实现智能化的能源供应。在此系统中，传感器用于观测电压状态，通信网络收集传感器观测数据并反馈给分布式能源系统的控制器，以实现稳定的电压控制。
2、然而，工业物联网系统面临着无线通信链路的不可靠性等挑战，电力电子设备的应用可能导致电网存在稳定性问题。
3、cn113254197a公开了一种基于深度强化学习的网络资源调度方法及系统，所述基于深度强化学习的网络资源调度系统中人机交互显示平台与智能控制平台连接，智能控制平台与通信模块连接，通信模块与数据传输介质连接；数据传输介质为有线或者无线通信信道，智能控制平台基于深度强化学习算法对不同网络数据流传输任务的通信带宽进行调度，控制整个系统进行数据收发。
4、cn115361301a公开了一种基于dqn的分布式计算网络协同流量调度系统与方法。所述方法包括：基于分布式计算任务信息和数据面可编程转发平台中端口队列的拥塞情况构建环境特征数据，基于dqn中的动作价值网络和目标网络构建并训练深度强化学习智能体，深度强化学习智能体输出抽象动作；通过策略映射
5、在面对大规模网络化控制的情况时，现有方法缺乏动态调整策略，不能很好地针对每个时刻的感知信息对通信传输的调度策略做出调整，同时维持恒定数量的调度设备容易出现通信资源浪费的情况。现有技术通常需要预先设定调度的传感器和控制器的数量以提高数据传输的可靠度，这需要具有相关经验才能实现人工设定，但在实际应用中，可供调度的传感器和控制器数量庞大，难以仅凭借经验设定出最优参数。在不同时刻的不同系统状态下，稳定电压所需的感知信息也不同，维持恒定数量的传感器和控制器将使得通信资源无法实现最大化利用。
6、此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于申请人做出本专利技术时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本专利技术不具备这些现有技术的特征，相反本专利技术已经具备现有技术的所有特征，而且申请人保留在
技术介绍
中增加相关现有技术之权利。
技术实现思路
1、由于越来越多的新能源、智能电力电子设备等广泛接入电网，电网运行特征中的随机性、动态性、波动性和复杂性显著增强。为了确保电网的安全稳定运行，现有技术中已经出现通过综合性动态安全评估的方式来制定调控决策的技术方案。例如，公开号为cn117057623a的专利文献公开了一种综合性电网安全优化调度方法，首先初步定义该基于迁移学习的动态安全评估方案中的变量和参数，随后根据初步定义的变量和参数构建基于迁移学习的动态安全评估方案总体架构，建立并更新深度q网络(dqn)智能体，并基于综合性电网安全优化调度总体架构，搭建电网环境与智能体进行交互并基于真实电网场景数据训练电网安全优化调度智能体，将训练好的电网安全优化调度智能体嵌入综合性电网安全优化调度总体架构中，实现对电网系统的智能安全调控。该技术方案主要着眼于通过对已知故障进行针对性的训练来实现未知故障在数据缺失情况下仍能被精确评估，其无法根据任意时刻的电压状态来调整具体的设备调度设备数量以实现更高效的系统电压稳定调整过程。针对现有技术中存在的恒定的调度设备数量难以用较少的通信资源开销来使网络化控制系统达到快速稳定的问题，本专利技术提供了一种基于平衡系统稳定与通信资源的数据流量调度方法及装置，以根据任意时刻的电压状态和所使用的通信资源数量来动态地调整调度设备的数目，进而以使用较低的通信资源开销来使系统稳定。
2、本专利技术公开了一种基于平衡系统稳定与通信资源的数据流量调度方法，该数据流量调度方法通过基于double dqn的智能体生成用于动态调整分布式能源系统的调度策略，该数据流量调度方法利用该智能体执行以下动作：
3、获取分布式能源系统的系统状态描述，以提供给神经网络获取每个动作相应的q价值；
4、计算每个动作的选择概率，并在各动作的q价值中加入随机噪声；
5、选择经过探索性与利用性均衡处理的q价值最大的动作，以此调整分布式能源系统中下一时刻的传感器和控制器的调度数量及配对情况，并获取系统环境的下一个系统状态描述。
6、现有技术cn113254197a提供了一种在无线通信
的网络资源调度技术，它强调在有线或者无线通信信道的数据传输介质下，针对不同网络数据流的任务进行带宽调度控制，旨在根据不同网络数据流传输任务做出不同网络带宽资源调度。相较于本专利技术，该现有技术所应用的领域更应着眼于数据传输中的网络带宽资源的调度，其本质上是面对不同的数据流传输任务而学习不同的网络带宽资源调度策略。在分布式能源系统的电力电压控制中，该现有技术不能针对电压状态选择相应的传感器数量以完成数据传输，也不能直接将用户满意度描述为系统电压控制的稳定程度和通信资源开销的大小。在分布式能源系统中，认为每个传感器所占有的网络带宽资源相同，该现有技术在请求带宽一致的情况下，不能有效识别各传感器传输数据包的价值。进一步地，该现有技术仅通过不断与环境交互进行学习的过程来确保网络资源调度方法在当前网络状态下是最优的，无法实现在多设备的网络状态下进行最优的网络资源调度过程。与上述现有技术相比，本专利技术的数据流量调度方法能够通过基于double dqn的智能体生成用于动态调整分布式能源系统的调度策略，并能够调整分布式能源系统中下一时刻的传感器和控制器的调度数量及配对情况。基于上述区别技术特征，本专利技术要解决的问题可以包括：如何在确保系统稳定性的情况下降低不同设备之间的网络资源开销。具体地，本专利技术在考虑到系统电压的稳定程度来调整调度传感器和控制器数量，以控制通信资源的开销的同时，可根据每个传感器的vq长度确定具体调度的设备。传感器的vq长度反映了在分布式能源中稳定电压状态所需的有价值信息的数量，并反映了每个传感器节点的数据对于稳定电压状态的重要性。本专利技术的智能体通过优先选择具有较高互信息值的传感器节点进行数据传输，从而使得有价值且有关键作用的数据能够优先被传输，以提高系统的电压稳定性。
7、在本专利技术技术方案中，通过建立基于double dqn的深度强化学习模型，智能体可以探索仿真系统以学习各状态下不同调度设备数量的反馈信息，其中，反馈本文档来自技高网...
【技术保护点】
1.一种基于平衡系统稳定与通信资源的数据流量调度方法，其特征在于，
2.根据权利要求1所述的数据流量调度方法，其特征在于，所获取的分布式能源系统的系统状态描述包含该系统在某一时刻的电压状态和上一个时刻使用的调度设备数目，其中，调度设备包括传感器和控制器。
3.根据权利要求1或2所述的数据流量调度方法，其特征在于，神经网络包括两个具有相同结构但权重参数不同的估计网络和目标网络，其用于通过梯度下降学习感知系统环境的经验，其中，在估计网络权重经过设定次数的更新后，使用硬更新方式对目标网络权重进行更新。
4.根据权利要求1～3任一项所述的数据流量调度方法，其特征在于，智能体在对执行相应调度动作的系统环境进行采样后将采样结果储存在经验池中，以用于网络参数更新时批量抽取定量经验，其中，采样结果包括系统状态描述和反馈信息评价。
5.根据权利要求1～4任一项所述的数据流量调度方法，其特征在于，经验池表示为系统环境的系统状态描述S、动作空间数据A、智能体执行动作后根据系统环境反馈信息计算得到的奖励值R、智能体执行动作后系统环境的系统状态描述S′的组合
6.根据权利要求1～5任一项所述的数据流量调度方法，其特征在于，被储存在经验池中的反馈信息评价被用于智能体对反馈信息的学习，并通过反馈信息评价指标进行表征，其中，反馈信息评价指标包含系统电压稳定程度和通信资源开销的归一化指标。
7.根据权利要求1～6任一项所述的数据流量调度方法，其特征在于，所述智能体执行动作后根据系统环境反馈信息计算得到的奖励值R由下式得到：
8.一种基于平衡系统稳定与通信资源的数据流量调度装置，其特征在于，其包括：
9.一种存储介质，其特征在于，所述存储介质所存储的计算机程序能够使电子设备执行如权利要求1～7任一项所述的基于平衡系统稳定与通信资源的数据流量调度方法。
10.一种存储在计算机可读介质上的计算机程序产品，其包括计算机可读程序，其特征在于，该计算机可读程序在供于电子装置上执行时，能够实施如权利要求1～7任一项所述的基于平衡系统稳定与通信资源的数据流量调度方法。
...【技术特征摘要】
1.一种基于平衡系统稳定与通信资源的数据流量调度方法，其特征在于，
2.根据权利要求1所述的数据流量调度方法，其特征在于，所获取的分布式能源系统的系统状态描述包含该系统在某一时刻的电压状态和上一个时刻使用的调度设备数目，其中，调度设备包括传感器和控制器。
3.根据权利要求1或2所述的数据流量调度方法，其特征在于，神经网络包括两个具有相同结构但权重参数不同的估计网络和目标网络，其用于通过梯度下降学习感知系统环境的经验，其中，在估计网络权重经过设定次数的更新后，使用硬更新方式对目标网络权重进行更新。
4.根据权利要求1～3任一项所述的数据流量调度方法，其特征在于，智能体在对执行相应调度动作的系统环境进行采样后将采样结果储存在经验池中，以用于网络参数更新时批量抽取定量经验，其中，采样结果包括系统状态描述和反馈信息评价。
5.根据权利要求1～4任一项所述的数据流量调度方法，其特征在于，经验池表示为系统环境的系统状态描述s、动作空间数据a、智能体执行动作后根据系统环境反馈信息计算得到的奖励...
【专利技术属性】
技术研发人员：陈高，陈雍文，曲春晓，周清峰，
申请(专利权)人：东莞理工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。