适用于固废基地园循环更新规划方法和系统、设备、介质技术方案

本发明专利技术提供了一种适用于固废基地园循环更新规划方法，包括如下步骤：步骤S1：输入城市发展参数、规划参数、模型参数及设备状态进行更新；步骤S2：根据所有可能的解确定设备更新后的状态；步骤S3：求得奖励值后将奖励值与状态变化存储在记忆池中备用；步骤S4：将记忆池中的经验积累与当前动作结合以更新参数；步骤S5：将城市发展预测结果与设备初始状态融合得到设备更新方案。本发明专利技术还提供了一种适用于固废基地园循环更新规划、设备和介质。本发明专利技术具备时序性及普适性，能够根据城市发展变化，对规划方案进行更细致的循环更新，同时降低方案对未来发展趋势的错误判断而产生的不必要成本。

【技术实现步骤摘要】
适用于固废基地园循环更新规划方法和系统、设备、介质
本专利技术涉及固废基建规划
，具体地，涉及一种适用于固废基地园循环更新规划方法和系统、设备、介质。
技术介绍
能源是人类生产和生活等活动的重要物质基础，人类迈入工业社会后，对能源的需求不断提高。但是，不可再生能源的大量使用和能源结构的不合理，对环境造成了巨大的压力，与日俱增的废弃物使得“垃圾围城”现象日益凸显。协调好能源与环境的关系，将成为城市可持续发展的关键。但现在存在固废基地园区系统在面对不同的城市发展情况下无法都能一致给出最优化系统循环的渐进式规划方案的技术问题，就需要专利技术设计一种具备时序性及普适性的循环更新方法来解决上述问题。经过检索，专利文献CN112488350A公开了一种计及清洁能源的电网更新规划方法及系统，基于获取的规划范围内更新项目供用电数据和预先构建的多目标更新规划优化模型，获得求解结果；基于所述求解结果确定各类电源接入电网的容量；所述多目标更新规划优化模型是基于多种可再生能源电力的接入量和电网的稳定性进行构建。该现有技术的不足之处在于不能根据多目标更新规划优化模型在不同状态下，对固废基地物质-能源系统的规划方案进行求解。专利文献CN112488452A公开了一种基于深度强化学习的能源系统管理尺度最优决策方法，通过基于长短期记忆人工神经网络的预测模型得出提前两步时间的光伏电池组的输出功率以及负荷所需功率，从而利用深度强化学习方法对储能电池组的充放电动作产生最优动作决策。该现有技术的不足之处在于虽然考虑单一时间尺度中动作决策在某些情形下会造成系统饱和及不稳定的问题，但是仅根据当前以及预测的未来两个时刻的系统状态，对储能电池组的充放电动作产生最优动作决策并不能当然推导出在不同状态下，对固废基地物质-能源系统的规划方案的求解。专利文献CN110309990A公开了一种考虑典型场景耐受度的新能源不确定性规划方法，采用场景生成和缩减技术解决不确定性、随机性问题，构造RDG典型出力场景以平衡计算效率和计算精度，选取的典型场景能够最大限度地反映规划地区全周期运行特性，得到更贴合实际的电压偏移值和网络损耗。在多目标优化过程中，将典型场景耐受度指标引入目标函数，保证了规划结果适用于尽可能多的运行场景。但是该现有技术虽然能适用于不同的运行场景，但是仍然没有解决如何对规划方案进行循环更新的技术问题，并且采用的RDG典型处理场景没有深度确定性策略对规划方案的没有对提出高精度的规划方案的正向帮助。因此，亟需提出一种具备时序性及普适性，能够根据城市发展变化，对规划方案进行更细致的循环更新，同时降低方案对未来发展趋势的错误判断而产生的不必要成本的方法和系统。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种适用于固废基地园循环更新规划方法和系统、设备、介质，提出基于深度确定性策略(DDPG，DeepDeterministicPolicyGradient)的循环更新规划算法，实现了在不同状态下，对固废基地物质-能源系统的规划方案求解，降低方案对未来发展趋势的错误判断而产生的不必要成本。根据本专利技术提供的一种适用于固废基地园循环更新规划方法，包括如下步骤：步骤S1：输入城市发展参数、规划参数、模型参数及设备状态进行更新；步骤S2：根据所有可能的解确定设备更新后的状态；步骤S3：求得奖励值后将奖励值与状态变化存储在记忆池中备用；步骤S4：将记忆池中的经验积累与当前动作结合以更新参数；步骤S5：将城市发展预测结果与设备初始状态融合得到设备更新方案。优选地，步骤S1中城市发展参数包括总人口、劳动力、生产总值、固废产量、废水产量以及废气产量的当前值及预测值；规划参数包括规划方案、规划过程、规划年限；模型参数包括策略网络及Q网络参数；设备状态包括光伏发电设备装机总容量、风电设备装机总容量、CHP设备装机总容量、燃气锅炉装机总容量、电锅炉装机总容量、燃料电池装机总容量、热交换器装机总容量、吸收式制冷剂装机总容量及能源效率、电转气设备装机总容量及能源效率、电、热、气能源转换装置总容量、电、热、气储能装置总容量、垃圾焚烧发电厂容量、沼气发电厂容量及效率、垃圾填埋场容量、渗沥液处理厂容量及效率、沼气压缩提纯厂容量及效率。优选地，步骤S1中包括：步骤S1.1：随机初始化所有的状态和动作对应的价值，随机初始化网络的所有参数，产生初始状态S1；步骤S1.2：完成T次训练，每次训练完成规划年限内的规划方案，并同时更新策略网络参数以及Q网络参数；策略网络参数是带有随机性地选择动作，并与循环系统环境及经验池互动，产生不同状态下采取不同动作的奖励值，更新策略网络参数；Q网络参数在获得策略网络参数输出的状态、动作、奖励后，同样与经验池交互，更新Q网络参数。优选地，步骤S2中，初始状态下，模型策略网络依据均匀分布在所有动作范围内寻找可能的解，确定新的一年设备更新后的状态，并通过下层规划求解下层运行解，并将其与上层的规划目标合并，得到奖励值。优选地，步骤S3中，当记忆池存满时，探索过程将由策略网络进行决策，在策略网络的输出结果上附加一个随训练过程不断减小的随机量，作为这次探索的动作，同样获取状态变化以及奖励值存储在记忆池中。优选地，步骤S4中，从记忆池中随机选取设定范围的量的经验与当前动作相结合，更新策略网络参数以及Q网络参数。优选地，步骤S5中，模型训练完成后，将规划年限内的城市发展预测结果，与设备初始状态输入DDPG网络结构模型，得到每年对固废基地物质-能源系统的设备更新方案；DDPG网络结构模型包括策略网络和Q网络，策略网络用于随机性地选择动作，并与循环系统环境及经验池互动，产生不同状态下采取不同动作的奖励值；Q网络用于获得策略网络输出的状态、动作和奖励值后，与经验池交互。根据本专利技术提供的一种适用于固废基地园循环更新规划系统，包括：模块M1：输入城市发展参数、规划参数、模型参数及设备状态进行更新；模块M2：根据所有可能的解确定设备更新后的状态；模块M3：求得奖励值后将奖励值与状态变化存储在记忆池中备用；模块M4：将记忆池中的经验积累与当前动作结合以更新参数；模块M5：将城市发展预测结果与设备初始状态融合得到设备更新方案。根据本专利技术提供的一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时实现上述的方法的步骤。根据本专利技术提供的一种适用于固废基地园循环更新规划设备，包括上述的适用于固废基地园循环更新规划系统或者上述的存储有计算机可读存储介质。与现有技术相比，本专利技术具有如下的有益效果：1、本专利技术基于循环更新算法的原理改进了DDPG的网络结构，使得DDPG框架可以更为精确地对城市发展参数以及系统设备状态更好的预测与评估，随后结合遗传算法以及城市发展预测，使得DDPG能够恰当地运用在物质-能源系统规划中。2、本专利技术通过智能学习本文档来自技高网...

【技术保护点】
1.一种适用于固废基地园循环更新规划方法，其特征在于，包括如下步骤：/n步骤S1：输入城市发展参数、规划参数、模型参数及设备状态进行更新；/n步骤S2：根据所有可能的解确定设备更新后的状态；/n步骤S3：求得奖励值后将奖励值与状态变化存储在记忆池中备用；/n步骤S4：将记忆池中的经验积累与当前动作结合以更新参数；/n步骤S5：将城市发展预测结果与设备初始状态融合得到设备更新方案。/n

【技术特征摘要】
1.一种适用于固废基地园循环更新规划方法，其特征在于，包括如下步骤：
步骤S1：输入城市发展参数、规划参数、模型参数及设备状态进行更新；
步骤S2：根据所有可能的解确定设备更新后的状态；
步骤S3：求得奖励值后将奖励值与状态变化存储在记忆池中备用；
步骤S4：将记忆池中的经验积累与当前动作结合以更新参数；
步骤S5：将城市发展预测结果与设备初始状态融合得到设备更新方案。


2.根据权利要求1所述的适用于固废基地园循环更新规划方法，其特征在于，所述步骤S1中城市发展参数包括总人口、劳动力、生产总值、固废产量、废水产量以及废气产量的当前值及预测值；
规划参数包括规划方案、规划过程、规划年限；
模型参数包括策略网络及Q网络参数；
设备状态包括光伏发电设备装机总容量、风电设备装机总容量、CHP设备装机总容量、燃气锅炉装机总容量、电锅炉装机总容量、燃料电池装机总容量、热交换器装机总容量、吸收式制冷剂装机总容量及能源效率、电转气设备装机总容量及能源效率、电、热、气能源转换装置总容量、电、热、气储能装置总容量、垃圾焚烧发电厂容量、沼气发电厂容量及效率、垃圾填埋场容量、渗沥液处理厂容量及效率、沼气压缩提纯厂容量及效率。


3.根据权利要求1所述的适用于固废基地园循环更新规划方法，其特征在于，所述步骤S1中包括：
步骤S1.1：随机初始化所有的状态和动作对应的价值，随机初始化网络的所有参数，产生初始状态S1；
步骤S1.2：完成T次训练，每次训练完成规划年限内的规划方案，并同时更新策略网络参数以及Q网络参数；
所述策略网络参数是带有随机性地选择动作，并与循环系统环境及经验池互动，产生不同状态下采取不同动作的奖励值，更新策略网络参数；
所述Q网络参数在获得策略网络参数输出的状态、动作、奖励后，同样与经验池交互，更新Q网络参数。


4.根据权利要求1所述的适用于固废基地园循环更新规划方法，其特征在于，所述步骤S2中，初始状态下，模型策略网络依据均匀分布在所有动作范围...

【专利技术属性】
技术研发人员：解大，王西田，王晨磊，赵玉琢，周楠，赵承汉，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31