【技术实现步骤摘要】
本专利技术属于电力负荷辨识，涉及电力系统负荷模型研究与信息科学交叉融合的技术，具体涉及一种基于改进深度强化学习的电力负荷模型参数辨识方法。
技术介绍
1、
2、电力系统负荷变化是一个非线性、强随机性的时变过程，构建准确的负荷模型并辨识关键参数比较困难。参考文献(陈谦,汤涌,鞠平,等.计及配电网阻抗和无功补偿的完整综合负荷模型的参数辨识[j].中国电机工程学报,2010,30(22):44-50.)在2010年8月公开的技术方案中，构建了如图1所示的考虑配电网阻抗、电动机、静态负荷和电容补偿的综合负荷模型，该方案中基于综合负荷模型只辨识重点参数，其他参数采用典型值。负荷模型中的参数准确度直接影响电力系统运行、规划决策的正确性。近年来国内外接连发生大停电事故造成巨大经济损失，表明仍需探索具有重要经济社会价值的准确负荷模型。负荷模型参数的准确识别对于电力系统的规划、运行和控制等研究至关重要。
3、目前应用于电力系统建模与参数辨识的算法主要分为数据驱动模型与机理驱动模型两大类。数据驱动模型需要采集足够充分的数据以提炼出负荷变化的特征指标，而后对电力负荷变化进行模型构建。机理驱动模型则通过动力学方程描述负荷的变化过程，分析其中各种电力参数的传递与转移，从而构建电力负荷模型。虽然数据驱动模型能够在数据中挖掘电力负荷的内在规律，但作为一类黑箱模型，难以实现对电力负荷变化过程内在机理的揭示，可解释性不强等问题阻碍了数据驱动模型的推广。此外，虽然机理驱动模型描述的规律性更为直观，但是由于其着眼于特定环境中各因素之间的复杂关
技术实现思路
1、针对目前电力系统建模与参数辨识技术中存在的构建机理驱动模型时需要较多参数，不易于实际应用的问题，本专利技术提供了一种基于改进深度强化学习的电力负荷模型参数辨识方法，在已有电力系统机理模型与数据驱动模型的基础上，通过改进深度强化学习模型，利用ieee9节点系统仿真数据对负荷模型参数进行辨识，并对参数优化辨识后的电力系统综合负荷模型进行检验验证，证明本专利技术能实现准确辨识电力系统负荷模型参数的目的。
2、本专利技术提出的一种基于改进深度强化学习的电力负荷模型参数辨识方法，包括以下步骤：
3、步骤一、建立计及配电网阻抗和无功补偿的完整综合负荷模型；
4、确定综合负荷模型中的输入状态向量、输出数据向量以及模型的待辨识参数；从待研究电路测量点采集k时刻的有功功率p(k)、无功功率q(k)和电压数据u(k)，形成输入状态向量x(k)，设综合负荷模型k时刻的待辨识参数向量为θ(k)，由综合负荷模型计算k时刻的输出数据向量s(k)包含：感应电动机消耗的有功功率pm(k)和无功功率qm(k)，静态负荷部分消耗的有功功率pzip(k)和无功功率qzip(k)，配电网支路上消耗的有功功率pd(k)和无功功率qd(k)，以及补偿电容器消耗的无功功率qc(k)；
5、所述综合负荷模型的输入输出表示为：s(k)＝slm(x(k),θ(k))；slm表示综合负荷模型；
6、步骤二、使用改进的深度强化学习模型结构建立电力负荷参数辨识模型；
7、所提出的改进深度强化学习模型采用基于优先经验回放的双向门控循环单元深度确定性策略梯度方法实现，该模型整体由双向门控循环单元组成的执行网与评价网结构作为基本框架，设计主执行网、目标执行网、主评价网与目标评价网所对应的4个双向门控循环神经网络的结构与参数。将经验回放池改进为优先经验回放池，以加快智能体的学习与训练，将池中四元组样本的优先级基于该样本时序差分误差的幅值来定义，时序差分误差的幅值越大样本的优先级越大。样本的时序差分误差是指：执行网计算当前状态-策略对的值函数，并通过梯度下降的方法最小化预测的值函数与贝尔曼最优价值之间的差异来更新评价网络的参数，该差异为时序差分误差。
8、电力负荷参数辨识模型的输入为状态向量x(k)，执行网对输入x(k)计算代表待辨识参数改变量的最优策略πν(x(k))，再结合上一时刻参数θ(k-1)，得到更新的参数θ(k)。
9、步骤三、对电力负荷参数辨识模型进行训练，利用训练好的模型进行参数辨识；
10、首先，设置最大迭代次数nmax与每次迭代中的最大时间步长kmax；然后，从优先经验回放池中获取经验样本输入所述改进的深度强化学习模型，对经验样本
11、[x(k),θ(k),r(k),x(k+1)]，主执行网对x(k)输出策略πν(x(k))，主评价网对状态-策略对(x(k),θ(k))计算值函数qμ(x(k),θ(k))，目标执行网对x(k+1)输出策略πν(x(k+1))，目标评价网对状态-策略对(x(k+1),θ(k+1))计算值函数qμ'(x(k+1),θ(k+1))；迭代更新执行网与评价网的权重参数，以使得所设置的模型评价指标值最小，直到迭代次数达到最大数，结束迭代，获得当前训练后的电力负荷参数辨识模型；利用训练后的电力负荷参数辨识模型进行参数辨识。
12、所述的步骤二中，执行网中的主执行网和目标执行网均包含：3个输入神经元，对应输入状态向量x(k)的三个元素；ha个隐藏层神经元，每个隐藏层神经元使用一个双向门控循环单元实现；11个输出神经元，对应11个待辨识参数的变化量；隐藏层的激活函数采用单极性sigmoid函数，输出层的激活函数采用非线性tanh函数；
13、评价网中的主评价网和目标评价网均包含：14个输入神经元，对应输入状态向量x(k)的3个元素和θ(k)的11个待辨识参数；hc个隐藏层神经元，每个隐藏层神经元使用一个双向门控循环单元实现；1个输出神经元，对应当前状态-策略对的值函数；其中隐藏层激活函数采用单极性sigmoid函数，输出层激活函数采用非线性tanh函数。
14、相比现有技术，本专利技术的优点在于：
15、(1)本专利技术方法利用电力系统负荷模型输出与ieee9节点系统测量值的偏差反馈来优化实现减小电力系统负荷模型的偏差，以提高电力系统综合负荷模型的拟合精度，本专利技术构建的电力负荷参数辨识模型可以在不同线路故障下显示出较强的鲁棒性与泛化能力。
16、(2)本专利技术通过改进深度强化学习的电力系统负荷模型参数辨识方法的结构，巧妙地将电力负荷的机理模型与仿真软件的时序数据相融合，利用数据对电力系统综合负荷模型的参数进行优化辨识，使得所构建的基于改进深度强化学习的电力负荷模型参数辨识方法兼具机理与数据驱动模型的优点。
17、(3)对本专利技术方法进行实验，与仿真故障真实数据曲线比较，分析校验验证结果，表明本专利技术方法的有效性，可以为研究者深入研究电力系统负荷模型参数辨识方法提供参考与支撑。使用本专利技术方法有助于提高电力系统负荷模型的拟合精度，优化电网的运行策略，降低运营成本，并为实现能源的可持续发展提供决策支持。
本文档来自技高网...【技术保护点】
1.一种基于改进深度强化学习的电力负荷模型参数辨识方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述的步骤一中，待辨识的电力系统综合负荷模型参数包含：定子电抗XS、配电网电抗XD、有功恒阻抗系数ZP、有功恒电流系数IP、有功恒功率系数Pp、无功恒阻抗系数Zq、无功恒电流系数Iq、无功恒功率系数Pq、电容器容抗XC、电动机比例PMP与电动机负载率KL。
3.根据权利要求1所述的方法，其特征在于，所述的步骤二中，所述电力负荷参数辨识模型，通过如下方式产生经验并存放入优先经验回放池中：
4.根据权利要求3所述的方法，其特征在于，所述的步骤二中，时序差分误差计算如下：
5.根据权利要求1或2或3所述的方法，其特征在于，所述的步骤二中，执行网中的主执行网和目标执行网均包含：3个输入神经元，对应输入状态向量x(k)的三个元素；ha个隐藏层神经元，每个隐藏层神经元使用一个双向门控循环单元实现；11个输出神经元，对应11个待辨识参数的变化量；隐藏层的激活函数采用单极性sigmoid函数，输出层的激活函数采用非线性tanh函数；
6.根据权利要求1或3所述的方法，其特征在于，所述的步骤三中，对电力负荷参数辨识模型进行训练时，设置电力负荷参数辨识模型的评价指标定义为E，如下：
7.根据权利要求5所述的方法，其特征在于，所述的步骤三中，模型训练的过程包括：
...【技术特征摘要】
1.一种基于改进深度强化学习的电力负荷模型参数辨识方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述的步骤一中，待辨识的电力系统综合负荷模型参数包含：定子电抗xs、配电网电抗xd、有功恒阻抗系数zp、有功恒电流系数ip、有功恒功率系数pp、无功恒阻抗系数zq、无功恒电流系数iq、无功恒功率系数pq、电容器容抗xc、电动机比例pmp与电动机负载率kl。
3.根据权利要求1所述的方法，其特征在于，所述的步骤二中，所述电力负荷参数辨识模型，通过如下方式产生经验并存放入优先经验回放池中：
4.根据权利要求3所述的方法，其特征在于，所述的步骤二中，时序差分误差计算如下：...
【专利技术属性】
技术研发人员：王莹，张慧妍，凌煦，党杰，马超悦，奚江惠，张勇，金维刚，张海艳，袁鹏，余笑东，赵雄光，
申请(专利权)人：国家电网有限公司华中分部，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。