一种自适应调整逆变器控制器制造技术

本发明专利技术公开了一种自适应调整逆变器控制器，所述逆变器控制器包括dq变换模块、输出有功无功和端电压有效值计算模块、调制波信号幅值计算模块、模拟转子运动方程模块、强化学习控制模块、dq反变换和PWM调制模块，所述逆变器控制器模拟了同步发电机转子运动方程，并通过强化学习控制模块在线调整虚拟转动惯量和阻尼系数，以获得较好的电力系统低频振荡抑制效果。

An adaptive inverter controller

【技术实现步骤摘要】
一种自适应调整逆变器控制器
本专利技术涉及电力电子逆变器
，具体涉及一种自适应调整逆变器控制器。
技术介绍
鉴于能源、环保的压力，越来越多的可再生能源通过电力电子发电设备接入电网。作为一种能够将直流电转换为交流电的电能转换设备，逆变器在风电，储能，光伏等领域得到了广泛应用。最早的逆变器控制策略采用了双层的控制结构，即内层为电流环，外层为功率环或者电压环。但这种控制策略的响应速度快，不利于电力系统的频率稳定，也不能根据系统的电压和频率情况自适应调整逆变器的输出功率。随后出现了逆变器的下垂控制策略。这种控制策略虽然能够根据系统的频率和电压自动调整自身的输出有功和无功功率，有利于系统的频率和电压控制，但依然存在响应速度快的缺点。考虑到同步发电机转子的转动惯量在电力系统频率稳定中所起的有益作用，有人提出了虚拟同步发电机(virtualsynchronousgenerator,VSG)控制技术，其核心思想是在逆变器的控制策略中模拟同步发电机的转子运动方程。但这种技术在降低响应速度、增加电力系统惯性的同时，也继承了同步发电机转子易发生低频振荡的特性。针对此问题，有人从转动惯量J和阻尼系数D的上入手，提出了一系列的控制策略。有人建立了包含VSG的单逆变器并网的小信号模型，利用根轨迹的手段，选取适当的转动惯量J和阻尼系数D，在保证稳定的同时也具有较好地动态特性。但这种线性化手段下设计出的控制器难以适应逆变器所处的复杂的运行工况，一旦运行工况有别于初始的设计条件，就有可能发生失稳或者动态特性变差的风险。也有人从自适应控制的角度提出了一系列的控制措施，如根据VSG虚拟角频率的变化率dω/dt来调整J的VSG控制算法，或者根据输出功率P及其变化率dP/dt的情况来调整J和D的参数。但这种自适应地控制策略，也同样存在控制器参数选择的问题。在实践中，这些控制器参数往往是通过仿真试凑的方法进行选取，难以覆盖逆变器所有可能的运行状态，同样不能保证所设计的控制器能够在复杂的运行环境下保持稳定。近年来，人工智能相关技术在电力系统中的应用日渐广泛。在电力设备控制领域，强化学习技术(ReinforcementLearning,RL)受到关注。RL即可看作是人工智能领域中一种重要的机器学习方法，也可以被认为是属于马尔可夫决策过程(MarkovDecisionProcess，MDP)和动态优化方法的一个独立分支。在强化学习方法中，强化学习控制模块往往被视作一个智能体，它无需任何有关所处环境的先验知识，通过探索自身控制器的动作及其所获得的奖励，不断更新迭代，逐渐获得优化的从状态到行为的映射策略。即强化学习主要通过智能体与环境不断交互的动作、状态和奖励进行行为决策。目前，基于RL算法设计的电力设备控制器包括直流附加阻尼控制器、动态正交增压器、静止无功补偿器(StaticVarCompensator，SVC)、电力系统稳定器(PowerSystemStabilizer，PSS)等。研究表明，RL算法设计的控制器能够有效兼顾稳定性与动态性能混合目标的优化控制，表现出了良好的环境适应性，更适合于电力系统这种存在多重不确定性因素及大扰动的系统。如果把逆变器的控制器中也引入强化学习模块，对系统扰动激发的不同J和D的逆变器振荡状态进行评价，在线学习与训练，就可以自适应地调整自身控制器的参数，获得更好的振荡抑制效果的同时，实现自身的逆变功能。因此，随着可再生能源渗透率的进一步提高，电力系统中存在大比例的、多种控制策略并存的、运行工况复杂的电力电子设备时，如何借鉴RL算法实现逆变器的控制，成为一个亟待解决的技术问题。
技术实现思路
本专利技术的目的在于提供一种自适应调整逆变器控制器，本专利技术所述逆变器控制器利用强化学习算法，引入了在线学习和优化机制，实现了逆变器虚拟转动惯量和虚拟阻尼系数的自适应调整，以适应高比例可再生能源并网电力电子化系统易振荡环境下的逆变器的运行控制。本专利技术通过下述技术方案实现：一种自适应调整逆变器控制器，包括dq变换模块、输出有功无功和端电压有效值计算模块、调制波信号幅值计算模块、模拟转子运动方程模块、强化学习控制模块、dq反变换和PWM(PulseWidthModulation)调制模块，所述逆变器控制器模拟了同步发电机转子运动方程，并通过强化学习控制模块在线调整虚拟转动惯量和阻尼系数，以获得较好的电力系统低频振荡抑制效果。本专利技术在基于虚拟同步发电机控制策略的逆变器J和D这两个虚拟系数的调整方案中，本专利技术采用了基于强化学习算法、通过在线学习优化策略的调整思路，而不是现有方法中通过逆变器输出功率P的微分和虚拟角频率ω及微分来自适应地调整J和D。强化学习算法在一定程度上模拟了人的智能，因此这种控制策略有利于逆变器适应更复杂的电力系统运行工况和振荡环境本专利技术特别适合在易振荡环境下运行的逆变器控制器。该控制器在虚拟同步发电机控制技术的基础上，增加了强化学习在线优化调整控制器参数的功能。进一步地，dq变换模块用于将逆变器LC滤波器上电容的三相电压ea、eb、ec和电感上流过的三相电流ia、ib、ic，分解到逆变器的同步旋转坐标系下得到其dq轴分量ud、uq和id、iq；所述dq反变换和PWM调制模块用于将调制波信号幅值计算模块、模拟转子运动方程模块的计算结果经dq反变换后得到调制波信号ua、ub、uc，再根据PWM算法生成PWM控制信号驱动三相逆变桥，实现逆变功能。进一步地，输出有功无功和端电压有效值计算模块的计算公式如式(1)所示：式中，P为有功功率，Q为无功功率，U为输出电压幅值，s为拉普拉斯算子。进一步地，调制波信号幅值计算模块用于计算调制波幅值Eq，所用公式为：Eq＝∫Ke[(Uref-U)-n(Q-Qref)]d(t)(2)式中，Uref为逆变器端电压的设定值；Qref为逆变器无功功率的设定值；Ke为放大增益，n为无功电压环节的下垂系数；Eq为逆变器调制波信号中的q轴分量，调制波信号的0轴和d轴分量均为0。进一步地，模拟转子运动方程模块用于计算逆变器虚拟的角频率ω和调制波的相位角δ，计算公式如式(3)(4)所示：δ＝∫ωd(t)(4)式中，J为逆变器虚拟转动惯量；m为有功下垂系数；Pref为逆变器输出有功功率的设定值；ω0为逆变器所处电力系统的额定角频率；D为逆变器虚拟阻尼系数；δ为逆变器调制波相位。进一步地，强化学习控制模块用于在线调整虚拟转动惯量和阻尼系数，包括以下步骤：步骤1：确定控制动作集a、状态集合s、奖励函数R、每次学习时间步长step和Q值更新策略；步骤2：建立逆变器的数学模型，利用Q学习算法离线预学习，获得初步优化后的控制器参数；步骤3：将逆变器投入在线运行，且在运行过程中继续利用Q学习算法在线学习，进一步更新动作策略，以适应电网的复杂运行环境。进一步地，步骤1中所述控制动作集a的表达式如下：a∈{(J，D),|J∈[Jmin,Jmax],D∈[Dmin,Dmax]}(5)本文档来自技高网...

【技术保护点】
1.一种自适应调整逆变器控制器，其特征在于，包括dq变换模块、输出有功无功和端电压有效值计算模块、调制波信号幅值计算模块、模拟转子运动方程模块、强化学习控制模块、dq反变换和PWM调制模块，所述逆变器控制器模拟了同步发电机转子运动方程，并通过强化学习控制模块在线调整虚拟转动惯量和阻尼系数，以获得较好的电力系统低频振荡抑制效果。/n

【技术特征摘要】
1.一种自适应调整逆变器控制器，其特征在于，包括dq变换模块、输出有功无功和端电压有效值计算模块、调制波信号幅值计算模块、模拟转子运动方程模块、强化学习控制模块、dq反变换和PWM调制模块，所述逆变器控制器模拟了同步发电机转子运动方程，并通过强化学习控制模块在线调整虚拟转动惯量和阻尼系数，以获得较好的电力系统低频振荡抑制效果。


2.根据权利要求1所述的一种自适应调整逆变器控制器，其特征在于，所述dq变换模块用于将逆变器LC滤波器上电容的三相电压ea、eb、ec和电感上流过的三相电流ia、ib、ic，分解到逆变器的同步旋转坐标系下得到其dq轴分量ud、uq和id、iq；
所述dq反变换和PWM调制模块用于将调制波信号幅值计算模块、模拟转子运动方程模块的计算结果经dq反变换后得到调制波信号ua、ub、uc，再根据PWM算法生成PWM控制信号驱动三相逆变桥，实现逆变功能。


3.根据权利要求1所述的一种自适应调整逆变器控制器，其特征在于，所述输出有功无功和端电压有效值计算模块的计算公式如式(1)所示：



式中，P为有功功率，Q为无功功率，U为输出电压幅值，s为拉普拉斯算子；
所述调制波信号幅值计算模块用于计算调制波幅值Eq，所用公式为：
Eq＝∫Ke[(Uref-U)-n(Q-Qref)]d(t)(2)
式中，Uref为逆变器端电压的设定值；Qref为逆变器无功功率的设定值；Ke为放大增益，n为无功电压环节的下垂系数；Eq为逆变器调制波信号中的q轴分量，调制波信号的0轴和d轴分量均为0。


4.根据权利要求1所述的一种自适应调整逆变器控制器，其特征在于，所述模拟转子运动方程模块用于计算逆变器虚拟的角频率ω和调制波的相位角δ，计算公式如式(3)(4)所示：



δ＝∫ωd(t)(4)
式中，J为逆变器虚拟转动惯量；m为有功下垂系数；Pref为逆变器输出有功功率的设定值；ω0为逆变器所处电力系统的额定角频率；D为逆变器虚拟阻尼系数；δ为逆变器调制波相位。


5.根据权利要求1所述的一种自适应调整逆变器控制器，其特征在于，所述强化学习控制模块用于在线调整虚拟转动惯量和阻尼系数，包括以下步骤：
步骤1：确定控制动作集a、状态集合s、奖励函数R、每次学习时间步长step和Q值更新策略；
步骤2：建立逆变器的数学模型，利用Q学习算法离线预学习，获得初步优化后的控制器参数；
步骤3：将逆变器投入在线运行，且在运行过程中继续利用Q学习算法在线学习，进一步更新动作策略，以适应电网的复杂运行环境。


6.根据权利要求5所述的一种自适应调整逆变器控制器，其特征在于，步骤1中所述控...

【专利技术属性】
技术研发人员：魏俊，叶圣永，张玉鸿，韩宇奇，刘旭娜，张文涛，赵达维，李达，吕学海，陈博，
申请(专利权)人：国网四川省电力公司经济技术研究院，
类型：发明
国别省市：四川;51