一种基于强化学习的压水堆堆芯自动控制方法技术

本发明专利技术公开了一种基于强化学习的压水堆堆芯自动控制方法，包括以下步骤：S1、获取参数控制目标；S2、在压水堆堆芯控制器中加入基于DQN的预先训练好的强化学习模块，然后将参数控制目标传递至强化学习模块；S3、通过强化学习模块获取实现参数控制目标的多个策略；S4、选择最优策略作为控制策略传递至控制器；S5、控制器基于控制策略控制压水堆堆芯的执行器执行相应动作；S6、控制器获取执行过程中压水堆堆芯内产生的物理量，以及动作和参数轨迹。本发明专利技术通过引入人工智能技术，提升了核电站运行的效率，完全不需要人的参与便可自动完成。

【技术实现步骤摘要】
一种基于强化学习的压水堆堆芯自动控制方法
本专利技术涉及核反应堆自动控制方法领域，具体是一种基于强化学习的压水堆堆芯自动控制方法。
技术介绍
典型的传统压水反应堆的一回路功率调节系统包括：发电机功率调节、冷却剂平均温度及控制棒位置调节、硼浓度调节、蒸汽旁通控制系统及闭锁系统。其中发电机功率调节及其所附属的汽轮机调节是外部调节，即不与反应堆堆芯交互或者作用而调节反应堆的功率(因为反应堆功率由一回路热量输出，进而蒸发冷凝水而推动汽轮机转动发电，因而反应堆的外在功率会因汽轮机的参数而不同)；蒸汽旁通控制系统用作功率调节系统的辅助，而闭锁系统则是为了防止控制棒提升过大而导致紧急停堆。冷却剂平均温度及控制棒位置调节与硼浓度调节是反应堆中最常见的通过直接与反应堆堆芯交互而调节堆芯功率的手段。核电站发电需要反应堆堆芯能够持续释放出裂变能以转化为热能并最终转化为电能；而这一切的前提条件是堆芯需要超临界，也就是需要保证产生的中子数多于损失的中子(即实现中子的链式自持)。反应堆是否临界通常用反应性ρ＞1表示，若ρ＜1，则次临界；若ρ＝1，则反应堆临界；若ρ＞1，则超临界。而反应性是冷却剂温度、慢化剂温度(慢化剂用于慢化中子速度)等物理量的函数。硼会增强慢化剂对中子的寄生吸收，会对慢化剂温度系数造成影响；而控制棒调节则会引入外来反应性，因此冷却剂平均温度调控、控制棒位置调控、硼浓度调节对堆芯功率有直接影响。目前已有一些用于核反应堆堆芯控制的系统和方法，如公开号为CN106340331B的中国专利：一种用于核反应堆功率的自抗扰控制方法，其公开了用于核反应堆功率的自抗扰控制方法，目的在于针对目前核反应堆对象没有既简单又能取得良好控制效果的控制器，提出将自抗扰控制器应用于核反应堆功率控制中的方法。通过推导将原有模型转化为适合设计自抗扰控制器的非线性模型；并且充分利用模型信息，减轻ESO的负担；还利用系统输出y可测的特点，设计基于RESO的自抗扰控制器；最后通过简单调整带宽、就能容易的得出控制器参数，此控制系统相比预测控制、模糊控制等先进控制算法结构简单，但是有更好的控制效果。公开号为CN101840737B的中国专利：一种数字化棒位控制系统及其控制方法，系统包括：堆芯控制单元，其根据主控制室发送的控制棒控制命令输出相应的棒位运行指令；棒控驱动单元，其接受所述棒位运行指令并依据其控制控制棒驱动机构中钩爪的动作序列，从而实现控制棒沿轴向的相应移动；棒位处理及指示单元，其测量控制棒的实际棒位信息，并将所述实际棒位信息经整形、编码后送至棒位处理柜和主控制室里的棒位显示设备；同时，将所述实测棒位信息与所述棒位运行指令进行比较，当控制棒滑步、失步或偶然落棒超过预定阈值时发送故障报警信号。该专利还公开了一种数字化棒位控制方法。该专利实现了核电站中反应堆功率和温度的数字化控制，提高了棒位控制系统的可靠性和安全性。但上述现有技术专利存在以下不足：(1)现有的堆芯功率控制系统都是通过逻辑控制来完成对功率的控制，此类系统自动化水平不足、智能化水平则严重缺乏。(2)现有的堆芯功率控制技术往往需要操作员的人为干预，并且在一定程度上依赖操作员的经验，这会在无形之中给操作员带来压力。(3)传统功率控制系统感知能力及预防事故能力很差，如果发生某种突发情形往往需要经过操作员的判断及既定规程执行相应的动作，这造成了核电站的操作运行效率比较低下。可见，现有的核电站堆芯功率控制系统几乎都是依赖于传统自动控制理论搭建的，尽管在实践中得到了很好地效果，但是其系统本身的智能化水平严重不足，只能基于固定的规程执行相应的动作，执行的效率相对较高但是也缺少了对堆芯环境的探索，同时也没有考虑到操作员的需求。因此压水反应堆功率控制系统亟需改进。
技术实现思路
本专利技术的目的是提供一种基于强化学习的压水堆堆芯自动控制方法，以解决现有技术核反应堆控制方法依赖于自动控制理论的问题。为了达到上述目的，本专利技术所采用的技术方案为：一种基于强化学习的压水堆堆芯自动控制方法，包括以下步骤：S1、获取需要实现的参数控制目标。步骤S1中，根据设定的压水堆堆芯工作要求，由操作人员人工向控制器输入参数控制目标。S2、在压水堆堆芯控制器中加入基于DQN的强化学习模块，并采用专家数据作为训练集预先训练强化学习模块，然后将步骤S1获取的参数控制目标传递至预先训练好的强化学习模块。步骤S2中，所述专家数据由以往压水堆堆芯控制过程中，操作员手动操控控制实现对应参数控制目标时得到的动作轨迹及参数轨迹构成。步骤S2中，所述强化学习模块在自身监督学习框架下，基于专家数据学习对压水堆堆芯控制以实现专家数据对应的参数控制目标。S3、通过强化学习模块获取实现参数控制目标的多个策略。步骤S3中，使强化学习模块运行于虚拟仿真环境中，从而得到多个策略。S4、对步骤S3获取的多个策略进行评估，选择其中最优策略作为控制策略传递至控制器。步骤S4中，从多个策略中选择耗费时间最短且代价最小时实现参数控制目标的策略作为最优策略。S5、控制器基于步骤S4得到的控制策略，控制压水堆堆芯的执行器执行相应动作，从而形成实现参数控制目标的动作和参数轨迹。S6、控制器获取执行过程中压水堆堆芯内产生的物理量，以及动作和参数轨迹。步骤S6中，控制器将物理量传递至强化学习模块的经验回放池，所述强化学习模块基于经验回放池内部分数据进行自我训练。步骤S6中，控制器将控制策略、动作和参数轨迹加入专家数据中，以对训练集进行更新。本专利技术通过在压水堆堆芯功率控制系统中引入强化学习算法，增加控制系统的智能化水平及感知能力，并进一步减少操作员的控制干预，可以辅助操作员以减轻操作员的工作压力；本专利技术通过强化学习算法实现对堆芯功率在给定精度要求下的自动调节，给出某功率状态下最佳的控制策略，增加功率控制的鲁棒性，同时也可以保障控制过程的安全性。本专利技术实现了压水堆堆芯功率的自动调节，进一步减小了操作员干预程度，同时也极大减轻了操作员的工作压力；因此，与现有技术相比，本专利技术的优点为：(1)本专利技术通过引入人工智能技术，改进了传统压水反应堆一回路功率控制系统，使其智能化、自动化水平更高，极大减小了电站运行时操作员的干预，同时也减小了操作员的工作压力，提升了核电站运行的效率；(2)本专利技术通过强化学习算法可以找到调节功率的最优策略，进而将该策略输入给执行器，可以实现对反应堆堆芯功率的自动调节，这个过程完全不需要人的参与便可自动完成。(3)本专利技术引入的技术使得传统压水堆控制系统具备了数据感知及大规模数据处理的能力，是对传统技术的一次革新。附图说明图1是本专利技术方法流程框图。图2是本专利技术实施例中DQN算法原理示意图。图3是本专利技术实施例中用于压水堆堆芯时的控制原理示意图。图4是本专利技术实施例中在线测试的过程中压水堆堆芯功率的变化情况曲线图。本文档来自技高网...

【技术保护点】
1.一种基于强化学习的压水堆堆芯自动控制方法，其特征在于，包括以下步骤：/nS1、获取需要实现的参数控制目标；/nS2、在压水堆堆芯控制器中加入基于DQN的强化学习模块，并采用专家数据作为训练集预先训练强化学习模块，然后将步骤S1获取的参数控制目标传递至预先训练好的强化学习模块；/nS3、通过强化学习模块获取实现参数控制目标的多个策略；/nS4、对步骤S3获取的多个策略进行评估，选择其中最优策略作为控制策略传递至控制器；/nS5、控制器基于步骤S4得到的控制策略，控制压水堆堆芯的执行器执行相应动作，从而形成实现参数控制目标的动作和参数轨迹；/nS6、控制器获取执行过程中压水堆堆芯内产生的物理量，以及动作和参数轨迹。/n

【技术特征摘要】
1.一种基于强化学习的压水堆堆芯自动控制方法，其特征在于，包括以下步骤：
S1、获取需要实现的参数控制目标；
S2、在压水堆堆芯控制器中加入基于DQN的强化学习模块，并采用专家数据作为训练集预先训练强化学习模块，然后将步骤S1获取的参数控制目标传递至预先训练好的强化学习模块；
S3、通过强化学习模块获取实现参数控制目标的多个策略；
S4、对步骤S3获取的多个策略进行评估，选择其中最优策略作为控制策略传递至控制器；
S5、控制器基于步骤S4得到的控制策略，控制压水堆堆芯的执行器执行相应动作，从而形成实现参数控制目标的动作和参数轨迹；
S6、控制器获取执行过程中压水堆堆芯内产生的物理量，以及动作和参数轨迹。


2.根据权利要求1所述的一种基于强化学习的压水堆堆芯自动控制方法，其特征在于，步骤S1中，根据设定的压水堆堆芯工作要求，由操作人员人工向控制器输入参数控制目标。


3.根据权利要求1所述的一种基于强化学习的压水堆堆芯自动控制方法，其特征在于，步骤S2中，所述专家数据由以往压水堆堆芯控制过程中，操作员手动操控控制实现对应参...

【专利技术属性】
技术研发人员：李秀，吕加飞，杨瑞，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：广东;44