【技术实现步骤摘要】
本专利技术属于油田注水，具体涉及一种基于q-learning的波码通信井下配水器井下控制方法。
技术介绍
1、油田注水是石油开采过程的关键一步，能够补充地层能量，提高采收效率。由于地质影响、油层间不同的物理特性以及能量差异，不同油层的资源利用不均衡，为了提高油层开采效率，油田开始研发第四代注水技术，即数字化智能分注技术，该技术包括有缆智能分注技术和波码智能分注技术。有缆智能分注技术工艺复杂、成本高，且带压作业能力较弱，只适用于油田部分井况，应用范围小；波码智能分注技术因其成本低、工艺简单且能满足带压作业，应用范围广。井下配水器能够良好地使用波码智能分注技术进行井下作业，通过地面控制器控制注水压力或流量等可携带信息的载体与井下配水器进行通信。然而，传统的通过注水方式进行通信是单向的，仅能由地面控制器向井下配水器发送命令，之后等待井下配水器的返码信息，井下配水器不能主动向地面控制器发送消息，使得井下配水器所采集的地层环境数据不能第一时间被地面控制器获取，而地面控制器不适当的注水极有可能造成油层间能量失衡，导致石油开采效率降低。并且目前波码通信方式的井下配水器只能按照地面控制器的指令执行动作，无法主动向地面传递信息，不能充分发挥利用地层环境数据，因此，如何使得井下配水器充分利用地层环境数据进行自发式运作是亟待解决的问题。
技术实现思路
1、为了解决上述技术问题，本专利技术的目的在于提供一种基于q-learning的波码通信井下配水器井下控制方法，由q-learning模型通过地层环境数据
2、为了实现上述目的，本专利技术采用的技术方案为：
3、一种基于q-learning的波码通信井下配水器井下控制方法，所述方法包括：
4、接收地面控制器发送的启动指令，并解析所述启动指令；
5、解析成功后，获取井下配水器的地层环境数据；
6、判断所述地层环境数据中是否存在突变值，若不存在突变值，根据 ε-greedy决策算法从当前 q表得到一个动作以控制井下配水器的水嘴开关；所述 q表为由q-learning模型确定的状态-动作价值策略表；所述 q表中每个状态下的不同动作均赋予一个 q值。
7、进一步，所述井下配水器的水嘴开关的动作执行完成后，获取新地层环境数据；
8、根据所述新地层环境数据和误差曲线，更新 q表；所述误差曲线为预设值与所述新地层环境数据的差值所转换成的回报值。
9、进一步，所述更新 q表中 q值的迭代公式如下：
10、 ；
11、其中，表示状态，表示动作，表示更新后的 q值，表示前一次更新的值，为学习率，表示回报值，为折扣因子，表示执行动作后下一次状态的最大 q值。
12、进一步，所述回报值 r的计算公式如下：
13、 ；
14、其中，表示采集的流量值，表示预设流量值，表示采集的压力值，表示预设压力值，表示流量的归一化权重系数，表示压力的归一化权重系数，且，表示流量差值的阈值，表示压力差值的阈值。
15、进一步，若存在突变值，按照反向通信协议向所述地面控制器回传所述突变值，以使所述地面控制器根据所述突变值重新发送启动指令。
16、进一步，所述判断所述地层环境数据中是否存在突变值，具体为：将所述地层环境数据与预设值进行对比，若所述地层环境数据未超过所述预设值，则所述地层环境数据中不存在突变值，若所述地层环境数据超过所述预设值，则所述地层环境数据中存在突变值。
17、进一步，所述地层环境数据包括流量值、压力值和温度值，所述预设值包括预设流量值、预设压力值和预设温度值，若所述预设流量值超过所述流量值或所述预设温度值超过所述温度值或所述预设压力值超过所述压力值，则所述地层环境数据中存在突变值；若所述预设流量值未超过所述流量值且所述预设温度值未超过所述温度值且所述预设压力值未超过所述压力值，则所述地层环境数据中不存在突变值。
18、进一步，所述方法还包括：以预设时长为间隔向所述地面控制器回传 q值和误差曲线，以使所述地面控制器根据所述 q值和所述误差曲线调整所述井下配水器的工作方式。
19、本专利技术由于采取以上技术方案，其具有以下优点和效果：
20、本专利技术提供的一种基于q-learning的波码通信井下配水器井下控制方法，通过q-learning模型实现由地层环境数据得到相对应的水嘴开关的执行动作，使得井下配水器的水嘴开关能够自发式实现调节，无需地面控制即可实现水嘴开关的精细化调控，并且通过q-learning模型持续更新 q表，可保证井下配水器的调控不断趋向于预期结果；本专利技术充分发挥利用井下配水器自身采集的地层环境数据使其自发运作，有效弥补了传统井下配水器无法智能运行的不足。
本文档来自技高网...【技术保护点】
1.一种基于Q-learning的波码通信井下配水器井下控制方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于Q-learning的波码通信井下配水器井下控制方法，其特征在于，所述井下配水器的水嘴开关的动作执行完成后，获取新地层环境数据；
3.根据权利要求2所述的一种基于Q-learning的波码通信井下配水器井下控制方法，其特征在于，所述更新Q表中Q值的迭代公式如下：
4.根据权利要求3所述的一种基于Q-learning的波码通信井下配水器井下控制方法，其特征在于，所述回报值的计算公式如下：
5.根据权利要求1所述的一种基于Q-learning的波码通信井下配水器井下控制方法，其特征在于，若存在突变值，按照反向通信协议向所述地面控制器回传所述突变值，以使所述地面控制器根据所述突变值重新发送启动指令。
6.根据权利要求1所述的一种基于Q-learning的波码通信井下配水器井下控制方法，其特征在于，所述判断所述地层环境数据中是否存在突变值，具体为：将所述地层环境数据与预设值进行对比，若所述地层环境数据未超
7.根据权利要求6所述的一种基于Q-learning的波码通信井下配水器井下控制方法，其特征在于，所述地层环境数据包括流量值、压力值和温度值，所述预设值包括预设流量值、预设压力值和预设温度值，若所述预设流量值超过所述流量值或所述预设温度值超过所述温度值或所述预设压力值超过所述压力值，则所述地层环境数据中存在突变值；若所述预设流量值未超过所述流量值且所述预设温度值未超过所述温度值且所述预设压力值未超过所述压力值，则所述地层环境数据中不存在突变值。
8.根据权利要求2所述的一种基于Q-learning的波码通信井下配水器井下控制方法，其特征在于，还包括：以预设时长为间隔向所述地面控制器回传Q值和误差曲线，以使所述地面控制器根据所述Q值和所述误差曲线调整所述井下配水器的工作方式。
...【技术特征摘要】
1.一种基于q-learning的波码通信井下配水器井下控制方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于q-learning的波码通信井下配水器井下控制方法，其特征在于，所述井下配水器的水嘴开关的动作执行完成后，获取新地层环境数据；
3.根据权利要求2所述的一种基于q-learning的波码通信井下配水器井下控制方法，其特征在于，所述更新q表中q值的迭代公式如下：
4.根据权利要求3所述的一种基于q-learning的波码通信井下配水器井下控制方法，其特征在于，所述回报值的计算公式如下：
5.根据权利要求1所述的一种基于q-learning的波码通信井下配水器井下控制方法，其特征在于，若存在突变值，按照反向通信协议向所述地面控制器回传所述突变值，以使所述地面控制器根据所述突变值重新发送启动指令。
6.根据权利要求1所述的一种基于q-learning的波码通信井下配水器井下控制方法，其特征在于，所述判断所述地层环境数...
【专利技术属性】
技术研发人员：兰孟平，王海牛，田庚，万彬，张宝宏，孙钢，邓瑞奇，
申请(专利权)人：西安洛科电子科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。