一种基于强化学习的测井仪器遇阻遇卡监测方法和系统技术方案

本发明专利技术公开了一种基于强化学习的测井仪器遇阻遇卡监测方法和系统，属于石油测井工程技术领域。对数据进行预处理后从大量的测井数据中选择训练集和测试集。然后使用选择的训练集搭建强化学习仿真环境，根据环境建立强化学习网络结构。使用训练集对强化学习网络模型进行训练，针对训练过程中的训练曲线和训练得分修改奖惩策略，进一步优化网络模型。使用最优模型进行测试。通过强化学习提高了测井过程中仪器遇阻遇卡的判断准确率，提供了更好的仪器运行状态判断标准，降低了人工判断可能带来的误差，提高了工作人员的工作效率，减少了测井施工过程中的成本损失。施工过程中的成本损失。施工过程中的成本损失。

【技术实现步骤摘要】
一种基于强化学习的测井仪器遇阻遇卡监测方法和系统


[0001]本专利技术属于石油测井工程
，涉及一种测井采集过程中仪器的遇阻遇卡智能判断分析，具体是一种基于强化学习的测井仪器遇阻遇卡监测方法和系统。

技术介绍

[0002]随着社会对石油需求不断增长，油井的开采、勘探技术不断发展，录井、测井等方法技术不断革新，为发掘石油资源提供帮助。测井采集过程中会通过仪器上集成的大量传感器获取井况信息及地层信息。由于存在井下情况复杂、井孔缩径、泥浆岩屑干扰、泥浆密度大等问题，在测井仪器下放或提升的过程中不可避免的受到阻碍，一般表现为下放过程中的遇阻以及提升过程中的遇卡问题。
[0003]测井过程中的遇阻、遇卡可能导致无法正常施工、仪器损坏或落井等，造成工期延误、成本增加等问题。目前判断遇阻遇卡故障主要是依靠测井仪器操作人员判断，其中存在一些问题，如十分依赖工人经验，各工作人员判断标准不一致，漏判率、错误率高等难以解决。

技术实现思路

[0004]为了克服上述现有技术中，测井过程中的遇阻、遇卡故障依靠人工判断导致错误率高的缺点，本专利技术的目的在于提供一种基于强化学习的测井仪器遇阻遇卡监测方法和系统。
[0005]为了达到上述目的，本专利技术采用以下技术方案予以实现：
[0006]一种基于强化学习的测井仪器遇阻遇卡监测方法，包括如下步骤：
[0007]步骤1)获取测井仪器运行的原始数据，对原始数据进行数据处理，得到数据集；
[0008]步骤2)基于数据集制作训练集和测试集；
[0009]步骤3)基于Python搭建强化学习仿真环境，进一步建立强化学习网络模型，得到状态策略表；强化学习网络模型包括输入层、隐藏层和输出层；
[0010]步骤4)基于训练集对强化学习网络模型进行训练；
[0011]步骤5)基于测试集对训练完成后的强化学习网络模型进行测试，评估强化学习网络模型的性能，得到最优强化学习网络模型，并基于最优强化学习网络模型对遇阻遇卡状态进行实时监测。
[0012]优选地，步骤1)中，对原始数据进行处理包括无效值剔除处理、对测量曲线进行滤波处理及不同区块的数据进行标准化处理。
[0013]优选地，标准化处理时，采用的标准化公式为：
[0014][0015]其中，mean(X)表示原始张力曲线数据的平均值，std(X)表示原始张力曲线数据的方差，X
i
表示原始张力曲线，Z
i
表示归一化后张力曲线数值。
[0016]优选地，步骤3)中，基于Python搭建的强化学习仿真环境包括张力曲线状况、提拉动作和遇阻遇卡状态；
[0017]强化学习仿真环境的执行过程为：在正常状态下执行提拉给以奖赏，在正常状态下停止给以惩罚，在遇阻遇卡状态执行提拉给以惩罚，在遇阻遇卡状态执行停止给以奖赏；
[0018]输入层为加载数据；隐藏层为令环境返回对执行某一动作之后的下一环境状态向量、对具体执行动作的奖励和惩罚规则定义；输出层为状态策略表。
[0019]优选地，步骤3)中，强化学习网络模型的搭建过程为：
[0020]确定环境状态和个体动作，t时刻个体在某一状态下采取相应的动作后，在t+1时刻得到奖励；
[0021]建立个体的策略，作为个体选择动作时的依据；
[0022]利用预先设定的奖励和惩罚规则建立奖励价值函数，具体为：
[0023]v
π
(S)＝E
π
(R
t+1
+rR
t+2
+r2R
t+3
+...|S
t
＝S)
[0024]其中，v
π
(S)表示奖励价值函数；π表示个体的策略，用于选择动作；R
t+1
、R
t+2
、R
t+3
表示t时刻后多个时刻的奖励；S
t
表示t时刻的状态；r表示奖励衰减因子，且r取值在[0，1]之间；
[0025]基于奖励价值函数，进行迭代优化，生成状态策略表。
[0026]优选地，步骤3)中，隐藏层设有两层。
[0027]优选地，步骤4)的具体过程为：
[0028]将训练集输入至强化学习网络模型中，设置训练轮数、模型更新频率，对状态策略表进行更新，并绘制得分与损失情况的得分曲线图，根据得分曲线图选择相应的训练轮数，使得模型表现为最近10次稳定地识别阻碍，且得分大于设定阈值，则选择停止训练，否则继续训练。
[0029]优选地，状态策略表的更新公式为：
[0030]newQ(s
t+1
,a
t+1
)＝Q(s
t
,a
t
)+α*[R(s
t
,a
t
)+γ*maxQ
′
(s
′
,a
′
)
‑
Q(s
t
,a
t
)][0031]其中，Q(s
t+1
,a
t+1
)为下一时刻的得分值，Q(s
t
,a
t
)为当前时刻的得分值，α为学习率，R(s
t
,a
t
)为该时刻的奖励或惩罚，γ为衰减率，maxQ
′
(s
′
,a
′
)为下一时刻最大期望的得分值。
[0032]一种基于强化学习的测井仪器遇阻遇卡监测系统，包括：
[0033]数据获取单元，用于获取测井仪器运行的原始数据；
[0034]数据处理单元，与数据获取单元相交互，用于对原始数据进行数据处理，得到数据集，并基于数据集制作训练集和测试集；
[0035]模型建立单元，与数据处理单元相交互，基于Python搭建强化学习仿真环境，进一步建立强化学习网络模型；
[0036]模型训练测试单元，与模型建立单元相交互，基于训练集对强化学习网络模型进行训练，基于测试集对训练完成后的强化学习网络模型进行测试，评估强化学习网络模型的性能；
[0037]检测单元，与模型训练测试单元相交互，基于最优强化学习网络模型对测井仪器的遇阻遇卡状态进行实时监测。
[0038]与现有技术相比，本专利技术具有以下有益效果：
[0039]本专利技术公开了一种基于强化学习的测井仪器遇阻遇卡监测方法，首先，对数据进行预处理。之后从大量的测井数据中选择训练数据和测试数据。使用训练集训练网络，测试集对网络性能进行测试，为了使训练的网络具有更好的泛化性能，训练集的划分需要符合数据的分布。然后使用选择的训练集搭建强化学习仿真环境，根据环境建立强化学习网络结构。使用训练集对强化学习网络模型进行训练，针对训练过程中的训练曲线和训练得分修改奖惩策略，进一步优化网络模型。最后，使用上一步得到的最优模型进行测试。基于测试本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的测井仪器遇阻遇卡监测方法，其特征在于，包括如下步骤：步骤1)获取测井仪器运行的原始数据，对原始数据进行数据处理，得到数据集；步骤2)基于数据集制作训练集和测试集；步骤3)基于Python搭建强化学习仿真环境，进一步建立强化学习网络模型，得到状态策略表；强化学习网络模型包括输入层、隐藏层和输出层；步骤4)基于训练集对强化学习网络模型进行训练；步骤5)基于测试集对训练完成后的强化学习网络模型进行测试，评估强化学习网络模型的性能，得到最优强化学习网络模型，并基于最优强化学习网络模型对遇阻遇卡状态进行实时监测。2.根据权利要求1所述的基于强化学习的测井仪器遇阻遇卡监测方法，其特征在于，步骤1)中，对原始数据进行处理包括无效值剔除处理、对测量曲线进行滤波处理及不同区块的数据进行标准化处理。3.根据权利要求2所述的基于强化学习的测井仪器遇阻遇卡监测方法，其特征在于，标准化处理时，采用的标准化公式为：其中，mean(X)表示原始张力曲线数据的平均值，std(X)表示原始张力曲线数据的方差，X
i
表示原始张力曲线，Z
i
表示归一化后张力曲线数值。4.根据权利要求1所述的基于强化学习的测井仪器遇阻遇卡监测方法，其特征在于，步骤3)中，基于Python搭建的强化学习仿真环境包括张力曲线状况、提拉动作和遇阻遇卡状态；强化学习仿真环境的执行过程为：在正常状态下执行提拉给以奖赏，在正常状态下停止给以惩罚，在遇阻遇卡状态执行提拉给以惩罚，在遇阻遇卡状态执行停止给以奖赏；输入层为加载数据；隐藏层为令环境返回对执行某一动作之后的下一环境状态向量、对具体执行动作的奖励和惩罚规则定义；输出层为状态策略表。5.根据权利要求1所述的基于强化学习的测井仪器遇阻遇卡监测方法，其特征在于，步骤3)中，强化学习网络模型的搭建过程为：确定环境状态和个体动作，t时刻个体在某一状态下采取相应的动作后，在t+1时刻得到奖励；建立个体的策略，作为个体选择动作时的依据；利用预先设定的奖励和惩罚规则建立奖励价值函数，具体为：v
π
(S)＝E
π
(R
t+1
+rR
t+2
+r2R
t+3
+...|S
t
＝S)其中，v
π
(S)表示奖励价值函数；π表示个体的策略，用于选择动作；R
t+1
、R
t+2
、R
t+3
表示t时...

【专利技术属性】
技术研发人员：周军，周巍，李国军，宋迎岗，曹先军，张静亚，樊琦，余长江，张娟，赵强先，孟学军，刘旭，刘凯，
申请(专利权)人：中国石油集团测井有限公司西北工业大学，
类型：发明
国别省市：