System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于集成学习的原水2-MIB浓度预测模型的预测方法技术_技高网

基于集成学习的原水2-MIB浓度预测模型的预测方法技术

技术编号:40134677 阅读:24 留言:0更新日期:2024-01-23 22:40
本发明专利技术提供了一种基于集成学习的原水2‑MIB浓度预测模型的预测方法,包括如下步骤:获取目标原水历史2‑MIB的人工检测结果、同期在线水质数据、气象监测数据、水文监测数据;对获取的数据进行清洗和异常值剔除;进行特征衍生,得到特征数据,作为预测模型的输入;分别构建XGBoost、LightGBM和CatBoost训练模型,并分别进行参数优化,采用Boosting模型进行结果集成,并与统计时序模型进行结果集成,得到2‑MIB浓度预测模型;采用2‑MIB浓度预测模型预测2‑MIB浓度。本发明专利技术的技术方案,可以对饮用水水源中2‑MIB的含量进行预测,并预测变化趋势,以便进行相应的处理。

【技术实现步骤摘要】

本专利技术涉及污水处理,尤其涉及一种基于集成学习的原水2-mib浓度预测模型的预测方法。


技术介绍

1、2-mib即2-甲基异崁醇,原水中主要来源为藻细胞释放,在浓度较高时可引起嗅味,带来不好的感官体验。《生活饮用水卫生标准》(gb5749-2022)中将2-mib列为正文指标,并规定其限值为0.00001mg/l(即10ng/l)。

2、水厂常规工艺对2-mib的去除效果一般,平均去除率仅为30%左右,在原水中嗅味物质较高的夏季、秋季和冬季,往往容易出现出厂水嗅味物质超过新国标限值要求的情况,因此,需要采用其他手段进一步去除嗅味物质。

3、经实践证明,臭氧-生物活性炭深度处理工艺可以有效去除2-mib等大多数的嗅味物质。但受限于实际条件,国内大部分水厂未实现深度处理工艺。同时粉末活性炭对2-mib具有较好的吸附效果,因此部分水厂采用投加粉末活性炭的方式短期提高水厂处理2-mib能力,但粉末活性炭成本较高(约8000元/吨),常态恒量投加难以应对原水中2-mib浓度的波动,投量偏低则无法保障出水水质,投量偏高则造成浪费并影响水厂回收水的使用。理想的情况是根据原水中2-mib浓度水平的波动,及时调整粉末活性炭投加量及水厂其他工艺。

4、采用常规闻嗅的无法得到准确的2-mib浓度水平,同时对人员气味敏感度要求较高并较大程度依赖人员的专业水平。而2-mib检测方法复杂,需应用大型仪器,目前大部分水厂不具备检测能力,只能通过闻嗅的方式判断原水2-mib水平以指导生产,同时定期由更高一级检测单位进行专业检测,操作不方便,较难满足水厂及时调整工艺的需要。


技术实现思路

1、针对以上技术问题,本专利技术公开了一种基于集成学习的原水2-mib浓度预测模型的预测方法,可以对2-mib浓度的趋势进行预测。

2、对此,本专利技术采用的技术方案为:

3、一种基于原水2-mib浓度预测模型的预测方法,包括如下步骤:

4、步骤s1,获取目标原水历史2-mib的人工检测结果、同期在线水质数据、气象监测数据、水文监测数据;

5、步骤s2,对步骤s1获取的数据进行清洗和异常值剔除;

6、步骤s3,进行特征衍生,得到特征数据,作为预测模型的输入;

7、步骤s4,对步骤s3得到的数据分别构建xgboost、lightgbm和catboost训练模型,并分别进行参数优化,采用boosting模型进行结果集成;采用使用prophet统计方法对时序数据进行建模;将boosting模型的结果与统计时序模型的结果进行结果集成,得到2-mib浓度预测模型;

8、步骤s5,采用2-mib浓度预测模型对时间-特征数据进行预测,得到原水2-mib浓度数据。

9、由于原水中2-mib主要来源于藻细胞释放,相关研究表明藻细胞生命活动受水质、气象、水文影响,故可以通过水质、气象、水文中易于实现在线监测及预测的指标进行原水2-mib的预测。此技术方案基于集成学习的原水2-mib预测方法,通过原水中藻类、温度等水质指标、气温、风力等气象指标、水位等水文指标的变化预测未来15天原水2-mib的逐日浓度,可以使水厂可以更好地根据原水2-mib浓度水平波动情况调整工艺。

10、作为本专利技术的进一步改进,步骤s1中,所述在线水质数据包括蓝绿藻浓度、水温、ph、cod、叶绿素、总锰、浑浊度、溶解氧、电导率、toc指标的数据;所述气象监测数据包括降雨量、温度、风速、湿度指标的数据;所述水文监测数据包括水位、进出水量指标的数据。

11、作为本专利技术的进一步改进,步骤s2包括如下子步骤:

12、步骤s21,剔除异常值;

13、步骤s22,对缺失数据进行填充;

14、步骤s23,对数据进行量纲与幅度归一化预处理。

15、进一步的,步骤s21包括:基于数据的箱型图,计算上四分位数q3和下四分位数q1,并采用iqr=q3-q1计算四分位差;然后计算上限值=q3+1.5*1qr,计算下限值=q1-1.5*iqr;把大于上限值或者小于下限值的样本视作异常值,进行剔除。

16、进一步的,步骤s22包括:对数据集按时间排序,并检查其中的缺失值,记录其索引;

17、计算缺失值索引前后2n个已知数据点的值;

18、使用如下公式,根据前后已知数据点的值和索引,计算出缺失值的预测值;

19、y=y1+(x-x1)*(y2-y1)/(x2-x1)

20、其中,x1、y1分别为缺失值索引前一个点的索引和值,x2、y2分别为缺失值索引后一个点的索引和值,x为缺失值的索引;

21、采用计算得到的缺失值的预测值填充原数据集中的缺失值。

22、进一步的,步骤s23包括:计算特征数据中每个特征的最大值max和最小值min;

23、对于特征向量中的每个数据样本,对其中每个特征采用如下公式执行归一化运算;

24、x'=(x-min)/(max-min),

25、其中,x是原始特征值,x'是归一化后的特征值;

26、将每个特征数据中的特征值替换为归一化后的值,得到归一化后的样本特征向量;

27、保存最小值、最大值,用于对新数据也采用同样的缩放范围。

28、作为本专利技术的进一步改进,步骤s3中,针对每个指标数据在补齐的数据基础上基于步骤s1中获取的数据记录,使用线性回归和二阶回归,分别获取拟合斜率和二次项系数作为趋势速度和趋势加速度特征。

29、作为本专利技术的进一步改进,步骤s3包括缺失值补齐和趋势特征构建,所述缺失值补齐包括:

30、对于第i个时间点的2-mib值mib_i,使用线性内插方法如下公式基于前后2次2-mib数据进行缺失补齐,补齐的第t个时间点的2-mib值为mib_t_interp;

31、mib_t_interp=mib_{t-1}+(t-(t-1))*(mib_{t+1}-mib_{t-1})/((t+1)-(t-1))。

32、所述趋势特征构建包括:

33、选择最近n条2-mib浓度值记录作为回归分析的数据,其中n≥3;构建独立变量向量x,元素为1和每个记录的时间点ti;构建因变量向量y,元素为每个记录的2-mib值yi;进行线性回归,求得的斜率系数b1为趋势速度特征;

34、将时间点ti的平方项t1^2、t2^2等追加到x向量,进行二次回归,求得二次项系数b2为趋势加速度特征。

35、作为本专利技术的进一步改进,步骤s4包括:

36、步骤s41,将数据分为训练集和测试集,进行多轮数据建模,构建xgboost、lightgbm和catboost训练模型,并采用贝叶斯调参方法对学习率、树的深度、最少叶子结点样本数、最小分裂增益、样本采样率、特征采样率、正则化参数进行超参数调优选择;

本文档来自技高网...

【技术保护点】

1.一种基于集成学习的原水2-MIB浓度预测模型的预测方法,其特征在于:包括如下步骤:

2.根据权利要求1所述的基于集成学习的原水2-MIB浓度预测模型的预测方法,其特征在于:步骤S1中,所述在线水质数据包括蓝绿藻浓度、水温、pH、COD、叶绿素、总锰、浑浊度、溶解氧、电导率、TOC指标的数据;所述气象监测数据包括降雨量、温度、风速、湿度指标的数据;所述水文监测数据包括水位、进出水量指标的数据。

3.根据权利要求2所述的基于集成学习的原水2-MIB浓度预测模型的预测方法,其特征在于,步骤S2包括如下子步骤:

4.根据权利要求3所述的基于集成学习的原水2-MIB浓度预测模型的预测方法,其特征在于,步骤S3中,针对每个指标数据在补齐的数据基础上基于步骤S1中获取的数据记录,使用线性回归和二阶回归,分别获取拟合斜率和二次项系数作为趋势速度和趋势加速度特征。

5.根据权利要求4所述的基于集成学习的原水2-MIB浓度预测模型的预测方法,其特征在于,步骤S3包括缺失值补齐和趋势特征构建,所述缺失值补齐包括:对于第i个时间点的2-MIB值MIB_i,使用线性内插方法如下公式基于前后2次2-MIB数据进行缺失补齐,补齐的第t个时间点的2-MIB值为MIB_t_interp;

6.根据权利要求5所述的基于集成学习的原水2-MIB浓度预测模型的预测方法,其特征在于,步骤S4包括:

7.根据权利要求6所述的基于集成学习的原水2-MIB浓度预测模型的预测方法,其特征在于:步骤S41中,XGBoost、LightGBM和CatBoost训练模型采用的损失函数采用如下步骤构建:

8.根据权利要求7所述的基于集成学习的原水2-MIB浓度预测模型的预测方法,其特征在于:步骤S41中所述贝叶斯调参方法的步骤包括:

9.根据权利要求6所述的基于集成学习的原水2-MIB浓度预测模型的预测方法,其特征在于:

10.如权利要求1~9任意一项所述的基于集成学习的原水2-MIB浓度预测模型的预测方法的应用,其特征在于:根据常规工艺水厂及深度处理工艺水厂处理能力,设置报警值;将水质、水文、气象在线监测及预报数据实时接入所述2-MIB浓度预测模型,每日早上自动进行未来15日原水2-MIB浓度预测,并根据预测结果进行预警。

...

【技术特征摘要】

1.一种基于集成学习的原水2-mib浓度预测模型的预测方法,其特征在于:包括如下步骤:

2.根据权利要求1所述的基于集成学习的原水2-mib浓度预测模型的预测方法,其特征在于:步骤s1中,所述在线水质数据包括蓝绿藻浓度、水温、ph、cod、叶绿素、总锰、浑浊度、溶解氧、电导率、toc指标的数据;所述气象监测数据包括降雨量、温度、风速、湿度指标的数据;所述水文监测数据包括水位、进出水量指标的数据。

3.根据权利要求2所述的基于集成学习的原水2-mib浓度预测模型的预测方法,其特征在于,步骤s2包括如下子步骤:

4.根据权利要求3所述的基于集成学习的原水2-mib浓度预测模型的预测方法,其特征在于,步骤s3中,针对每个指标数据在补齐的数据基础上基于步骤s1中获取的数据记录,使用线性回归和二阶回归,分别获取拟合斜率和二次项系数作为趋势速度和趋势加速度特征。

5.根据权利要求4所述的基于集成学习的原水2-mib浓度预测模型的预测方法,其特征在于,步骤s3包括缺失值补齐和趋势特征构建,所述缺失值补齐包括:对于第i个时间点的2-mib值mib_i,使用线性...

【专利技术属性】
技术研发人员:梁思宸张金松伍驰中郭颂明安娜肖维贵林峰
申请(专利权)人:深圳市水务集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1