融合数据增强和神经网络预测小样本土壤污染物分布的方法技术

本发明专利技术公开了一种融合数据增强和神经网络预测小样本土壤污染物分布的方法，包括收集带有土壤污染物数值的少量土壤样本及位置坐标；数据修正；纵深插值；高污染点增强；构建BP神经网络模型；输出样本的污染物分布预测值；导入网格化数据预测相应浓度，进行土壤污染物空间分布三维展示。本发明专利技术通过将原始数据进行数据增强，使扩增的训练数据尽可能接近真实分布的数据，可以满足神经网络计算需要的数据量，本发明专利技术将数据增强与BP神经网络二者结合，能够适用于土壤数据样本少的情况下，对土壤污染物分布进行预测，通过实施例证明了该方法具有计算时间短、精度高的效果，克服了传统插值法计算量大、效率低的问题。效率低的问题。效率低的问题。

【技术实现步骤摘要】
融合数据增强和神经网络预测小样本土壤污染物分布的方法


[0001]本专利技术属于资源与环境
，具体涉及一种融合数据增强和神经网络预测小样本土壤污染物分布的方法。

技术介绍

[0002]土壤污染精细化修复已成为土壤治理的重要需求，而地下土壤污染物三维可视化显示是进行精细化修复的关键环节。
[0003]现有土壤污染插值的三维插值方法主要有反距离加权、样条函数插值、克里金插值法等。其优点是适用范围广、易于实现且可理解度高。但土壤污染物含量一般呈偏斜分布，具有高度变异性和复杂的空间特征。但插值后的数据相关性和连续性差，受实地考察和实验室数据分析约束大。单纯依靠数值分析，忽略地质条件、物理因素影响，实践性差。
[0004]运用人工智能神经网络对土壤物进行分析，可大幅提升运算效率，且数据相关性强。但需要大量样本进行数据训练，否则精度较低，且易出现欠拟合或过拟合问题。

技术实现思路

[0005]本申请拟将传统插值法改进为数据增强技术并与人工智能神经网络结合，能够克服传统插值法计算量大、效率低以及神经网络对数据需求量大的问题，土壤污染物的精细化预测对于环境保护、降低工程建设成本、促进土力学与人工智能的交叉发展等方面具有切实意义。
[0006]本专利技术通过以下技术方案实现：
[0007]一种融合数据增强和神经网络预测小样本土壤污染物分布的方法，经过数据增强对小样本数据特征值进行凸显，使用神经网络进行特征筛选及预测，具体步骤如下：
[0008]步骤1，数据收集：收集若干带有土壤污染物浓度和其对应三维坐标的样本数据，要求这些样本数据近似均匀分布在被污染范围内，将这些样本数据进行编号储存，形成样本集；
[0009]步骤2，数据修正：对步骤1中的样本集数据进行筛选，对异常数据进行剔除替换。并且使用网格点覆盖整个地块边框，利用相应污染物浓度标准值的1/4对其进行标记，专利技术内所提及的污染物浓度的标准值与临界值均为现行《土壤环境质量标准(GB15618
‑
1995)》中对各个污染物浓度的风险管制指标。将数据修正后的结果一并加入样本数据。
[0010]步骤3，纵深插值：在每一个测量纵深点上进行线性内插，对原始数据集进行数据增强处理，在保留样本整体特征的前提下，增强其数据密度，便于BP神经网络模型的识别计算。
[0011]步骤4，高污染点增强：在得到纵深插值结果之后，为了突出高污染点且防止高浓度点被判定为误点而不进行训练，将高污染点附近数据样本进行样本集拓展进一步增强高污染点的数据特征。
[0012]步骤5，构建BP神经网络模型:将全部样本的随机80％数据作为训练集，其余20％
数据作为验证集，以20个数据为一组输入神经网络模型进行超参数调优，以平均绝对误差与均方误差分别作为其损失函数，记录每一轮训练过后loss的变化趋势与验证集和真实值之间10％的精度作为模型的评价指标，训练好神经网络模型。
[0013]步骤6，将待预测点位的网格坐标输入已经训练好的BP神经网络模型中，得到该样本的土壤污染物浓度预测值。
[0014]步骤7，将网格坐标点数据导入有限元软件FLAC3D，类比有限元模型，将上述神经网络模型预测的污染物浓度以结点位移的形式导入，使用按位移求解方式输出三维分布云图。
[0015]进一步地，步骤2的具体做法包括：
[0016]步骤2.1对数据集进行异常值筛除；做法如下：对步骤1所得全部地下土壤污染物浓度数据进行筛选，污染物浓度小于0的点进行浓度剔除。再将所剩余数据进行标准化处理并进行KS检验，筛除μ+3σ以外，且满足大于标准浓度3倍的数据，防止超高浓度奇点的发生。
[0017]步骤2.2对剔除点进行重新赋值；做法如下：以剔除点为中心，寻找距离剔除点最近的三个实际测量的污染点(不包含其他被剔除的点)，利用上述三个已知浓度的平均值作为该点的污染物浓度进行赋值。
[0018]步骤2.3对边框进行网格剖分并赋值；做法如下：利用函数平面确定可能污染的地块边界(包含深度底面)，用边长为0.5m的小正方形覆盖所框选区域，并在所有正方形的结点上用标准值的1/4进行赋值，防止神经网络运行结果产生地块边界污染物浓度很大的情况，结果保存在原始数据集中。
[0019]进一步地，步骤3的具体做法包括：
[0020]步骤3.1端部赋值；做法如下：土壤污染物浓度测量是根据地表任一点(x，y固定)的纵向土柱(z不同)进行测量，由于土壤环境因素影响，不同地表点对应的测点深度各不相同，以单个土柱考虑，利用步骤2.3中所选择的深度底面平面，对每一个土柱底部增加污染物测点，对应浓度取为标准值的1/4。对相应土柱绝对高程为0的点设置浓度为0进行赋值操作。
[0021]步骤3.2纵深线性内插；做法如下：在每一个土柱上现有两个端部数据和未知个数的内部数据，因此对内部每隔0.5m深度进行识别：如果存在已测点，则保留已测数据；如果没有已测点，利用距离已测点深度最近的前后数据进行线性内插，得到拓展数据集。
[0022]具体的，步骤3所用线性内插公式如下：
[0023][0024]其中：t
i
代表第i个深度的土壤污染物浓度值，z
i
代表编号为i的污染点深度值。当存在i＝j时，即原始污染物浓度存在，保留原始污染物浓度；当不存在i＝j时，由于地表及最深处污染物浓度赋值，其一定存在编号为j
‑
1与j+1的数据。利用此公式对其进行数据拓展。
[0025]具体的，步骤4的具体做法如下：
[0026]首先对所有已知浓度点进行识别，识别出超过标准浓度的点进行标记，通过正方体角点赋值的方式，对超过污染标准值的数据进行拓展，以超过标准浓度的污染点为正方
体中心，利用(X
max
‑
X
min
)/100m与(Y
max
‑
Y
min
)/100m与0.2m分别作为长方体的长宽高进行赋值，为了防止过拟合，将其中心点数据赋予了5％的浓度波动进行八角点赋值，进一步拓展了数据集。
[0027]具体的，步骤5在得到归一化后的数据集后，对全体数据进行乱序，打乱数据集后，将选出80％的数据集作为训练集，20％的数据集作为验证集，其中训练集每20个标签
‑
目标值捆绑成对打包成一个整体(标签为x,y,z坐标值，目标值为改点的浓度，选取20个为一组为了加快神经网络的计算速度且不致发生过拟合现象)，分批次输入神经网络。
[0028]神经网络模型构建做法如下：
[0029]BP神经网络是一种多层前馈神经网络，由输入层、隐藏层和输出层组成，每层包含若干神经元。神经元是神经网络的基本组成单位，每个神经元都有与前一层每个神经元(或输入)相连的权重值w，自身的激活函数f和偏置b。
[0030]BP神经网络的突出特点是输入信号前向传播，而误差结果反向传播，因此其训练过程可分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合数据增强和神经网络预测小样本土壤污染物分布的方法，其特征是：经过数据增强对小样本数据特征值进行凸显，使用神经网络进行特征筛选及预测，具体步骤如下：步骤1，数据收集：收集若干带有土壤污染物浓度和与对应三维坐标的样本数据，将这些样本数据进行编号储存，形成样本集；步骤2，数据修正：对步骤1中的样本集数据进行筛选，对异常数据进行剔除替换；使用网格点覆盖整个地块边框，利用污染物浓度临界值的1/4进行标记；步骤3，纵深插值：在每一个测量纵深点上进行线性内插，对原始数据集进行数据增强；步骤4，高污染点增强：使用长方体八点数值增强技术，对高污染点附近使用数据拓展手段进一步增强高污染点的特征；步骤5，构建BP神经网络模型：随机将全部样本的80％数据作为训练集，其余20％数据作为验证集，以20个数据为一组输入神经网络模型进行超参数调优，以平均绝对误差与均方误差分别作为其损失函数，记录每一轮训练过后loss的变化趋势，与验证集和真实值之间10％的精度一起作为模型的评价指标，训练好神经网络模型；步骤6，将待预测点位的网格坐标输入步骤5已经训练好的BP神经网络模型中，得到该样本的土壤污染物浓度预测值；步骤7，将网格坐标点数据导入有限元软件FLAC3D，类比有限元模型，将上述神经网络模型预测的污染物浓度以结点位移的形式导入，使用按位移求解方式输出三维分布云图。2.根据权利要求1所述的一种融合数据增强和神经网络预测小样本土壤污染物分布的方法，其特征是：步骤2的具体做法包括：步骤2.1，对数据集进行异常值筛除；步骤2.2，对剔除点进行重新赋值；步骤2.3，对边框进行网格剖分并赋值。3.根据权利要求2所述的一种融合数据增强和神经网络预测小样本土壤污染物分布的方法，其特征是，步骤3的具体做法包括：步骤3.1端部赋值；步骤3.2纵深线性内插，所用线性内插公式如下：其中：t
i
代表第i个深度的土壤污染物浓度值，z
j
代表编...

【专利技术属性】
技术研发人员：王久祎，吴子涵，冯千里，殷德顺，
申请(专利权)人：河海大学，
类型：发明
国别省市：