System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术属于广域电磁数据处理,具体涉及一种基于混合神经网络模型的广域电磁数据去噪方法及系统。
技术介绍
1、矿产资源是国家经济与科技发展的重要物质基础,随着地球浅部资源的逐步开发,人们对探测地球深部资源愈加重视。电磁法是目前应用最广泛的地球物理勘探方法之一,但传统电磁法仍然存在探测深度和准确度等方面的不足,导致其无法准确反映地下深部信息。与传统电磁法相比,广域电磁法可实现强干扰条件下电磁信号的高精度、高信噪比采集,具有探测深度大,分辨率高等特点,是一种勘探地球深部资源的有效手段。然而,人类活动如铁路运输,采矿工作等不可避免会对广域电磁法接收信号产生干扰。因此,如何识别并去除广域电磁数据中的强干扰是急需解决的难题之一。
2、目前,常用于电磁数据去噪的方法有小波阈值法、有理函数滤波、经验模态分解等,这些方法虽然在一定程度上去除了噪声,但在去噪过程中仍会连带去除部分有用信息,导致去噪效果不佳。因此,精准区分广域电磁数据中的大尺度噪声对提高数据质量至关重要。近年来,深度学习算法逐渐成为处理大数据的主流工具,其通过对大量数据进行训练学习可以深度挖掘数据内部特征,且处理大规模数据的效率相比传统方法而言更具优势。
3、因此,如何利用混合神经网络模型实现对广域电磁数据中含大尺度噪声数据段和有用信号的精准分类并去除大尺度噪声是本专利技术亟需研究的,有利于进一步提升数据质量。
技术实现思路
1、针对传统去噪方法对广域电磁数据进行去噪时存在有用信息过处理且难以精准区分大尺度噪声
2、为实现上述技术目的,本专利技术采用如下技术方案:
3、一种基于混合神经网络模型的广域电磁数据去噪方法,其特征在于,包括:
4、s1:根据实测广域电磁数据中常见的噪声类型,构建大尺度噪声训练数据和有用信号训练数据,进而构建带噪训练样本和有用信号训练样本,并对应添加标签;
5、s2:将所有训练样本按比例划分为训练集和验证集后,连同对应的标签输入至基于卷积神经网络和长短时记忆神经网络的混合神经网络中学习,获得数据分类模型;
6、s3:将实测广域电磁数据按训练样本长度且等周期均匀分段依次输入至学习得到的数据分类模型中,模型输出各数据段的分类标签并以此判断数据类型;
7、s4:针对实测广域电磁数据,将其中分类标签判定为噪声的数据段去除,将其中分类标签判定为有用信号的数据段保留,最后将保留的有用信号拼接重构得到最终去噪的广域电磁数据。
8、由实测广域电磁时间序列可知,大尺度噪声通常具有一定的形态特征,其波形类似于脉冲、三角波、方波等,因此可用数学函数模拟出这类具有明显特征的波形,并作为训练数据中的大尺度噪声。广域电磁有用信号具有周期性特征,且其时间序列波形在未受到噪声干扰下几乎没有异常跳变现象。因此,基于大尺度噪声与广域电磁有用信号之间的形态特征差异,本专利技术利用cnn-lstm混合神经网络学习大量训练数据并获得分类模型,最终通过模型分辨大尺度噪声与有用信号并实现去噪。
9、进一步优选,所述常见的噪声类型包括:脉冲、三角波、方波;步骤s1中所述构建大尺度噪声训练数据和有用信号训练数据,进而构建带噪训练样本和有用信号训练样本的过程包括:
10、s11:使用数学公式对应生成模拟各种类型噪声的脉冲、三角波和方波,并将生成的波形数据与不同幅值系数相乘以此调节噪声的幅值;
11、设单个脉冲、三角波、方波噪声分别为p、t、s,生成公式分别如下:
12、p=kp×[zeros(1,l1),1,zeros(1,l2)]
13、
14、s=ks×[zeros(1,j1),1+zeros(1,j2),zeros(1,j3)]
15、式中,zeros(1,x)表示生成长度为x一维全零数组,kp、kt、ks分别表示脉冲噪声p、三角波噪声t和方波噪声s的幅值系数,用于调整噪声幅值,l1和l2用于调整脉冲噪声的长度,a1和a2用于调整三角波的形状,t表示生成三角波的长度,j1、j2和j3共同决定生成的方波长度
16、s12:从实测广域电磁数据中提取部分未受到大尺度噪声干扰的数据段作为有用信号训练数据;
17、s13:利用s11构建的噪声训练数据与s12提取的实测有用信号训练数据的部分数据段进行叠加,作为大尺度带噪训练样本。
18、进一步优选,步骤s13具体包括:
19、设一段噪声训练数据noise如下:
20、noise=[n1,n2,...,nλ]
21、式中,nλ表示noise中的数据,λ为noise的长度;
22、设一段有用信号训练数据signal如下:
23、
24、式中,s1,s2,...,sμ表示signal中的μ个数据,μ为signal的长度且μ>λ;
25、设置滑动窗口的长度为λ,滑动步长为1;
26、使用滑动窗口依次在有用信号训练数据signal滑动以取一段长为λ的有用信号数据段作为一个有用信号训练样本,长度为μ的有用信号signal最终得到μ-λ+1个有用信号训练样本;
27、将每个有用信号训练样本均与噪声训练数据noise叠加得到一段带噪数据,作为一个带噪训练样本,每个有用信号signal与每个噪声训练数据noise最终获得带噪数据矩阵ns如下:
28、
29、式中,signal(1:λ)表示有用信号signal中第1到第λ个元素,ns矩阵中的每一行数据代表叠加而成的一段带噪数据,作为一个带噪训练样本;设噪声训练数据和有用信号训练数据的数量分别为w1和w2,则总计生成带噪训练样本的数量v如下:
30、v=w1×w2×(μ-λ+1)。
31、进一步优选,步骤s2中所述基于卷积神经网络和长短时记忆神经网络的混合神经网络,学习过程包括:
32、s2.1:将构建的所有噪声训练样本和有用信号训练样本按照4:1划分为训练集和测试集;
33、s2.2:构建cnn-lstm网络架构,其中包括网络层和训练参数的选取;
34、其中,cnn-lstm网络层依次为序列输入层、一维卷积层、一维池化层、relu激活函数层、一维卷积层、一维池化层、relu激活函数层、lstm层、丢弃层、全连接层、softmaxlayer和分类输出层;
35、lstm层中lstm神经单元的运算公式如下:
36、bt=dα×bt-1+dβ×d
37、ht=dχ×tanh(bt)
38、yt=σ(wy×ht)
39、式本文档来自技高网...
【技术保护点】
1.一种基于混合神经网络模型的广域电磁数据去噪方法,其特征在于,包括:
2.根据权利要求1所述的广域电磁数据去噪方法,其特征在于,所述常见的噪声类型包括:脉冲、三角波、方波;步骤S1中所述构建大尺度噪声训练数据和有用信号训练数据,进而构建带噪训练样本和有用信号训练样本的过程包括:
3.根据权利要求2所述的广域电磁数据去噪方法,其特征在于,步骤S13具体包括:
4.根据权利要求1所述的广域电磁数据去噪方法,其特征在于,步骤S2中所述基于卷积神经网络和长短时记忆神经网络的混合神经网络,学习过程包括:
5.根据权利要求4所述的广域电磁数据去噪方法,其特征在于,卷积神经网络中的卷积层运算公式如下:
6.一种基于权利要求1-5任一项所述方法的系统,其特征在于,包括:训练样本构建模块、神经网络构建模块、分类模型训练模块、数据拼接模块;
【技术特征摘要】
1.一种基于混合神经网络模型的广域电磁数据去噪方法,其特征在于,包括:
2.根据权利要求1所述的广域电磁数据去噪方法,其特征在于,所述常见的噪声类型包括:脉冲、三角波、方波;步骤s1中所述构建大尺度噪声训练数据和有用信号训练数据,进而构建带噪训练样本和有用信号训练样本的过程包括:
3.根据权利要求2所述的广域电磁数据去噪方法,其特征在于,步骤s13具体包括:
【专利技术属性】
技术研发人员:刘业成,李帝铨,朱云起,刘子杰,张贤,
申请(专利权)人:中南大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。