System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于级联注意力特征融合和门控TCN的动态软测量方法技术_技高网
当前位置: 首页 > 专利查询>江南大学专利>正文

基于级联注意力特征融合和门控TCN的动态软测量方法技术

技术编号:42759516 阅读:1 留言:0更新日期:2024-09-18 13:46
本发明专利技术公开了一种基于级联注意力特征融合和门控TCN的动态软测量方法,属于工业过程控制技术领域。通过构建一种级联注意力特征融合模块(CAFF),用于改进TCN网络的残差连接部分。该模块包含两个自注意力模块SAM和一个多尺度通道注意力模块MS‑CAM。CAFF模块从时间和变量维度上对重要信息进行强化,抑制无关信息在网络中的传播,缓解了变量之间局部依赖关系的丢失,使网络能够自适应地关注重要信息。同时,本申请还提出一种门控TCN网络结构,利用门控扩张因果卷积和SELU激活函数增强TCN的记忆能力和学习能力,消除在特征提取过程中不稳定特征可能带来的负面影响,从而提高了复杂工业过程中对质量变量的预测精度。

【技术实现步骤摘要】

本专利技术涉及一种基于级联注意力特征融合和门控tcn的动态软测量方法,属于工业过程控制。


技术介绍

1、随着工业规模的扩大,生产过程正变得复杂化、多样化,对产品质量和生产效率均提出了更高要求。实现上述目标的关键是对复杂工业过程中的关键质量变量进行实时测量,这些变量通常指与产品质量密切相关的指标,例如硫回收工艺的尾气中二氧化硫(so2)和硫化氢浓度(h2s)。然而由于测量技术的限制或者昂贵的成本,大多数质量变量由实验室离线化验的方式得到,通过硬件传感器进行实时监控变得异常困难。

2、为了实时在线获取关键质量指标信息,软测量技术孕育而生,软测量通过建立难以实时测量的质量变量与易于通过硬件传感器测量的过程变量之间的数学模型,从而实现对质量变量的在线预测与估计。软测量建模方法主要分为白箱建模(即基于过程机理)、黑箱建模(即基于数据驱动),随着现代工业过程的规模化与复杂化程度的日益增加,基于过程机理的软测量模型愈来愈难以搭建和求解,也难以准确高效地完成质量指标的在线准确预测。随着机器学习与深度学习的发展,由数据驱动的黑箱建模方法无需考虑复杂工艺机理,是目前软测量的主流方法。

3、由于复杂的物理化学反应,工业过程通常呈现动态特性,这意味着一定时间段内的过程变量之间存在较高的时间相关性。然而,目前大多数数据驱动的软测量方法主要考虑空间非线性关系,这导致在具有强动态特性的过程中预测性能不佳。长短期记忆神经网络(lstm)作为一种基于时间序列数据的深度网络,常被用于动态软测量建模。尽管如此,lstm仅考虑当前时刻的输入和前一时刻的隐藏层特征,这可能使其难以捕捉到较远采样时刻的变量之间的长期依赖关系。相比之下,cnn通过卷积运算提取数据的特征,具有并行计算和权值共享的优势,更适用于学习变量之间的动态非线性关系。bai等人提出了一种用于序列建模的时间卷积网络(temporal convolutional network,tcn),该网络由残差块堆叠组成。tcn采用扩张卷积策略,在卷积核中插入零值来跳过某些时刻的样本,这使网络有足够大的感受野捕捉更远时刻的信息(参见“bai s,kolter j z,koltun v.an empiricalevaluation of genericconvolutional and recurrent networks for sequencemodeling[j].arxiv preprint arxiv:1803.01271,2018.”)。sun等人运用tcn提取变量的非线性和长期动态依赖性,并将提取的动态特征作为输入,建立基于注意力简单循环单元(asru)的软测量模型(参见“sun c,zhang y,zhaoh,et al.a soft sensor model forcement specific surface area based on tcn-asru neural network[j].ieeetransactions on instrumentation and measurement,2023.”)。yuan等人构建了一种自回归时间卷积(ar-tcn)预测模型,在tcn中引入质量变量相关信息,用于脱丁烷塔和加氢裂化过程的关键变量预测(参见“yuan x,qi s,wang y,et al.quality variableprediction fornonlinear dynamic industrial processes based on temporalconvolutional networks[j].ieee sensorsjournal,2021,21(18):20493-20503.”)。然而,扩张卷积也使网络忽视变量的连续性,变量之间的短期时间相关性可能会因为扩张卷积而丢失,进而导致软测量模型的预测精度降低、响应迟滞及对过程动态变化的模拟不准确。


技术实现思路

1、针对上述基于tcn的软测量模型的不足之处,本申请提出了一种基于级联注意力特征融合和门控tcn的动态软测量方法(caff-gtcn),用于硫回收过程的尾气中so2浓度的检测,旨在充分挖掘硫回收过程的复杂动态特性和非线性,提高模型的预测精准度。该方法引入级联注意力特征融合模块(caff)来改进tcn中的残差连接,缓解变量之间局部依赖关系的丢失,使网络能够自适应地关注重要信息。同时,提出一种门控时间卷积网络(gtcn)结构,通过门控卷积增强信息的筛选和记忆能力,从而消除在特征提取过程中不稳定特征可能带来的负面影响。

2、一种基于级联注意力特征融合和门控tcn的动态软测量方法,包括:

3、步骤1:从复杂工业过程中获得过程变量和质量变量的历史数据,质量变量为软测量模型需要预测的过程参数,过程变量为硬件传感器测得的其它过程参数。

4、对获得的历史数据集进行预处理,包括归一化处理、异常值和缺失值剔除等,最终把历史数据集作为模型的训练集xtrain、ytrain。

5、步骤2:构建带有级联注意力特征融合的门控tcn网络模型。首先构建tcn网络模型,该模型由多个残差块堆叠而成。每个残差块包含两层扩张因果卷积层,每层都会采用权值归一化、relu激活函数以及dropout策略。除此之外,通过残差连接对输入与提取的特征进行融合,最后得到模块的输出特征,其中1×1conv可以保证输入与输出的维度一致。

6、步骤3:在构建tcn网络后,设计一个级联注意力融合模块(caff)改进tcn的残差连接。caff模块包含两个自注意力模块sam和一个多尺度通道注意力模块ms-cam,两种注意力机制分别从时间和变量角度对特征中的重要信息施加注意力,进一步提取动态非线性特征。

7、步骤4:提出一种门控tcn网络结构,用门控扩张因果卷积层替换tcn中的扩张因果卷积层,利用门控信号增强网络对信息筛选和记忆能力。同时,将tcn中的relu激活函数更换为selu函数,selu可以有效抑制网络训练过程中的梯度消失问题。最终,提出一种带有级联注意力特征融合的门控tcn(caff-gtcn)软测量模型。

8、步骤5:将xtrain、ytrain训练caff-gtcn网络模型并优化网络的超参数,并保存训练好的模型参数,用于在线预测;

9、步骤6:获取工艺过程中的过程变量的实时数据,输入所述训练好的caff-gtcn预测模型,得到质量变量的动态预测值。

10、可选的,所选步骤2中构建的初始tcn网络中主要采用扩张因果卷积与残差连接策略。在大多数时间序列任务中,因果性是不可以被忽略的,这意味着模型只能依赖于当前时刻之前的信息来进行预测。因果卷积策略被应用与tcn中,对于一个时间序列x=(x1,x2,...,xt),则t时刻的因果卷积输出值f(t)为

11、

12、其中f=[f0,f1,k,fk-1]为一个卷积核,k表示卷积核大小,xt-i表示只有可用的历史输入信息参与卷积运算。此外扩张卷积被应用于网络中,扩张卷积本文档来自技高网...

【技术保护点】

1.一种基于级联注意力特征融合和门控TCN的动态软测量方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述步骤S2包括:

3.根据权利要求2所述的方法,其特征在于,所述级联注意力融合模块CAFF用于将两种不同时间尺度下提取的特征进行融合;两种特征X和Y分别经过一个自注意力模块SAM加权,对各自特征中不同时刻的历史信息进行加权,在得到加权后的特征X'和Y'后,将两种特征相加得到中间特征H;

4.根据权利要求3所述的方法,其特征在于,所述自注意力模块SAM用于对序列中不同位置的样本赋予权重,不同位置的样本对应不同时刻的历史信息;

5.根据权利要求4所述的方法,其特征在于,所述门控扩张因果卷积层选用卷积核参数权重不共享的两层扩张因果卷积层,一层用于特征的提取,另一层结合Sigmoid函数得到门控信号;将两层的输出对应元素相乘,得到最终的门控扩张因果卷积层的输出。

6.根据权利要求5所述的方法,其特征在于,所述SELU激活函数的表达式为:

7.一种硫回收过程的尾气中SO2浓度的预测方法,其特征在于,所述方法采用权利要求1-6任一项所述的基于级联注意力特征融合和门控TCN的软测量方法实现。

8.根据权利要求7所述的方法,其特征在于,针对硫回收过程的尾气中SO2浓度的预测,所述过程变量包括MEA区域GAS气体流、MEA区域空气流、MEA区域二次空气流、SWS区域GAS气体流和SWS区域空气流;所述质量变量为尾气中SO2浓度。

...

【技术特征摘要】

1.一种基于级联注意力特征融合和门控tcn的动态软测量方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述步骤s2包括:

3.根据权利要求2所述的方法,其特征在于,所述级联注意力融合模块caff用于将两种不同时间尺度下提取的特征进行融合;两种特征x和y分别经过一个自注意力模块sam加权,对各自特征中不同时刻的历史信息进行加权,在得到加权后的特征x'和y'后,将两种特征相加得到中间特征h;

4.根据权利要求3所述的方法,其特征在于,所述自注意力模块sam用于对序列中不同位置的样本赋予权重,不同位置的样本对应不同时刻的历史信息;

5.根据权利要求4所述的方法,其特征在于,所述门控扩张因果卷积层...

【专利技术属性】
技术研发人员:谢莉孙乐徐梁曹余庆
申请(专利权)人:江南大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1