基于注意力泊松自编码器网络的计数数据软测量建模方法技术

本发明专利技术公开了一种基于注意力泊松自编码器网络的计数数据软测量建模方法，其中提出了一种注意力堆叠泊松自编码器网络结构。该方法首先建立监督泊松自编码器，在此基础上，通过引入注意力机制来衡量各个隐层特征对于计数型质量变量输出值的贡献，并用泊松网络层来集成隐层特征，运用蕴含在不同隐层特征中的信息共同预测计数型质量变量，建立了输入到输出的多条连接通道。本发明专利技术方法提升了计数数据软测量模型对数据特征的挖掘能力，提高了模型对各隐层特征的有效利用率，提升了对计数型质量数据的预测效果。据的预测效果。据的预测效果。

【技术实现步骤摘要】
基于注意力泊松自编码器网络的计数数据软测量建模方法


[0001]本专利技术属于工业过程预测及软测量领域，涉及一种基于注意力泊松自编码器网络的计数数据软测量建模方法。

技术介绍

[0002]计数数据作为一种重要数据类型，其具有离散、非负整数、高偏斜分布等特点，有必要建立离散计数数据模型，即建立某一事件发生次数(称为因变量、输出变量或响应变量)与引起其发生的因素(称为自变量、输入变量或过程变量)之间的联系，以预报事件的发生次数。
[0003]在过程工业中，软测量作为一种工具，可以用来预测产品质量或其他重要变量，可以考虑用来对计数数据建模处理。基于数据驱动的软测量建模方法常见的是多元线性回归(MLR)和偏最小二乘(PLS)回归。它们假设响应变量服从正态和同方差分布，这与观测到的计数数据高度过分散分布相违背。此外计数数据是非负整数，但MLR和PLS可能会使因变量产生负值。而非线性建模方法如支持向量回归(SVR)和人工神经网络(ANN)方法存在较差的可解释性的缺点，同时不能保证预测的非负性。
[0004]工业流程数据存在很强的相关性和高冗余，因此有必要从数据中先学习特征再对计数数据进行回归建模。近年，由人工神经网络发展起来的深度学习技术，与传统的特征提取方法相比，其能够独立学习有用的特征表示。它具有许多非线性的分层结构，可以学习深度抽象特征，这比浅层网络更有效和高效，具有出色的数据挖掘能力。其中，基于堆叠自编码器的很多技术出现在工业软测量应用中。在堆叠自编码器中，各个隐藏层上都是输入数据的不同抽象表示，虽然高层隐藏层经过学习对抽取抽象特征的作用更大，但是较浅的隐层对于预测输出也有一定的价值。但是目前多数的网络都只用最后一层作为输出建模特征，没有充分利用所学习的特征表示，造成了提取出的特征的信息浪费的现象，而实际上每一个隐藏层对于预测输出值都是有贡献的。另外，传统自编码器的预训练都是采用无监督的学习方式，通过对输入的重构并约束误差最小化来学习有效的特征表示，因此从深度网络中所提取的特征可能与计数数据软测量的预测输出并无关系，使得这部分过程显得低效。因此，迫切需要提出恰当的方法来解决传统自编码器无法提取与计数型质量变量相关的特征的难题，同时充分利用自编码器提取的各隐层特征以提升预测模型的预报精度。

技术实现思路

[0005]针对常规自编码器模型无法提取与计数型质量变量相关的特征的难题和提取的各个隐层特征利用不充分的问题，本专利技术提出一种基于注意力泊松自编码器网络的计数数据软测量建模方法。
[0006]该方法首先建立监督泊松自编码器，得到与计数型质量变量相关的特征表示后，通过引入注意力机制，计算不同隐层对预测的贡献度，并以注意力值为根据，控制各个隐层的信息的通过率，结合针对计数数据的泊松网络层的映射来集成所有潜在特征，运用蕴含
在不同隐层中的信息来共同预测输出，充分利用所有隐层特征，提高了模型对计数型质量变量的预测精度。
[0007]本专利技术的具体技术方案如下：
[0008]一种基于注意力泊松自编码器网络的计数数据软测量建模方法，该方法包括如下步骤：
[0009]S1：收集建模用的输入输出训练数据集：其中，x代表输入变量，y代表离散计数数据类型的输出变量，N表示数据样本个数；
[0010]S2：构建注意力泊松自编码器网络，所述注意力泊松自编码器网络由多个监督泊松自编码器分层堆叠而成，前一个监督泊松自编码器的隐藏层的输出作为下一个监督泊松自编码器的输入层的输入；所述监督泊松自编码器包括一个输入层、一个隐藏层和一个输出层，从隐藏层到输出层包含输入重构网络层和泊松网络层，所述输入重构网络层用于对输入向量进行重构，所述泊松网络层用于对计数型质量数据进行预测；
[0011]随机初始化注意力泊松自编码器网络的神经网络和泊松网络的参数；
[0012]S3：将训练数据输入给注意力泊松自编码器网络，根据最小化损失函数训练第一个监督泊松自编码器，获得第一个监督泊松自编码器的权重和偏置参数和隐藏层的输出将h1作为第二个监督泊松自编码器的输入层的输入，根据最小化损失函数训练第二个监督泊松自编码器，获得对应的权重和偏置参数，以此层层递进，使用h
k
‑1，根据训练第k个监督泊松自编码器SPAE
k
获得参数和h
k
，直到最后一个监督泊松自编码器训练完成；k≤L，其中，L为监督泊松自编码器的数量；
[0013]S4：结束S3的逐层训练后，引入注意力机制衡量各个隐藏层特征对于输出变量y的贡献，赋予不同的权重；在所有的监督泊松自编码器的隐藏层的输出h和输出变量y之间建立泊松网络进行回归，计算根据每个隐藏层的输出预测得到的输出变量，并将其与对应的权重加权求和，根据预测误差对回归网络参数进行调整更新；回归网络训练结束并保存注意力泊松自编码器网络；
[0014]S5：将待预测输入数据输入到保存的注意力泊松自编码器网络，经过注意力泊松自编码器网络的前向传播即可得到计数型质量变量预测值。
[0015]进一步地，所述S3中，监督泊松自编码器中的编码器表示为：
[0016]h＝σ(W
e
·
x+b
e
)
[0017]其中，σ代表sigmoid激活函数，是输入层的输入向量，h是隐藏层的输出向量，W
e
和b
e
分别表示编码器的权重和偏置；
[0018]监督泊松自编码器中的解码器表示为：
[0019][0020][0021]其中，exp代表指数函数，W
r
和b
r
分别表示解码器中重构输入向量的权重和偏置；W
p
和b
p
分别表示泊松网络层的权重和偏差参数，表示重构后的输入向量，分别预测的输出
向量；
[0022]所述损失函数L
rec
表示为：
[0023][0024]其中，λ表示对输入向量的重构误差和输出向量的预测误差的权重的比值；的含义为二范数，
⊙
表示哈达玛积。
[0025]进一步地，所述S3中，第k个监督泊松自编码器的训练过程表示如下：
[0026][0027][0028][0029][0030]其中，k＝1,2,
…
L，和分别是第i个样本在第k个监督泊松自编码器的输入数据和重构的数据，和分别是第k层编码器和解码器的权重矩阵以及偏置项；
[0031]通过如下的子步骤来实现：
[0032]第k个监督泊松自编码器训练的损失函数如下：
[0033][0034]其中，y
i
和分别代表第i个样本对应的计数型质量变量实际观测值和其在第k个监督泊松自编码器的预测值。
[0035]进一步地，所述S5通过如下的子步骤来实现：
[0036](1)将所有的监督泊松自编码器的隐藏层的输出h拼接为维度其中，d
k
是第k个隐藏层的神本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力泊松自编码器网络的计数数据软测量建模方法，其特征在于，该方法包括如下步骤：S1：收集建模用的输入输出训练数据集：其中，x代表输入变量，y代表离散计数数据类型的输出变量，N表示数据样本个数；S2：构建注意力泊松自编码器网络，所述注意力泊松自编码器网络由多个监督泊松自编码器分层堆叠而成，前一个监督泊松自编码器的隐藏层的输出作为下一个监督泊松自编码器的输入层的输入；所述监督泊松自编码器包括一个输入层、一个隐藏层和一个输出层，从隐藏层到输出层包含输入重构网络层和泊松网络层，所述输入重构网络层用于对输入向量进行重构，所述泊松网络层用于对计数型质量数据进行预测；随机初始化注意力泊松自编码器网络的神经网络和泊松网络的参数；S3：将训练数据输入给注意力泊松自编码器网络，根据最小化损失函数训练第一个监督泊松自编码器，获得第一个监督泊松自编码器的权重和偏置参数和隐藏层的输出将h1作为第二个监督泊松自编码器的输入层的输入，根据最小化损失函数训练第二个监督泊松自编码器，获得对应的权重和偏置参数，以此层层递进，使用h
k
‑1，根据训练第k个监督泊松自编码器SPAE
k
获得参数和h
k
，直到最后一个监督泊松自编码器训练完成；k≤L，其中，L为监督泊松自编码器的数量；S4：结束S3的逐层训练后，引入注意力机制衡量各个隐藏层特征对于输出变量y的贡献，赋予不同的权重；在所有的监督泊松自编码器的隐藏层的输出h和输出变量y之间建立泊松网络进行回归，计算根据每个隐藏层的输出预测得到的输出变量，并将其与对应的权重加权求和，根据预测误差对回归网络参数进行调整更新；回归网络训练结束并保存注意力泊松自编码器网络；S5：将待预测输入数据输入到保存的注意力泊松自编码器网络，经过注意力泊松自编码器网络的前向传播即可得到计数型质量变量预测值。2.根据权利要求1所述的基于堆叠泊松自编码器网络的计数数据软测量建模方法，其特征在于，所述S3中，监督泊松自编码器中的编码器表示为：h＝σ(W
e
·
x+b
e
)其中，σ代表sigmoid激活函数，x是输入层的输入向量，h是隐藏层的输出向量，W
e
和b
e
分别表示编码器的权重和偏置；监督泊松自编码器中的解码器表示为：监督泊松自编码器中的解码...

【专利技术属性】
技术研发人员：张新民，刘颖，宋执环，何柏村，
申请(专利权)人：浙江大学，
类型：发明
国别省市：