深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术提供了一种深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质，其中方法包括：获取深度非线性主成分分析网络；利用主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差；从主成分分析网络的最后一层开始逐层进行反向回传，计算整个网络的重构误差之和对于各层权重的梯度；根据整个网络的重构误差之和对于各层权重的梯度，计算出深度非线性主成分分析网络的权重矩阵；根据权重矩阵对主成分分析网路进行参数更新，并返回利用主成分分析网络对输入数据进行前向传播的过程，直至整个神经网络的重构误差之和下降到收敛为止。本发明专利技术可以对复杂的数据提取高度有效的特征。

【技术实现步骤摘要】
深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质
本专利技术属于数据处理
，尤其涉及一种深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质。
技术介绍
在高维数据爆炸式增长的今天，无论是在图像、视频、多媒体处理或是在网络数据相关性分析、搜索、生物医学图像和生物信息领域中，数据的维数都达到了上千甚至上亿的级别，样本数量也达到了相同的数量级。在数据高维数、大规模的背景下，特征提取和降维就显得尤为重要。主成分分析(PrincipleComponentAnalysis，PCA)是迄今为止应用最广泛的降维工具，也是最重要的机器学习算法之一，它通过一组正交变换将原本存在相关性的变量，去相关转化为一组线性不相关的变量，即主成分，PCA算法得到的低阶主成分中包含了数据中大部分的信息和最重要的特征，通过保留低阶主成分，PCA算法在特征提取、特征压缩方面拥有极其优良的特性，使得它在各领域得到了广泛的应用。传统的主成分分析算法通过对输入变量X的协方差矩阵进行特征值分解来求取主成分所在的方向，这需要一次性获取输入数据中的所有样本，但是在大规模数据集的应用中，每次通常只能获取输入变量X的部分观测值，因此自适应求取算法计算主成分就显得尤为重要。最早出现的自适应主成分提取算法是Oja提出的单一神经元Hebb学习主成分分析器，该算法只能用于线性地提取第一主成分，它为基于神经网络的主成分分析算法奠定了基础。随后出现了大量的关于神经网络自适应地线性地提取多个主成分的算法，其中比较具有代表性的是Oja和Karhunen等人提出的对称子空间学习规则，该算法对单一神经元分析器拓展到单层神经网络，采用梯度下降法达到了求解m个主成分地目标，但是该算法求取的m个主成分不能严格收敛到实际的主成分方向；之后Sanger等人提出了广义Hebb算法，该算法将对称子空间的离散学习规则进行改进，只保留矩阵y(k)yT(k)的下三角部分，从而使得m个主成分可以收敛到实际主成分方向、并按方差从大到小的顺序排列；为了提高收敛速度，Oja等人提出了随机梯度上升算法；为了使模型可以生长和收缩，Kung等人提出了基于反Hebb学习的自适应主成分提取算法，该算法增加了神经元之间的侧向连接。但是这些基于单层线性神经网络的自适应主成分分析算法，只能进行简单的线性映射，而且只对呈高斯分布这类简单分布的数据有较好的效果，这使得主成分分析在实际应用中受到了极大的局限。为了解决线性映射的局限，非线性PCA和鲁棒PCA算法应运而生。其中比较典型的是Karhunen等人提出的两种非线性主成分分析算法，第一种采用单层非线性的神经网络模型，在每个神经元之后加入了一个非线性变换，通过最小化输入变量和经过非线性变化之后的估计值之间的重构误差，求取各神经元的权重向量；第二种算法在保证权重向量相互正交的前提下、最大化关于方差的非线性函数f(var(Wx))，采用梯度下降法求取神经元的权重W。实验证明，Karhunen等人提出的两类非线性主成分分析算法在信号分离任务中，对高斯白噪声、高斯有色噪声均鲁棒，而线性PCA对于这类噪声却束手无策。这证明了向线性PCA引入高阶统计量的优势。然而，基于单层的非线性神经网络提取特征的能力是十分有限的，从主成分分析算法的角度看，以单层神经网络模型为基础的自适应PCA算法只能进行一次线性变换和一次简单非线性变换，它只能用于描述带有噪音的简单高斯分布，但是在计算机视觉领域的诸多任务中，图像、视频的大规模数据的分布是十分复杂的，需要引入表达能力更强的高阶统计量；从神经网络模型的角度看，神经网络强大的特征提取能力很大程度上得益于其深度，深度神经网络强大的描述能力，使得它可以对复杂的数据仍可以提取高度有效的特征，而单层的非线性神经网络无法对复杂的数据提取高度有效的特征。
技术实现思路
有鉴于此，本专利技术提供了一种深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质，以解决上述现有的非线性主成分分析算法无法对复杂的数据提取高度有效的特征的问题。本专利技术的第一方面提供了一种深度非线性主成分分析网络的训练方法，包括：获取深度非线性主成分分析网络；利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差；从所述深度非线性主成分分析网络的最后一层开始逐层进行反向回传，计算整个神经网络的重构误差之和对于各层权重的梯度；根据所述整个神经网络的重构误差之和对于各层权重的梯度，计算出所述深度非线性主成分分析网络的权重矩阵；根据所述权重矩阵对所述深度非线性主成分分析网路进行参数更新，并返回所述利用所述深度非线性主成分分析网络对输入数据进行前向传播的过程，直至所述整个神经网络的重构误差之和下降到收敛为止。本专利技术的第二方面提供了一种深度非线性主成分分析网络的训练装置，包括：基础网络获取单元，用于获取深度非线性主成分分析网络；重构误差计算单元，用于利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差；梯度计算单元，用于从所述深度非线性主成分分析网络的最后一层开始逐层进行反向回传，计算整个神经网络的重构误差之和对于各层权重的梯度；权重矩阵计算单元，用于根据所述整个神经网络的重构误差之和对于各层权重的梯度，计算出所述深度非线性主成分分析网络的权重矩阵；参数调整单元，用于根据所述权重矩阵对所述深度非线性主成分分析网路进行参数更新，并返回所述利用所述深度非线性主成分分析网络对输入数据进行前向传播的过程，直至所述整个神经网络的重构误差之和下降到收敛为止。本专利技术的第三方面提供了一种深度非线性主成分分析网络的训练装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上述第一方面所述方法的步骤。本专利技术的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述第一方面所述方法的步骤。本专利技术的有益效果是：本专利技术由于通过获取深度非线性主成分分析网络；利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差；从所述深度非线性主成分分析网络的最后一层开始逐层进行反向回传，计算整个神经网络的重构误差之和对于各层权重的梯度；根据所述整个神经网络的重构误差之和对于各层权重的梯度，计算出所述深度非线性主成分分析网络的权重矩阵；根据所述权重矩阵对所述深度非线性主成分分析网路进行参数更新，并返回所述利用所述深度非线性主成分分析网络对输入数据进行前向传播的过程，直至所述整个神经网络的重构误差之和下降到收敛为止，从而将自适应的主成分分析算法拓展到深度神经网络的计算模型上，将多层的高阶统计引入主成分分析算法，使得主成分分析算法对于图像、视频等具有复杂分布的数据有更强的特征提取能力，可以对复杂的数据提取高度有效的特征。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不本文档来自技高网...

【技术保护点】
一种深度非线性主成分分析网络的训练方法，其特征在于，包括：获取深度非线性主成分分析网络；利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差；从所述深度非线性主成分分析网络的最后一层开始逐层进行反向回传，计算整个神经网络的重构误差之和对于各层权重的梯度；根据所述整个神经网络的重构误差之和对于各层权重的梯度，计算出所述深度非线性主成分分析网络的权重矩阵；根据所述权重矩阵对所述深度非线性主成分分析网路进行参数更新，并返回所述利用所述深度非线性主成分分析网络对输入数据进行前向传播的过程，直至所述整个神经网络的重构误差之和下降到收敛为止。

【技术特征摘要】
1.一种深度非线性主成分分析网络的训练方法，其特征在于，包括：获取深度非线性主成分分析网络；利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差；从所述深度非线性主成分分析网络的最后一层开始逐层进行反向回传，计算整个神经网络的重构误差之和对于各层权重的梯度；根据所述整个神经网络的重构误差之和对于各层权重的梯度，计算出所述深度非线性主成分分析网络的权重矩阵；根据所述权重矩阵对所述深度非线性主成分分析网路进行参数更新，并返回所述利用所述深度非线性主成分分析网络对输入数据进行前向传播的过程，直至所述整个神经网络的重构误差之和下降到收敛为止。2.如权利要求1所述的深度非线性主成分分析网络的训练方法，其特征在于，所述利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差包括：令在利用所述深度非线性主成分分析网络对所述输入数据进行前向传播的过程中，所述输入数据所对应的第i层的输入值为xi，经该层编码后的激活值xi+1＝f(Wixi)，那么第i层的输入值与其估计值之间的重构误差表示为：其中，xi表示所述输入数据经前向传播后在所述深度非线性主成分分析网络中第i层的输入值，Wi表示所述深度非线性主成分分析网络中第i层的权重，f(Wixi)表示所述深度非线性主成分分析网络中第i层的激励函数，L(Wi)表示第i层的输入值与其估计值之间的重构误差，i为正整数。3.如权利要求2所述的深度非线性主成分分析网络的训练方法，其特征在于，所述从所述深度非线性主成分分析网络的最后一层开始逐层进行反向回传，计算整个神经网络的重构误差之和对于各层权重的梯度包括：根据各层的输入值与其估计值之间的重构误差按照公式一计算得到整个神经网络的重构误差之和，公式一为:其中，L(W1,W2,......,WK)表示整个神经网络的重构误差之和，简记为目标函数L；k表示深度非线性主成分分析网络的层数，取正整数；根据公式二计算目标函数对于所述深度非线性主成分分析网络最后一层的激活值的梯度，公式二为：根据所述目标函数对最后一层的激活值的梯度和公式三计算目标函数对于所述深度非线性主成分分析网络第1～(k-1)层的激活值的梯度，公式三为：根据所述目标函数对于所述深度非线性主成分分析网络第1～k层的激活值的梯度和公式四计算出所述目标函数对于第i层的权重值Wi的梯度，公式四为：4.如权利要求3所述的深度非线性主成分分析网络的训练方法，其特征在于，所述根据所述整个神经网络的重构误差之和对于各层权重的梯度，计算出所述深度非线性主...

【专利技术属性】
技术研发人员：乔宇，王亚立，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东,44