变换谱关联的神经网络及实现装置制造方法及图纸

本发明专利技术揭示了一种变换谱关联的神经网络及其实现装置，所述神经网络前向、后向传播过程相当于完成了相邻层间的正交变换。所述神经网络的训练过程为通过前向传播的样本的变换谱和后向传播的目标矩阵的变换谱互相关联来更新中间层节点的存储值。通过关联训练实现样本的分类识别和关联记忆。所述变换谱关联神经网络改进了传统卷积型神经网络的随机梯度下降(SGD)算法，使训练时间缩短，并具备良好的可累加学习以及关联记忆能力。

【技术实现步骤摘要】
变换谱关联的神经网络及实现装置
本专利技术属于人工智能，神经网络，模式识别

技术介绍
近年来，人工智能技术获得了长足发展，广泛应用于图像分类识别，语音识别和自动翻译，自动驾驶等领域。目前这一领域的主流技术卷积神经网络(CNN)获得了广泛应用，卷积神经网络通过后向传播(Backpropagation)梯度下降(SGD)来一步步优化网络参数以达到任务要求。但随着CNN技术的广泛应用，该技术的一些缺点也日益显现，主要突出的是增加深度带来的训练周期过长，过度拟合(overfit)，梯度消失等问题。CNN型神经网络的训练方法带来的功能上的专一性使其相当于专家系统，不可通用。这些缺陷限制了人工智能的发展。本专利技术揭示了一种基于一系列变换为基础的神经网络架构，通过变换谱的关联来学习更新网络神经元节点存储参数，在降低学习训练时间的同时，避免过度拟合，具备良好的通用性。
技术实现思路
一种变换谱关联的神经网络(TSANN)，所述TSANN具备输入层、输出层和多个中间层，中间层神经元节点存储值，层间节点之间设置互联权重；所述TSANN完成前向传播和后向传播计算；所述TSANN网络层间节点互联的权重设置，实现了前向传播时前一层网络节点的前向传播输入乘以节点存储值作为该中间层的前向传播输出，该输出经正交变换后作为后一层网络节点的前向传播输入；后向传播时，后一层网络节点的后向传播输入乘以该层节点的存储值作为该层的后向传播输出，该输出经所述正交变换的逆变换后作为前一层网络节点的后向传播输入。所述TSANN神经网络的训练过程为，中间层网络节点存储值由训练样本在该中间层的前向传播输入和目标矩阵在该层的后向传播输入互相关联更新。本专利技术所述的变换谱关联方法具体为，中间层节点的训练样本的前向传播输入与目标矩阵的后向传播输入归一化后相加再计算模，再经过归一化、乘以因子处理后与原中间层节点存储值累加。所述TSANN网络的分类过程为输入待识别样本，经前向传播计算得到的输出与目标矩阵比较。本专利技术揭示了TSANN网络进行多个样本集累加学习训练及联合识别方法。本专利技术揭示了所述TSANN前向传播一种类型的信号，后向传播另一种类型信号，通过关联并存储两种信号在中间层的前向传播输入和后向传播输入，实现关联记忆。本专利技术的TSANN网络采用的正交变换包括：分数阶傅里叶变换、小波变换、正交余弦变换、拉普拉斯变换。本专利技术揭示了实现TSANN的装置。本专利技术进一步揭示了GPU级联实现TSANN的装置。本专利技术揭示的所述TSANN网络采用变换谱关联的训练方法，避免了CNN类型神经网络以梯度下降为基础的训练方法周期过长和过度拟合等问题。同时所述TSANN网络具备良好的可加性学习和关联记忆能力，这些优点使TSANN网络具备更好的通用性。附图说明图1TSANN神经网络架构图图2分数阶傅里叶变换的TSANN实现数字、字母分类及联合识别示意图图3TSANN网络训练识别流程图图4信号关联记忆实现示意图图5实现TSANN的装置图图6GPU级联实现TSANN的装置图具体实施方式本专利技术揭示的变换谱关联神经网络(TransformSpectrumAssociatedNeuralNetwork，以下简称TSANN)结构如附图1所示。该神经网络有P0到P4n若干个网络层，P0为输入层，P4n为输出层，其他各层为中间层(隐含层)。每一层有NxM个神经元节点，每一层的节点数可以根据需要设置，本实施例为简化表述统一设置为NxN个节点，神经元节点存储参数值，所述的TSANN的第k层节点的存储值构成一个矩阵Pk，矩阵的i行j列元素(Pk)ij表示第k层的i行j列位置的神经元节点的存储值。矩阵Pk的值通过训练更新。如附图1所示，P0层第i行j列的节点与P1层的第m行n列的节点间的互联权重为两层间的神经元节点权重设置构成了一个正交变换运算，即后一层的神经元的前向传播输入值由前一层神经元的输出值经过离散2维正交变换得来，后一层神经元的输入是前一层神经元输出的正交变换谱。本实施例以离散二维α阶分数傅里叶变换(Decrete2-dimensionα-orderfractionalFourierTransform，D2FαT)为例。所述TSANN的前向传播运算方式为如附图1所示的从左向右运算，P0为前向输入，前向传播计算输出为P4n，PKL表示前向传播时k层节点的前向传播(左侧)输入矩阵，P4n-1L表示第4n-1层前向传播输入矩阵。前向传播时前一层网络节点的前向传播输入乘以节点存储值作为该中间层的输出，该输出经正交变换后作为后一层网络节点的前向传播输入，前向传播计算过程为：P1L＝D2Fα1T(P0)Pk+1L＝D2FαkT(PKL.■PK)P4nL＝D2Fα4nT(P4n-1L■P4n-1)P4n＝P4nL■(P4nL)*运算符号说明：运算符■的含义为：矩阵A■B的元素(A■B)ij为矩阵A、B的对应元素Aij与Bij相乘。*为取复共轭，A*为矩阵A各元素取复共轭α1表示P0与P1间的分数傅立叶变换的阶数，α4n表示P4n-1到P4n间的变换阶数如附图1所示，与前向传播对应的，所述TSANN存在后向传播运算，后向传播以目标矩阵P4n为输入，从右向左计算，后一层网络节点的后向传播输入乘以该层节点的存储值作为输出，该输出经所述正交变换的逆变换后作为前一层网络节点的后向传播输入。相应的PKR表示后向传播时k层节点的后向传播(右侧)输入矩阵，Pk-1R表示第k-1层的后向传播输入矩阵。后向传播计算过程为：P4n-1R＝D2F-α4nT(P4n)Pk-1R＝D2F-αkT(PKR.■PK)D2F-αT与D2FαT互为逆变换所述TSANN网络的训练过程为，网络的中间层节点存储值Pk由输入训练样本的前向传播在该层的输入PKL和目标矩阵的后向传播在该层的输入PKR关联更新，即通过变换谱关联改变矩阵Pk的存储值。卷积型神经网络(CNN)的层间互联权重通过梯度下降算法训练改变，而所述的TSANN网络的层间互联权重不随训练而改变，层间互联权重由层间传播选择的正交变换决定。所以相邻层间的传播计算相当于一系列滤波变换过程。本专利技术实施例以分数阶傅里叶变换(或通用傅里叶变换)为例。在实施所述TSANN网络时，网络的设计需要根据识别任务要求、网络复杂度和计算力可获得性做出权衡选择，层数的设计如选择傅里叶变换则需要考虑到分数傅里叶变换本身具备周期性和可累加性(Fα+4l＝Fα，lcZ)，每层间选择一定的变换阶数，网络传播过程会遍历0-4阶傅里叶变换的多个阶段的变换谱，增加网络中间层层数使在0到4阶之间的傅里叶变换层次增加，这样会得到输入信号的更完整变换信息而使识别变得更加精细。网络节点的增加和中间层数的加深，会使识别更加精确和精细，也会使网络的存储容量增大，这虽然有助于完成复杂和多任务的识本文档来自技高网...

【技术保护点】
1.一种变换谱关联的神经网络(TSANN)，所述TSANN具备输入层、输出层和多个中间层，中间层神经元节点存储值，层间节点之间设置互联权重；所述TSANN完成前向传播和后向传播计算；所述TSANN网络层间节点互联的权重设置，实现了前向传播时前一层网络节点的前向传播输入乘以节点存储值作为该中间层的前向传播输出，该输出经正交变换后作为后一层网络节点的前向传播输入；后向传播时，后一层网络节点的后向传播输入乘以该层节点的存储值作为该层的后向传播输出，该输出经所述正交变换的逆变换后作为前一层网络节点的后向传播输入。/n

【技术特征摘要】
1.一种变换谱关联的神经网络(TSANN)，所述TSANN具备输入层、输出层和多个中间层，中间层神经元节点存储值，层间节点之间设置互联权重；所述TSANN完成前向传播和后向传播计算；所述TSANN网络层间节点互联的权重设置，实现了前向传播时前一层网络节点的前向传播输入乘以节点存储值作为该中间层的前向传播输出，该输出经正交变换后作为后一层网络节点的前向传播输入；后向传播时，后一层网络节点的后向传播输入乘以该层节点的存储值作为该层的后向传播输出，该输出经所述正交变换的逆变换后作为前一层网络节点的后向传播输入。


2.如权利要求1所述，所述TSANN神经网络的训练过程为，中间层网络节点存储值由训练样本在该中间层的前向传播输入和目标矩阵在该层的后向传播输入互相关联更新。


3.如权利要求1、2所述，所述的中间层网络节点存储值关联更新方法为，中间层节点的训练样本的前向传播输入与目标矩阵的后向传播输入归一化后相加再计算模，再经过归一化、乘以因子处理后与原中间层节点存储值累加。


4.如权利要求1、2、3所述，所述的中间层网络节点存储值关联更新方法，进一步进行池化(Pooling)处理。


5.如权利要求1所述T...

【专利技术属性】
技术研发人员：董立民，
申请(专利权)人：董立民，
类型：发明
国别省市：广东;44