一种基于塔克分解与主成分分析的卷积神经网络压缩方法技术

一种基于塔克分解与主成分分析法结合的卷积神经网络压缩方法，在选择秩时，不仅利用当前层的权重张量，还使用了相邻两层的权重张量，各层之间的压缩不再是完全独立的。相邻层之间的信息使秩的选择更加合理，从而保证压缩的有效性。之后，为了解决基于塔克分解的压缩方法使网络深度增加的问题，将塔克分解与主成分分析法相结合对每个卷积层的权重张量进行压缩，从而保持原有的网络深度，避免了网络层数大量增加带来的梯度消失等问题。本发明专利技术将相邻层间的信息纳入考虑，在不增加网络深度的前提下，实现了网络的压缩，且压缩后的网络仍能保持较好的效果。

A Compression Method of Convolutional Neural Network Based on Tucker Decomposition and Principal Component Analysis

【技术实现步骤摘要】
一种基于塔克分解与主成分分析的卷积神经网络压缩方法
本专利技术涉及神经网络与机器学习领域，特别涉及一种基于塔克分解与主成分分析的卷积神经网络压缩方法。
技术介绍
近些年来人工神经网络在众多领域得到了广泛的运用。在民用应用领域的应用，如人脸识别、语音识别、图像识别与理解、目标跟踪、实时语言翻译、市场分析、决策优化、物资调运等等；在军用应用领域的应用，如雷达、声纳的多目标识别与跟踪，战场管理和决策支持系统，军用机器人控制各种情况、信息的快速录取、分类与查询等。人工神经网络的核心技术是深度非线性模型的学习，即深度神经网络的学习。其中卷积神经网络已经在人脸识别、图像分类、目标检测、目标跟踪等众多计算机视觉应用得到了广泛的应用，如Vggnet(K.SimonyanandA.Zisserman.Verydeepconvolutionalnetworksforlarge-scaleimagerecognition.InternationalConferenceonLearningRepresentations(ICLR),2015.1,6,8)和Alexnet(A.Krizhevsky,I.Sutskever,andG.E.Hinton.ImageNetclassificationwithdeepconvolutionalneuralnetworks.InAdvancesinNeuralInformationProcessingSystems(NIPS),pages1097–1105,2012.1,6)在图像分类数据集ImageNet(J.Deng,A.Berg,S.Satheesh,H.Su,A.Khosla,andL.Fei-Fei.(2012).ILSVRC-2012.[Online].Available:http://www.imagenet.org/challenges/LSVRC)上取得了显著效果。目前，使用卷积神经网络在移动平台完成计算机视觉任务的需求越来越高，比如智能手机中的面部解锁，刷脸支付等。然而，移动平台无论是存储空间还是计算资源较为有限。事实上，对于很多任务来说，复杂的深度网络能够实现较好的效果，但是同时对存储空间和计算资源的要求也更高。这一点限制了这些复杂网络在一些移动平台等计算资源及存储空间有限的平台上的应用。因此，很多研究人员开始探索神经网络的压缩方法。神经网络中的参数是冗余的，故可以在不显著影响模型效果的前提下，将这些冗余部分去除，来压缩网络，减少运行计算量。由于卷积神经网络中各层的权重和特征图都以张量的形式传播，可以通过张量分解来去除权重中的冗余部分，从而达到压缩网络的目的。针对基于张量分解的神经网络压缩问题，目前已出现了一些有效的算法，其中塔克分解是一种张量分解方法，基于塔克分解的卷积神经网络压缩方法(KimYD,ParkE,YooS,etal.CompressionofDeepConvolutionalNeuralNetworksforFastandLowPowerMobileApplications[J].ComputerScience,2015.)，通过将每个层的权重张量分解成一个核张量和若干个新的矩阵，使原来的层转换成若干个子层来减少权重参数的数量。但是该方法存在两个主要问题：一是压缩后的网络较原来的网络深度增加了近3倍，而深度的增加可能导致梯度消失，过拟合等问题，尤其是深度本来就很大的网络；二是每个层的压缩包括张量分解所用的秩的选择都是相互独立的，相邻层以及网络的整体信息都未纳入考虑。人脸识别和目标检测等任务在移动端等实际使用中，需要卷积神经网络压缩方法实现更高的压缩率以及更低的精度损失。
技术实现思路
本专利技术的目的在于提供一种基于塔克分解与主成分分析的卷积神经网络压缩方法。为实现上述目的，本专利技术采用如下的技术方案：一种基于塔克分解与主成分分析的卷积神经网络压缩方法，包括以下步骤：步骤1：获取人脸识别、目标检测或图像分类目标任务中使用的卷积神经网络模型，提取其中每一层的权重张量；步骤2：利用变分贝叶斯矩阵分解，对每一个卷积层的权重张量进行联合秩选择，得到联合秩R3和R4；步骤3：用所述的联合秩R3和R4，对卷积层权重张量进行塔克分解得到核张量C、矩阵U(3)与矩阵U(4)，对矩阵U(3)与矩阵U(4)进行降维处理，然后将降维后的矩阵与塔克核张量C相乘，从而得到降维后的权重张量，实现卷积层的压缩；步骤4：利用训练数据，对压缩后的神经网络进行训练，得到训练完成的压缩网络，应用到目标任务中，实现人脸识别、目标检测或图像分类。本专利技术进一步的改进在于，步骤2中，设卷积层的输入是大小为H×W×S的张量X，输出是大小为H′×W′×T的张量Y，卷积方程如下：其中，hm＝(h′-1)Δ+m-Pwn＝(w′-1)Δ+j-P其中,K是大小为Di×Di×Si×Ti的权重张量，Δ是卷积步长，P是填充的大小，S是输入的通道数目，T是输出的通道数目，i表示第i个卷积层，D是卷积核尺寸。本专利技术进一步的改进在于，步骤2中，联合秩R3和R4通过以下过程得到：步骤2.1：将第i层的权重张量Ki改变形状和大小，得到大小为Si×(Di×Di×Ti)的矩阵Kia和大小为Ti×(Di×Di×Si)的矩阵Kib；步骤2.2：将矩阵Kia、Kib分别与矩阵Ki-1b，Ki-1a沿最后一维连接，得到大小为Si×(Di×Di×Ti+Di-1×Di-1×Si-1)的Ki-1A和大小为Ti×(Di×Di×Si+Di+1×Di+1×Ti+1)的矩阵Ki-1B；由于每一层的输出为下一层的输入，第i层权重张量的第三维大小和第i-1层权重张量的第四维大小相等，完成该连接操作；步骤2.3：使用变分贝叶斯矩阵分解，分别根据矩阵Ki-1A和Ki-1B决定权重张量的Ki第3维和第4维的秩R3和R4。本专利技术进一步的改进在于，步骤3中，采用主成分分析法，对矩阵U(3)与矩阵U(4)进行降维处理。本专利技术进一步的改进在于，步骤3中，对于一个四维的张量Km,n,s,t来说，秩为(R1,R2,R3,R4)的塔克分解公式为：其中，C′是大小为R1×R2×R3×R4的核张量，U(1)，U(2)，U(3)和U(4)分别为大小为D×R1,D×R2,S×R3和T×R4的矩阵因子；由于卷积核的尺寸为3或5，所以无需对张量的第一维和第二维进行分解，只进行如下的塔克-2分解：其中，C′是大小为D×D×R3×R4的核张量，U(3)和U(4)分别为大小为S×R3和T×R4的矩阵因子，R3和R4为步骤2中联合选择的秩。本专利技术进一步的改进在于，步骤三中，降维后的权重张量具体通过以下过程得到：步骤3.1：使用主成分分析法分别对U(3)和U(4)的第一维进行降维，使U(3)和U(4)的大小分别从S×R3和T×R4降为R3×R3和R4×R4；步骤3.2：利用降维得到的U′(3)和U′(4)和核张量根据下式得到压缩的权重张量K′m,n,s,t：与现有技术相比，本专利技术具有的有益效果：(1)本专利技术对目前较常用的几个网络进行了压缩，压缩后的网络参数大大减少，为硬件条件有限的平台使用深度卷积神经网络提供了解决方案。(2)针对原有方法中各个卷积层没有利用相邻层信息，压缩完全独立的缺点，提出本文档来自技高网...

【技术保护点】
1.一种基于塔克分解与主成分分析的卷积神经网络压缩方法，其特征在于，包括以下步骤：步骤1：获取人脸识别、目标检测或图像分类目标任务中使用的卷积神经网络模型，提取其中每一层的权重张量；步骤2：利用变分贝叶斯矩阵分解，对每一个卷积层的权重张量进行联合秩选择，得到联合秩R3和R4；步骤3：用所述的联合秩R3和R4，对卷积层权重张量进行塔克分解得到核张量C、矩阵U

【技术特征摘要】
1.一种基于塔克分解与主成分分析的卷积神经网络压缩方法，其特征在于，包括以下步骤：步骤1：获取人脸识别、目标检测或图像分类目标任务中使用的卷积神经网络模型，提取其中每一层的权重张量；步骤2：利用变分贝叶斯矩阵分解，对每一个卷积层的权重张量进行联合秩选择，得到联合秩R3和R4；步骤3：用所述的联合秩R3和R4，对卷积层权重张量进行塔克分解得到核张量C、矩阵U(3)与矩阵U(4)，对矩阵U(3)与矩阵U(4)进行降维处理，然后将降维后的矩阵与塔克核张量C相乘，从而得到降维后的权重张量，实现卷积层的压缩；步骤4：利用训练数据，对压缩后的神经网络进行训练，得到训练完成的压缩网络，应用到目标任务中，实现人脸识别、目标检测或图像分类。2.根据权利要求1所述的一种基于塔克分解与主成分分析的卷积神经网络压缩方法，其特征在于，步骤2中，设卷积层的输入是大小为H×W×S的张量X，输出是大小为H′×W′×T的张量Y，卷积方程如下：其中，hm＝(h′-1)Δ+m-Pwn＝(w′-1)Δ+j-P其中，K是大小为Di×Di×Si×Ti的权重张量，Δ是卷积步长，P是填充的大小，S是输入的通道数目，T是输出的通道数目，i表示第i个卷积层，D是卷积核尺寸。3.根据权利要求2所述的一种基于塔克分解与主成分分析的卷积神经网络压缩方法，其特征在于，步骤2中，联合秩R3和R4通过以下过程得到：步骤2.1：将第i层的权重张量Ki改变形状和大小，得到大小为Si×(Di×Di×Ti)的矩阵Kia和大小为Ti×(Di×Di×Si)的矩阵Kib；步骤2.2：将矩阵Kia、Kib分别与矩阵Ki-1b，Ki-1a沿最后一维连接，得到大小为Si×(Di×Di×Ti+Di-1×Di-...

【专利技术属性】
技术研发人员：刘静，张煜东，吕鑫，苏立玉，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61