一种基于频域分解神经网络的图像分类加速方法及设备技术

本发明专利技术公开了一种基于频域分解神经网络的图像分类加速方法及设备。方法包括：将原始图像转化为RGB图像，并缩放为卷积神经网络的输入特征图所能接纳的图像像素大小相同的图像；将图像输入预先训练好的轻量化神经网络模型，进行图像分类识别，得到图像分类识别结果，其中，所述轻量化神经网络模型为通过对神经网络经过频域分解和轻量化得到。该轻量化神经网络模型将空间域的卷积运算转换为频率域的矩阵乘法运算并进行压缩，可以得到与原始神经网络的输出大致相同的输出，而具有更少的参数量和以FLOPs衡量的计算量。本发明专利技术显著地减少计算成本和存储成本，能够有效加速图像分类任务。务。务。

【技术实现步骤摘要】
一种基于频域分解神经网络的图像分类加速方法及设备


[0001]本专利技术涉及图像分类和目标识别，具体涉及一种基于频域分解神经网络的图像分类加速方法及设备。

技术介绍

[0002]图像分类和目标识别等计算机视觉应用程序普遍存在于日常生活之中，而其大量的计算量和资源占用使得推理速度慢、资源开销大，因此需要通过压缩和加速等方法来提升图像分类等应用的性能。神经网络剪枝在过去几年中得到了广泛的研究，大部分的剪枝方法是在空间域进行的。细粒度的剪枝，如非结构化剪枝，通过将权重矩阵中的不重要参数置零，以稀疏化权重矩阵，从而达到减少非零参数的目的。非结构化剪枝的优点是能够大幅度地降低模型的内存占用和参数量，而且还能够利用剪枝后的结果进一步地做权重量化、哈希编码。但是，非结构化剪枝的缺点在于，还需要设计适应特定算法的硬件/函数库，才能获得相应的加速效果。粗粒度的剪枝，如结构化剪枝，能够在已有的硬件和函数库的基础上获得了实际的加速。但与非结构化剪枝相比，在相同的剪枝率下，结构化剪枝的精度损失较大，这使得高剪枝率难以获得良好的效果，且结构化剪枝的可解释性和有效性受到一些学者的质疑。

技术实现思路

[0003]专利技术提出一种新的基于迭代的深度模型频率域压缩和加速方法，旨在提升图像分类和识别等应用的推理速度和降低其资源开销。
[0004]为了达到上述目的，本专利技术采用如下技术方案：
[0005]一种基于频域分解神经网络的图像分类加速方法，包括以下步骤：
[0006]将原始图像转化为具有3个通道的RGB图像，并将RGB图像缩放为卷积神经网络的输入特征图所能接纳的图像像素大小相同的图像；
[0007]将图像输入预先训练好的轻量化神经网络模型，进行图像分类识别，得到图像分类识别结果，其中，所述轻量化神经网络模型为通过对神经网络经过频域分解和轻量化得到。
[0008]根据本专利技术实施方式，所述轻量化神经网络模型通过以下方法得到：
[0009]S1、基于图像数据集对神经网络模型进行预训练，得到完整的神经网络模型；
[0010]S2、使用离散余弦变换对预训练的神经网络模型进行频率域分解，用一系列频率域的权重矩阵W来表示卷积层，并对频率域中的神经网络模型做稀疏化重训练，获得稀疏化后的权重矩阵W；
[0011]S3、对于每个权重矩阵W，选择图像数据集的一个样本子集Ω，并应用基于样本的低秩近似算法，在误差容忍度ε下将矩阵W分解为低秩矩阵U和V；
[0012]S4、对低秩矩阵U和V进行微调后重新组合得到新权重矩阵W'＝UV；
[0013]S5、令W＝W'并重复步骤S3
‑
S4，直到满足迭代停止条件。
[0014]本专利技术还提供一种计算机设备，包括：
[0015]一个或多个处理器；
[0016]存储器；以及
[0017]一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现如上所述的基于频域分解神经网络的图像分类加速方法的步骤。
[0018]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于频域分解神经网络的图像分类加速方法的步骤。
[0019]本专利技术具有以下有益效果：针对现有技术图像分类中空间域剪枝存在的算法复杂、精度损失大、有效性不足的问题，本专利技术提出一种频域剪枝的技术，根据本专利技术的方法，对于一个图像，将其变换到卷积神经网络的输入特征图，对该输入特征图提取频率域的特征；然后用经过频域分解和轻量化得到的轻量化神经网络模型来进行进行图像识别。该轻量化神经网络模型将空间域的卷积运算转换为频率域的矩阵乘法运算，再使用低秩近似和微调技术迭代地稀疏化和分解频率域的矩阵，可以获得更加紧凑的模型表示。压缩后的卷积神经网络输出与原始神经网络的输出大致相同，但是压缩后的神经网络具有更少的参数量和以FLOPs衡量的计算量。本专利技术证明了模型推理可以通过分解后的频率域矩阵乘法来代替，这可以有效且显著地减少计算成本和存储成本。基于多种数据集对各种CNN模型进行了广泛的图像分类和识别等实验，结果表明，在不影响测试精度的情况下，在减少FLOPs和参数数量方面的效果显著。
附图说明
[0020]图1为本专利技术实施例的图像分类加速方法流程图；
[0021]图2为本专利技术实施例的卷积层变换到频率域矩阵的示意图；
[0022]图3为本专利技术实施例的频率域矩阵和空间域矩阵在各个层的秩和非零系数的对比。
具体实施方式
[0023]为了便于本领域技术人员的理解，下面结合实施例与附图对本专利技术作进一步的说明，实施方式提及的内容并非对本专利技术的限定。
[0024]卷积神经网络由于具有强大的表征学习能力，因此在图像分类、目标检测、人脸识别等复杂任务中得到了广泛应用。然而，随着卷积神经网络的性能逐渐提升，其层数也越来越多，模型的参数量越来越大。从计算机系统和硬件的角度出发，卷积神经网络的性能提升是以耗费大量内存和计算资源为代价的，这使得将大型神经网络部署到资源(如计算资源、内存、能耗等)有限的设备中十分困难。目前，在众多场景下，神经网络的计算都是在一个算力较高的GPU服务器上执行。但是，大多数应用程序(如人脸识别等)的客户端都部署在计算资源有限的移动设备，由客户端采集到的数据需要通过网络发送到服务器，再将服务器运行得到的结果返回给客户端。因此，为了将神经网络部署到移动设备，需要一种模型压缩和加速技术，通过减小卷积神经网络的规模，降低图像分类过程中的资源占用，如降低FLOPs、减少运行内存和磁盘占用，从而加快图像分类和目标识别等任务的处理。
[0025]卷积神经网络的输入是一幅图像，该图像通常是由红绿蓝(RGB)叠加而成，成为图像的3个通道，一张图像的在计算机中的存储也是通过这3个矩阵来完成的。一张图像通常由64
×
64个像素大小的图片或256
×
256个像素大小的图片，这通常是作为卷积神经网络的输入数据。这些输入数据在卷积神经网络领域中被称为输入特征图(input feature maps)，表示一个在空间上具有长
×
宽并且在图像通道上具有一定的深度的图像，这样的图像会被输入到卷积层中，并输出一个输出特征图(output feature maps)。
[0026]图像的处理是被卷积核施加到每一个图像块上，根据卷积核的kernel大小、通道数、padding和stride，进行移动卷积核，对每一个图像块施加影响后成为输出特征图的一部分。输出特征图经过一定比例的放缩和池化，得到一个卷积层的输出矩阵。但是，这样的方法通常需要消耗很大的计算量。
[0027]计算机视觉领域的一些研究表明，人类视觉系统对自然图像中不同频率分量具有不同的敏感度，对于低频分量的敏感度要高于对高频分量的敏感度。图像的频率域变换结合编码和量化等技术，可以被运用到JPEG压缩、视频压缩等场景本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于频域分解神经网络的图像分类加速方法，其特征在于，包括以下步骤：将原始图像转化为具有3个通道的RGB图像，并将RGB图像缩放为卷积神经网络的输入特征图所能接纳的图像像素大小相同的图像；将图像输入预先训练好的轻量化神经网络模型，进行图像分类识别，得到图像分类识别结果，其中，所述轻量化神经网络模型为通过对神经网络经过频域分解和轻量化得到。2.根据权利要求1所述的基于频域分解神经网络的图像分类加速方法，其特征在于，所述轻量化神经网络模型通过以下方法得到：S1、基于图像数据集对神经网络模型进行预训练，得到完整的神经网络模型；S2、使用离散余弦变换对预训练的神经网络模型进行频率域分解，用一系列频率域的权重矩阵W来表示卷积层，并对频率域中的神经网络模型做稀疏化重训练，获得稀疏化后的权重矩阵W；S3、对于每个权重矩阵W，选择图像数据集的一个样本子集Ω，并应用基于样本的低秩近似算法，在误差容忍度ε下将矩阵W分解为低秩矩阵U和V；S4、对低秩矩阵U和V进行微调后重新组合得到新权重矩阵W
′
＝UV；S5、令W＝W
′
并重复步骤S3
‑
S4，直到满足迭代停止条件。3.根据权利要求2所述的基于频域分解神经网络的图像分类加速方法，其特征在于，所述步骤S1中，使用学习率衰减和随机梯度下降优化方法对神经网络模型进行预训练。4.根据权利要求2所述的基于频域分解神经网络的图像分类加速方法，其特征在于，所述步骤S2包中，使用离散余弦变换对预训练的神经网络模型进行频率域分解，用一系列频率域的权重矩阵来表示卷积层包括：一个卷积层包括c
out
个卷积核，每个卷积核都有大小为d
×
d的c
in
个卷积核，将卷积层表示为4D张量输入为三维张量其中h
in
×
w
in
是输入特征图的尺寸，将卷积层的输出表示为其中h
out
×
w
out
是输出特征图的维度，卷积运算在空间域中表示为其中mat(
·
)是张量的矩阵形式；W，I和O分别是和相应的频率域表示，对于卷积层，应用DCT将每个d
×
d大小的卷积核展平为一个向量，并将该层中的所有向量分组以形成频率权重矩阵同样将DCT应用于输入张量以生成其频率域表示同样将DCT应用于输入张量以生成其频率域表示经过DCT变换后为其中D是一个正交矩阵，经过DCT变换后为5.根据权利要求4所述的基于频域分解神经网络的图像分类加速方法，其特征在于，所述步骤S2中，对频率域中的神经网络模型做稀疏化重训练包括：在正...

【专利技术属性】
技术研发人员：孙林檀，张虎，李文中，曾曜，王凌，樊光明，李志民，杨睿，张烁，
申请(专利权)人：南京大学国网江苏省电力有限公司信息通信分公司国网电力科学研究院有限公司，
类型：发明
国别省市：