一种基于编码超表面频率响应快速预测的模型压缩方法技术

本发明专利技术公开了一种基于编码超表面频率响应快速预测的模型压缩方法，涉及编码超表面设计领域，包括如下步骤：步骤一、通过CST

【技术实现步骤摘要】
一种基于编码超表面频率响应快速预测的模型压缩方法


[0001]本专利技术涉及编码超表面设计领域，具体是一种基于编码超表面频率响应快速预测的模型压缩方法。

技术介绍

[0002]传统电磁超表面的单元结构仍然采用连续的(均匀或非均匀)等效媒质参数描述，因此从电路角度来看，这类超表面与模拟电路类似，可被看作“模拟超表面”。为了实现“数字版”的超表面，有团队提出了一种新型的基于数字表征的编码超表面，即通过数字编码序列来调控电磁波，这种以二值数字逻辑为基础的“数字超表面”极大地简化了超表面的设计流程，提高了调控电磁波的灵活度，扩大了调控范围。近几年，涵盖传统启发式算法和神经网络算法的智能算法在超材料设计中所占的比重逐步上升，基于智能算法设计超材料能够打破传统设计方法在不同基材体系、不同频段以及不同性能指标下设计的局限性，展现出快速设计和架构创新的独特优势。随着深度神经网络性能的提升，网络模型参数量和计算量也日益增长，AlexNet、VGGNet、GoogleNet、ResNet等经典神经网络模型深度不断增加，逐渐超过100层。
[0003]深编码超表面频率响应快速预测可用神经网络实现。但是神经网络的部署对计算量和存储资源提出了很高要求，使其难以应用到资源受限的移动和可穿戴设备上，应用受到了很大限制。同时，神经网络中存在很多冗余参数。
[0004]因此，神经网络进行模型压缩是非常必要的，模型压缩主要有以下五种方法：紧凑结构设计、量化、低秩分解、知识蒸馏、剪枝。紧凑结构设计的应用场景大多是对新的任务的网络设计中，对于已经固定结构的网络应用受限；在对复杂任务的网络进行量化时通常会导致精度下降严重。低秩分解的方法主要采用矩阵分解的方式，但是存在分解后不收敛的问题，且分解的时间成本比较高，加之近些年的模型中采用大量的1
×
1卷积，矩阵分解的适用范围进一步减小。知识蒸馏对于深层网络变浅具有显著作用，可以大大降低网络计算量，但是由于其本身使用softmax函数，对于除分类外的其它任务泛化性受限，同时其压缩比与其它方法还存在一定差距。剪枝按照粒度的粗细可以分为非结构化剪枝和结构化剪枝两种，非结构化剪枝的弱点十分明显，由于内部非规整的连接，需要依赖专门的运行库和硬件设备，所以，结构化剪枝更受青睐
[0005]卷积核层面的结构化剪枝不仅大大减少了存储空间的使用，而且降低了在线推理的计算成本。结构化剪枝的核心在于卷积核衡量标准的选择，要求在精度损失最小的情况下产生最高的压缩比。现有卷积核层面的结构化剪枝方法可以分为两类：
[0006]一、不改变卷积神经网络的损失函数，利用神经网络的固有属性进行剪枝，如基于卷积核权重的稀疏程度APOZ的结构化剪枝方法、基于卷积核权重L1范数的结构化剪枝方法、基于一阶泰勒展开的结构化剪枝方法。
[0007]二、改变卷积神经网络的损失函数，需要将剪枝标准嵌入到网络训练损失中，采用联合优化的方式产生自适应剪枝决策，如将BN层的缩放因子嵌入到损失函数中，进行训练，
训练完毕后缩放因子较小的卷积核即可认为相对不重要。
[0008]与第一类剪枝方法相比，第二类剪枝方法由于联合优化，通常能获得更好的压缩和加速结果。然而，由于损失发生了变化，所需的再训练步骤占用了大量的机器时间和人力，通常需要进行另一轮超参数调优，对于其中一些方法，修改后的损失甚至需要专门的优化器。结构化剪枝的方法也存在着计算量较大的问题，如基于一阶泰勒展开的结构化剪枝方法不仅需要计算梯度，还要对获得的一阶泰勒项进行层正则化处理，同时缺乏对卷积核衡量标准的解释性。
[0009]基于上述问题，本专利技术提出了基于LRP(Layer
‑
wise Relevance Propagation)的结构化剪枝方法。区别于应用于分类问题的基于LRP的剪枝方法，本专利技术将该剪枝方法应用于编码超表面频率响应快速预测的正向网络压缩中。编码超表面频率响应快速预测的正向网络旨在通过大数据集的训练，实现编码超表面与其频率响应的映射，这是一个回归问题。基于LRP(Layer
‑
wise Relevance Propagation)的结构化剪枝方法只需将网络输出由输出层后向传播至输入层，即可获得每层每个卷积核对网络输出的贡献，称为相关性。由于剪枝标准与网络输出直接相关，以及后向传播过程中施加的层与层之间相关性不变的约束，使得通过LRP获得的相关性作为剪枝标准变得可解释。

技术实现思路

[0010]专利技术目的：本专利技术提出了一种基于编码超表面频率响应快速预测的模型压缩方法，通过基于LRP的结构化剪枝方法，对编码超表面频率响应快速预测的正向网络压缩；使用基于LRP的结构化剪枝方法在网络性能基本不变的前提下大大减小网络参数，解决了现有网络模型参数量和计算量过大导致的网络存储空间要求过大、预测速度较慢等问题。
[0011]技术方案：一种基于编码超表面频率响应快速预测的模型压缩方法，包括如下步骤：
[0012]步骤一、通过CST
‑
Python联合仿真，导入表示编码超表面单元表面结构的编码矩阵，生成编码超表面频率响应，获得频响曲线，制作数据集；
[0013]步骤二、对编码超表面频率响应快速预测的正向网络进行预训练，实现编码超表面到频率响应的映射；
[0014]步骤三、基于步骤二中得到的预训练完备的正向网络，使用LRP将网络输出作为相关性进行后向传播，以卷积核获得的相关性作为结构化剪枝的度量标准对正向网络进行压缩，并对压缩后的正向网络进行再训练；
[0015]步骤四、将表示编码超表面单元表面结构的编码矩阵输入到步骤三中得到的正向网络中，即可得到超表面频率响应的参数实部曲线、虚部曲线，进而得到幅值和相位值。
[0016]进一步的，所述步骤一中，编码超表面单元的超表面工作频率为8GHz
‑
12GHz；编码超表面单包括三层，最下层为金属铜板，电导率为5.8e+007S/m；中间层为介质板，介质板为F4B材料，介电常数为2.65，长宽皆为10mm，厚度为2mm；最上层为金属贴片层，最上层共有16*16个单元，由8*8的单元对称而成，每个单元通过1或0去表示贴片的有无，单个贴片的长宽为0.5mm，厚度为0.017mm。
[0017]进一步的，所述步骤一中，生成的超表面频率响应记为S11，将表示超表面频率响应S11的矩阵，进行间隔采样，得到超表面单元与其频率响应的对应关系，形成若干初始数
据；将初始数据按照8∶1∶1的比例划分成训练集、验证集、测试集；将训练集通过数据增强的方式扩大到2倍；
[0018]S11的参数表征中，幅值Amp、相位实部Re、虚部Im对应关系如下：
[0019][0020][0021][0022][0023]进一步的，所述步骤二中编码超表面频率响应快速预测的的正向网络，包括实部子网络Rnet、虚部子网络Inet，两个子网络为并行联合的形式，且两个子网络采用完全相同的结构；两个子网络的输入均为表示编本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于编码超表面频率响应快速预测的模型压缩方法，其特征在于，包括如下步骤：步骤一、通过CST
‑
Python联合仿真，导入表示编码超表面单元表面结构的编码矩阵，生成编码超表面频率响应，获得频响曲线，制作数据集；步骤二、对编码超表面频率响应快速预测的正向网络进行预训练，实现编码超表面到频率响应的映射；步骤三、基于步骤二中得到的预训练完备的正向网络，使用LRP将网络输出作为相关性进行后向传播，以卷积核获得的相关性作为结构化剪枝的度量标准对正向网络进行压缩，并对压缩后的正向网络进行再训练；步骤四、将表示编码超表面单元表面结构的编码矩阵输入到步骤三中得到的正向网络中，即可得到超表面频率响应的参数实部曲线、虚部曲线，进而得到幅值和相位值。2.根据权利要求1所述的一种基于编码超表面频率响应快速预测的模型压缩方法，其特征在于，所述步骤一中，编码超表面单元的超表面工作频率为8GHz
‑
12GHz；编码超表面单包括三层，最下层为金属铜板，电导率为5.8e+007S/m；中间层为介质板，介质板为F4B材料，介电常数为2.65，长宽皆为10mm，厚度为2mm；最上层为金属贴片层，最上层共有16*16个单元，由8*8的单元对称而成，每个单元通过1或0去表示贴片的有无，单个贴片的长宽为0.5mm，厚度为0.017mm。3.根据权利要求2所述的一种基于编码超表面频率响应快速预测的模型压缩方法，其特征在于，所述步骤一中，生成的超表面频率响应记为S11，将表示超表面频率响应S11的矩阵，进行间隔采样，得到超表面单元与其频率响应的对应关系，形成若干初始数据；将初始数据按照8∶1∶1的比例划分成训练集、验证集、测试集；将训练集通过数据增强的方式扩大到2倍；超表面频率响应S11的参数表征中，幅值Amp、相位实部Re、虚部Im对应关系如下：实部Re、虚部Im对应关系如下：实部Re、虚部Im对应关系如下：实部Re、虚部Im对应关系如下：4.根据权利要求3所述的一种基于编码超表面频率响应快速预测的模型压缩方法，其特征在于，所述步骤二中编码超表面频率响应快速预测的的正向网络，包括实部子网络Rnet、虚部子网络Inet，两个子网络为并行联合的形式，且两个子网络采用完全相同的结构；两个子网络的输入均为表示编码超表面单元表面结构的编码矩阵；两个子网络的输出分别对应超表面频率响应S11的实部和虚部表征，基于幅值、相位与实部、虚部的对应关系，计算得到网络输出的幅值和相位；对正向网络进行预训练时：1)网络使用的误差函数为最小均方误差MSE，表示为，
其中，为正向网络对编码超表面频率响应S11的预测结果，y为编码超表面的实际频率响应，N为频域内对编码超表面频率响应S11进行等间隔采样得到的频点数；2)预训练时的网络损失函数为：其中，loss_train为网络预训练时的损失函数，Re、分别为S11参数的实部真实值、实部子网络预测的实部值，Im、分别为S11参数的虚部真实值、虚部子网络预测的虚部值。5.根据权利要求4所述的一种基于编码超表面频率响应快速预测的模型压缩方法，其特征在于，所述步骤三中，结构化剪枝方法的步骤如下：步骤A、计算激活值；在训练集中随机选择编码超表面单元作为参考样本，将表征参考样本超材料单元表面结构的编码矩阵输入到步骤二中的预训练完备的正向网络中，正向网络的实部子网络和虚部子网络分别独立进行前向传播，得到实部子网络和虚部子网络中每层的输出值，所述输出值即为激活值，预激活值为未经过层中激活函数的输出值；步骤B、基于LRP的相关性计算；将步骤二中的预训练完备的正向网络输出后向传播至输入层，正向网络的实部子网络和虚部子网络分别独立地将输出后向传播至网络输入层，基于LRP规则依次获取实部子网络和虚部子网络各层中卷积核与网络输出之间的相关性；步骤C、计算每个卷积核的相关性；基于LRP...

【专利技术属性】
技术研发人员：王琼，魏洪波，柏业超，唐岚，张兴敢，
申请(专利权)人：南京大学，
类型：发明
国别省市：