一种神经网络的参数定点化方法及系统技术方案

本发明专利技术公开一种神经网络的参数定点化方法及系统，涉及神经网络部署技术领域，该方法包括：对神经网络的结构进行编码得到网络结构编码；对神经网络的各预设参数的各位宽组合分别进行编码，得到每个位宽组合的参数定点化编码；将每个位宽组合的参数定点化编码和网络结构编码作为种群中一个个体；基于种群，采用遗传算法输出优化后的参数定点化编码；遗传算法中计算每个个体的适应度时，根据预测每个个体对应的网络结构和预设参数的定点化位宽部署到

【技术实现步骤摘要】
一种神经网络的参数定点化方法及系统


[0001]本专利技术涉及神经网络部署
，特别是涉及一种神经网络的参数定点化方法及系统
。

技术介绍

[0002]遗传算法
(Genetic Algorithm
，
GA)
是根据自然中生物体进化规律而设计提出的，是一种通过模拟自然进化过程搜索最优解的方法
。
遗传算法操作的实质是分析染色体上的基因，通过对基因的选择判断，选择好的携带该基因的染色体来处理问题
。
遗传算法在求解较为复杂的组合优化问题时，相对一些常规的优化算法，通常能够较快地获得较好的优化结果
。
遗传算法的优点在于其操作过程当中并不是从单独的解进行寻优，而是通过解的串集的搜索方式进行搜索最优解，择优效果很好
。
同时，该算法在施行并行化的同时，可以对多个个体进行运算，减小了计算量和弥补了陷入局部最优解的不足之处
。
此外，遗传算法具有强鲁棒性
。
[0003]在深度学习中，卷积神经网络
(CNN)
是一类深度神经网络
。CNN
使用多层感知器的变体设计，需要最少的预处理
。CNN
的基本模块是由输入和输出层以及多个隐藏层组成，隐藏层可分为卷积层
、
池化层
、RELU
层和全连接层
。
与其他图像分类算法相比，
CNN
使用相对较少的预处理，这种独立于特征设计中的先前知识和人力的努力是一个主要优点
。
它们可用于图像和视频识别，推荐系统，图像分类，自然语言处理等方面
。
[0004]在卷积神经网络中，经常对数据
、
参数进行量化来使比特宽度最小化，这是因为浮点数的计算会消耗大量的资源，在硬件上更是如此
。
将浮点数转换成定点数可以视作是对浮点数的量化
。
卷积神经网络对输入数据和权重中的噪声不敏感，并且卷积神经网络前向传播的精度不必是
32
位浮点，定点数表示是足够精确的
。
将卷积神经网络部署在硬件设备时，随着参数精度的逐渐降低，各个硬件资源的使用率也随之降低，模型预测的速度大大提高
。
[0005]目前已有一些基于卷积神经网络的参数定点化方法被提出，它们大多数直接给定定点数的位宽，卷积神经网络部署在现场可编程逻辑门阵列
(Field Programmable Gate Array
，
FPGA)
时加速效果仍有待提升
。

技术实现思路

[0006]本专利技术的目的是提供一种神经网络的参数定点化方法及系统，在保证部署准确率的同时提高部署速度
。
[0007]为实现上述目的，本专利技术提供了如下方案：
[0008]一种神经网络的参数定点化方法，包括：
[0009]对神经网络的结构进行编码得到网络结构编码；
[0010]对神经网络的各预设参数的各位宽组合分别进行编码，得到每个位宽组合的参数定点化编码；
[0011]初始化遗传算法的种群：将每个位宽组合的参数定点化编码和所述网络结构编码作为种群中一个个体；
[0012]基于所述种群，采用所述遗传算法输出优化后的参数定点化编码；所述遗传算法中计算每个个体的适应度时，根据预测每个个体对应的网络结构和预设参数的定点化位宽部署到
FPGA
上的准确率和速度确定每个个体的适应度；
[0013]采用优化后的参数定点化编码对应的各预设参数的位宽作为所述神经网络部署到
FPGA
上的各预设参数的定点化位宽
。
[0014]可选地，还包括将所述网络结构编码和所述参数定点化编码输入到部署预测模型，输出部署准确率和速度；
[0015]所述部署预测模型是采用训练集对全连接神经网络进行训练得到的，所述训练集中样本数据包括输入数据和标签数据，所述输入数据为样本编码数据，所述样本编码数据包括样本神经网络对应的网络结构编码和参数定点化编码，所述标签数据为样本神经网络部署到
FPGA
上的准确率和速度
。
[0016]可选地，计算每个个体的适应度时，根据预测每个个体对应的网络结构和预设参数的定点化位宽部署到
FPGA
上的准确率和速度确定每个个体的适应度，具体包括：
[0017]采用适应度函数计算每个个体的适应度，所述适应度函数表示为：
[0018][0019]其中，
Fitness(i)
表示第
i
个个体的适应度，
y
i
表示第
i
个个体对应的所述网络结构编码和所述参数定点化编码输入到所述部署预测模型输出的准确率，
cycle
i
表示第
i
个个体对应的所述网络结构编码和所述参数定点化编码输入到所述部署预测模型输出的速度，
e
i
为
y
i
对应的期望值，
ranking()
表示
ranking
函数
。
[0020]可选地，所述遗传算法中选择运算中选择算子采用随机遍历抽样法
。
[0021]可选地，将所述遗传算法输出优化后的参数定点化编码的整个进化阶段，依次划分为第一阶段和第二阶段；
[0022]所述第一阶段中，交叉运算中交叉算子采用均匀交叉算子，在所述第二阶段中，交叉运算中交叉算子采用单点交叉算子
。
[0023]可选地，所述第一阶段中，变异运算中变异算子采用反转突变算子，在所述第二阶段中，变异运算中变异算子采用位翻转突变算子
。
[0024]可选地，所述交叉运算中交叉概率的计算公式表示为：
[0025][0026]其中，
P
c
为交叉概率，
P
c
‑
org
为初始交叉概率，
f
avg
为当前整个种群的平均适应度值，
f
max
为当前种群中的最大适应度值，
f
min
为当前种群中的最小适应度值，
f'
为当代交叉个体
的适应度值
。
[0027]可选地，所述变异运算中变异概率的计算公式表示为：
[0028][0029]其中，
P
m
为变异概率，
P
m
‑
org
为初始变异概率，
f
avg
为当前整个种群的平均适应度值，
f
max
为当前种群中的最大适应度值，
f
min
为当前种群中的最小适应度值，
f'...

【技术保护点】

【技术特征摘要】
1.
一种神经网络的参数定点化方法，其特征在于，包括：对神经网络的结构进行编码得到网络结构编码；对神经网络的各预设参数的各位宽组合分别进行编码，得到每个位宽组合的参数定点化编码；初始化遗传算法的种群：将每个位宽组合的参数定点化编码和所述网络结构编码作为种群中一个个体；基于所述种群，采用所述遗传算法输出优化后的参数定点化编码；所述遗传算法中计算每个个体的适应度时，根据预测每个个体对应的网络结构和预设参数的定点化位宽部署到
FPGA
上的准确率和速度确定每个个体的适应度；采用优化后的参数定点化编码对应的各预设参数的位宽作为所述神经网络部署到
FPGA
上的各预设参数的定点化位宽
。2.
根据权利要求1所述的神经网络的参数定点化方法，其特征在于，还包括将所述网络结构编码和所述参数定点化编码输入到部署预测模型，输出部署准确率和速度；所述部署预测模型是采用训练集对全连接神经网络进行训练得到的，所述训练集中样本数据包括输入数据和标签数据，所述输入数据为样本编码数据，所述样本编码数据包括样本神经网络对应的网络结构编码和参数定点化编码，所述标签数据为样本神经网络部署到
FPGA
上的准确率和速度
。3.
根据权利要求2所述的神经网络的参数定点化方法，其特征在于，计算每个个体的适应度时，根据预测每个个体对应的网络结构和预设参数的定点化位宽部署到
FPGA
上的准确率和速度确定每个个体的适应度，具体包括：采用适应度函数计算每个个体的适应度，所述适应度函数表示为：其中，
Fitness(i)
表示第
i
个个体的适应度，
y
i
表示第
i
个个体对应的所述网络结构编码和所述参数定点化编码输入到所述部署预测模型输出的准确率，
cycle
i
表示第
i
个个体对应的所述网络结构编码和所述参数定点化编码输入到所述部署预测模型输出的速度，
e
i
为
y
i
对应的期望值，
ranking()
表示
ranking
函数
。4.
根据权利要求1所述的神经网络的参数定点化方法，其特征在于，所述遗传算法中选择运算中选择算子采用随机遍历抽样法
。5.
根据权利要求1所述的神经网络的参数定点化方法，其特征在于，将所述遗传算法输出优化后的参数定点化编码的整...

【专利技术属性】
技术研发人员：杜欣颖，金磊，赵康，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：