一种基于梯度引导的进化算法的图像识别方法技术

本发明专利技术公开了一种基于梯度引导的进化算法的图像识别方法，其步骤主要包括：1、获取图像样本构建训练样本数据集；2、初始化父代种群，对其在交配选择过程中使用gSBX算子来获得子代种群，将父代种群加入子代种群中并对子代种群进行非支配排序，从排序好的种群中选取前若干个个体作为最优个体种群；3、从最优个体种群中删去被支配的解，使用稀疏随机梯度法SGD对种群中剩余的每个个体的权重变量微调，在该种群的Pareto前沿面上的拐点区域选择一个个体的属性集作为最终训练模型的变量。本发明专利技术通过进化算法优化图像识别模型，从而能提升模型在图像识别上的精确度，并减少神经网络的训练成本和内存用量。成本和内存用量。成本和内存用量。

【技术实现步骤摘要】
一种基于梯度引导的进化算法的图像识别方法


[0001]本专利技术涉及人工智能
，尤其涉及一种图像识别方法。

技术介绍

[0002]图像识别是通过对存储的信息与当前图片信息进行比较、计算等一系列的加工过程，实现对图像的再认。图像识别是人工智能的一个重要领域，例如人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。随着技术的进步，在图像识别中，如何快速高效的提取目标特征并建立相应的图像识别模型是图像识别中的一个重要且关键的问题。
[0003]目前常用的图像识别方法主要是卷积神经网络(Convolutional Neural Networks，CNN)。由于在一个CNN中权重对分类性能起决定性作用，因此CNN高复杂性对给定数据集的相应最佳权重提出了严峻的挑战。在最近几十年，大量的针对神经网络训练的算法被提出，他们大多数都是根据梯度信息来优化权重，典型的算法包括SGD、RMSProp、Adam等等。由于梯度信息提供的快速收敛速度，基于梯度的方法已被证明在训练CNN中很有前景。然而，这些方法仍然受到一些限制。例如这些方法很容易陷入局部最优和鞍点，通常需要在基于梯度的方法中引入正则化项来缓解过拟合，还仔细预定义一些超参数，例如学习率、动量和下降率，带来额外的成本。并且，在传统训练的神经网络模型中，学习到的图像特征在经过大量的传播迭代会有所损失，无法保留这些损失的信息，最终导致图像识别精度不高。
[0004]作为一组以种群进化为特征的元启发式算法，进化算法(EA)在解决各种研究领域的许多复杂优化问题表现出其有效性，如各种非线性、非凸和组合优化问题。与基于梯度的算法相比，EA具有令人羡慕的探索能力和对局部最优的不敏感性。因此，自1980年以来，许多EA被提出用于训练神经网络。如Whitley等人采用遗传算法来优化神经网络的权重，实验证明遗传算法在神经网络上的竞争力。Montana和Davis通过定制的遗传算法训练了一个总共126个权重的前馈神经网络，该算法被验证优于基于梯度的方法。
[0005]尽管它们在训练NN方面具有优势，但EA在优化大规模NN的权重方面表现出较差的可扩展性，因为大规模优化在进化计算中始终是一个具有挑战性的话题。为了解决维数诅咒，已经进行了一些尝试来增强EA用于训练大规模NN，尤其是DNN的可扩展性。Gong等人提出了一种双目标EA，通过仅考虑偏差而不是所有权重来优化稀疏DNN的权重，因为偏差是控制隐藏层稀疏性的主要因素。Sun等人开发了一个单目标EA来优化DNN的权重，其中权重优化被转换为权重空间中正交偏置向量的优化。尽管在训练大规模神经网络的进化方法中，大多数旨在通过减少搜索空间(即要优化的权重数量)来解决维度诅咒，但这可能会错过最佳搜索区域并增加陷入局部最优的可能，不能达到最好的图像识别结果。

技术实现思路

[0006]本专利技术为解决现有图像识别技术中的不足之处，提出一种基于梯度引导的进化算
法的图像识别方法，以期能通过进化算法优化图像识别模型，从而能提升模型在图像识别上的精确度。
[0007]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0008]本专利技术一种基于梯度引导的进化算法的图像识别方法的特点是按照如下步骤进行：
[0009]步骤一、获取T个图像样本及其类别标签，并根据每个图像样本的类别标签，提取每个图像样本对应的属性特征，从而得到图像样本集其中，x
t
表示第t个图像样本的属性特征，y
t
表示第t个图像样本的真实类别标签，(x
t
,y
t
)表示第t个图像的样本数据，t＝1,2,
…
,T；
[0010]定义最大迭代次数为GEN，当前迭代次数为gen，并初始化gen＝1；
[0011]步骤二、设种群大小为N，定义第gen代种群集合记为表示第gen代种群中的第i个个体；
[0012]定义第gen代种群中的每个个体的属性包括：R个权重变量、梯度和两个待优化目标；其中，待优化目标分别是损失函数值和模型复杂度；
[0013]初始化第gen代种群中的每个个体的R个权重变量为随机值；
[0014]初始化第gen代种群中的每个个体的梯度集合为空集；
[0015]步骤2.1、创建一个包含R个权重变量的图像识别模型Model1，初始化i＝1；
[0016]步骤2.2、用第gen代种群P
gen
中第i个体的R个权重变量替换图像识别模型Model1中的R个权重变量得到替换后的图像识别模型Model
′1，将图像样本集L中的样本数据作为替换后的图像识别模型Model
′1的输入，并得到预测类别标签集其中，y
′
t
表示所述图像识别模型Model
′1在第t个图像的样本数据(x
t
,y
t
)上的预测类别标签；
[0017]步骤2.3、将所述预测类别标签集与所述真实类别标签集传入损失函数中，从而得到第gen代种群c中第i个体在图像样本集L上的损失函数值Loss，然后统计第gen代种群P
gen
中第i个体的非0变量数作为对应个体的模型复杂度；
[0018]步骤2.4、根据所述图像识别模型Model1的损失函数值计算梯度表示第gen代种群P
gen
中第i个个体的第r个权重变量的梯度，然后用梯度替换第gen代种群P
gen
的第i个个体的梯度集合，r∈[1,R]；
[0019]步骤2.5、将i+1赋值给i，判断i<N是否成立，若成立，则返回步骤2.2顺序执行，否则，表示第gen代种群P
gen
中的每个个体完成图像样本集L的图像特征信息的学习，并执行步骤2.6；
[0020]步骤2.6、使用二元锦标赛选择算法从所有完成学习后的第gen代种群P
′
gen
中选择N个个体作为交配池M1，同时创建一个空的第gen代子代种群Z
gen
；
[0021]步骤2.7、从交配池M1中随机选取两个个体q1和q2，并从交配池M1中同时删除，使用gSBX算子对所选取的两个个体q1和q2进行交叉操作：
[0022]步骤2.7.0、定义十个参数η、λ、μ1、μ2、k1、k2、β1、β2、α1、α2，其中，η为图像特征信息
的均值λ是在每个维度上由均匀分布U[0,1]采样得到的常数，μ1、μ2是由权重变量和梯度信息决定的两个随机数，β1、β2、α1、α2均为中间变量；
[0023]定义为第1个个体q1的第j个权重变量，为第1个个体q1的第j个梯度，为第2个个体q2的第j个权重变量，为第2个个体q2的第j个梯度，并初始化j＝1；
[0024]定义z1为第1个子代个体，并初始化第1个子代个体z1的权重变量集合为空集；
[0025]定义z2为第2个子代个体，并初始化第2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于梯度引导的进化算法的图像识别方法，其特征是按照如下步骤进行：步骤一、获取T个图像样本及其类别标签，并根据每个图像样本的类别标签，提取每个图像样本对应的属性特征，从而得到图像样本集其中，x
t
表示第t个图像样本的属性特征，y
t
表示第t个图像样本的真实类别标签，(x
t
,y
t
)表示第t个图像的样本数据，t＝1,2,
…
,T；定义最大迭代次数为GEN，当前迭代次数为gen，并初始化gen＝1；步骤二、设种群大小为N，定义第gen代种群集合记为步骤二、设种群大小为N，定义第gen代种群集合记为表示第gen代种群中的第i个个体；定义第gen代种群中的每个个体的属性包括：R个权重变量、梯度和两个待优化目标；其中，待优化目标分别是损失函数值和模型复杂度；初始化第gen代种群中的每个个体的R个权重变量为随机值；初始化第gen代种群中的每个个体的梯度集合为空集；步骤2.1、创建一个包含R个权重变量的图像识别模型Model1，初始化i＝1；步骤2.2、用第gen代种群P
gen
中第i个体的R个权重变量替换图像识别模型Model1中的R个权重变量得到替换后的图像识别模型Model
′1，将图像样本集L中的样本数据作为替换后的图像识别模型Model
′1的输入，并得到预测类别标签集其中，y
′
t
表示所述图像识别模型Model
′1在第t个图像的样本数据(x
t
,y
t
)上的预测类别标签；步骤2.3、将所述预测类别标签集与所述真实类别标签集传入损失函数中，从而得到第gen代种群c中第i个体在图像样本集L上的损失函数值Loss，然后统计第gen代种群P
gen
中第i个体的非0变量数作为对应个体的模型复杂度；步骤2.4、根据所述图像识别模型Model1的损失函数值计算梯度的损失函数值计算梯度表示第gen代种群P
gen
中第i个个体的第r个权重变量的梯度，然后用梯度替换第gen代种群P
gen
的第i个个体的梯度集合，r∈[1,R]；步骤2.5、将i+1赋值给i，判断i<N是否成立，若成立，则返回步骤2.2顺序执行，否则，表示第gen代种群P
gen
中的每个个体完成图像样本集L的图像特征信息的学习，并执行步骤2.6；步骤2.6、使用二元锦标赛选择算法从所有完成学习后的第gen代种群P
′
gen
中选择N个个体作为交配池M1，同时创建一个空的第gen代子代种群Z
gen
；步骤2.7、从交配池M1中随机选取两个个体q1和q2，并从交配池M1中同时删除，使用gSBX算子对所选取的两个个体q1和q2进行交叉操作：步骤2.7.0、定义十个参数η、λ、μ1、μ2、k1、k2、β1、β2、α1、α2，其中，η为图像特征信息的均值λ是在每个维度上由均匀分布U[0,1]采样得到的常数，μ1、μ2是由权重变量和梯度信息决定的两个随机数，β1、β2、α1、α2均为中间变量；
定义为第1个个体q1的第j个权重变量，为第1个个体q1的第j个梯度，为第2个个体q2的第j个权重变量，为第2个个体q2的第j个梯度，并初始化j＝1；定义z1为第1个子代个体，并初始化第1个子代个体z1的权重变量集合为空集；定义z2为第2个子代个体，并初始化第2个子代个体z2的权重变量集合为空集；步骤2.7.1、计算若k1＞0，则μ1在[0,0.5]中随机取值，若k1＜0，则μ1在(0.5,1]中随机取值，若k1＝0，则μ1在[0,1]中随机取值；步骤2.7.2、计算若k2＜0，则μ2在[0,0.5]中随机取值，若k2＞0，则μ2在(0.5,1]中随机取值，若k2＝0，则μ2在[0,1]中随机取值；步骤2.7.3、若第l个随机数μ
l
≤0.5，则计算中间变量否则，计算中间变量其中，l＝1,2；步骤2.7.4、对两个中间变量β1,β2进行变量代换：若λ≤0.5且且则令α1＝
‑
β2‑
1，α2＝
‑
β1‑
1，否则，令α1＝β1‑<...

【专利技术属性】
技术研发人员：田野，石子睿，杨尚尚，张兴义，
申请(专利权)人：安徽大学，
类型：发明
国别省市：