【技术实现步骤摘要】
本专利技术属于图像分类相关，更具体地，涉及一种实现零样本重放和简约扩展的连续图像分类模型训练方法及其系统。
技术介绍
1、深度学习引领的人工智能技术在图像分类、语音识别和自然语言处理等分类任务上取得了显著成功，产生了巨大的经济与社会效益。但其成功的关键条件是将模型置于相对封闭、静态的环境中。一个普遍的封闭环境假设是训练集和测试集均来自同一概率分布，即独立同分布条件。而现实世界的数据流导致传统单分类任务学习方法发生灾难性遗忘现象，即陷入稳定性（旧分类任务知识保留能力）和可塑性（新分类任务知识学习能力）的困境。而连续学习有效地避免了训练和测试数据对于独立同分布条件的依赖，在处理连续图像分类任务方面取得了广泛进展。
2、连续学习为在历史已训练过的模型的基础上继续训练新的分类任务，使模型既保留已有的分类功能，还能增加新分类任务的分类功能。连续学习的主要方式有基于重放的连续学习方法以及基于扩展的连续学习方法。
3、基于重放的连续学习方法假设允许存储少量旧类别的原始样本或依赖额外的生成模块产生伪样本，以在学习新类别时联合训练。其中，原始重放作为一种直接、有效的方式，无论是单独使用还是与其他方法相结合，均取得了具有竞争力的分类精度。然而，这类方法的性能严重依赖于重放样本的数量和质量，例如较少的旧样本缓冲意味着缺乏特定于分类任务的信息。而且始终存储旧样本也涉及违反数据隐私等实际问题，而隐私保护越来越被重视。
4、基于扩展的连续学习方法通过逐步增加网络（例如骨干或者分支）规模来容纳新类别，在资源不受限制的情况下
技术实现思路
1、针对现有技术的以上缺陷或改进需求，本专利技术提供了一种实现零样本重放和简约扩展的连续图像分类模型训练方法及其系统，其目的在于解决现有方法在连续图像分类训练过程中需要访问旧分类任务样本和不加限制地消耗存储资源的技术问题。
2、为实现上述目的，本专利技术提供了一种实现零样本重放和简约扩展的连续图像分类模型训练方法，其包括：
3、通过求解面向当前分类任务单位基向量的优化目标函数，从单位超球面上分配最优的ct个单位基向量并构成当前分类任务t的最优等夹角基向量矩阵w(t)’，t为分类任务序号，ct等于当前分类任务t的标签类别数，将矩阵w(t)’加入保存有历史分类任务的等夹角基向量矩阵的等夹角基向量矩阵集合中，得到更新的等夹角基向量矩阵集合；
4、在训练的前向传播中，通过求解最小化统计依赖问题确定各隐含层b的最佳全局输出表征zb’，下标b为隐含层索引，b=1,2,…,b，b为隐含层的数量；所述最小化统计依赖问题为使多个因式的加权求和最小，多个因式中包含计算各隐含层输出表征与当前分类任务训练样本输入表征之间相关性的第一因式、计算各隐含层输出表征与当前分类任务训练样本标签间相关性的相反数的第二因式、以及计算梯度映射矩阵与前期训练所确定的隐含层历史表征之间乘积的第三因式；
5、在训练的反向传播中，获取更新后的等夹角基向量矩阵集合以及最佳全局输出表征zb’，利用梯度下降法确定网络参数的参数更新量，利用批量学习形式迭代计算梯度映射矩阵的更新值，基于所得的参数更新量和梯度映射矩阵的更新值反馈调节各隐含层的网络参数，得到训练结果。
6、可选地，所述最小化统计依赖问题具体为：
7、，
8、式中，x(t)为当前分类任务t的训练样本输入表征，y(t)为当前分类任务t训练样本的标签，zb为在训练的前向传播中隐含层b的输出表征，uhsic为计算相关度的函数，rbuhsic=α(abtab+αi)-1为梯度映射矩阵，α为小于1的常数，i为单位矩阵，ab由前期训练所确定的隐含层b的历史表征组成，β为相关性因式的平衡因子，μ为正则化强度系数。
9、可选地，在所述前向传播中，所述第一因式和第二因式基于希尔伯特-施密特独立性准则对相关性进行无偏估计，计算任意表征e、f相关性的计算公式为：
10、，
11、式中，uhsic(e,f)为表征e、f之间的相关度，n为训练样本的数量，tr(·)是迹算子，矩阵为基于核矩阵h计算出的中间参数，矩阵中的元素，矩阵为基于核矩阵g计算出的中间参数，矩阵中的元素，δij为克罗内克系数，核矩阵h为对表征e在希尔伯特空间中进行非线性特征变换所得，核矩阵g为对表征f在希尔伯特空间中进行非线性特征变换所得，下标i、j为矩阵的行、列索引，i、j=1，2，3，……，n，in为n×n单位矩阵。
12、可选地，400≤β≤600，9000≤μ≤15000，0.005≤α≤0.015。
13、可选地，在训练的反向传播中，利用梯度下降法确定网络参数的参数更新量，利用批量学习形式迭代计算梯度映射矩阵的更新值，基于所得的参数更新量和梯度映射矩阵的更新值反馈调节各隐含层的网络参数，包括：
14、先获取更新后的等夹角基向量矩阵集合和最佳全局输出表征zb’，构建使分类结果趋近于标签的优化目标函数并进行求解，得到网络参数梯度下降的参数更新量；
15、再基于网络参数更新公式更新当前分类任务t训练所得的网络参数θb(t)；
16、其中，网络参数更新公式为：
17、，
18、式中，θb(t-1)为上一次分类任务t-1训练所得的网络参数，为当前分类任务t的参数更新量，λ为学习率，mbuhsic为梯度映射矩阵的更新值；
19、式中，mbuhsic通过如下过程确定：
20、确定k的初始值，提取最佳全局表征zb’中对应前k个训练样本的特征向量，组成初始化表征zb’(k)=[zb1,zb2,…,zbk]，式中，zbk表示zb’中对应第k个训练样本的特征向量；
21、确定mbuhsic迭代的初始值mbuhsic(k+1)，mbuhsic(k+1)=α(zb’(k)+zb’t(k)+ zbk+1(zbk+1)t+αi)-1，α为小于1的常数，i为单位矩阵；
22、每次迭代时令k=k+1并基于迭代公式进行迭代计算，执行预设次数迭代后以最终输出的mbuhsic(k+1)作为梯度映射矩阵的更新量mbuhsic，其迭代公式为：
23、。
24、可选地，构建使分类结果趋近于标签的优化目标函数，包括：通过最小化负对数似然函数的形式构建当前分类任务t的优化目标函数。
25、可选地，所述面向当前分类任务单位基向量的优化目标函数具体为：
26、 ，<本文档来自技高网...
【技术保护点】
1.一种实现零样本重放和简约扩展的连续图像分类模型训练方法，其特征在于，包括：
2.如权利要求1所述的连续图像分类模型训练方法，其特征在于，所述最小化统计依赖问题具体为：
3.如权利要求1或2所述的连续图像分类模型训练方法，其特征在于，在所述前向传播中，所述第一因式和第二因式基于希尔伯特-施密特独立性准则对相关性进行无偏估计，计算任意表征E、F相关性的计算公式为：
4.如权利要求2所述的连续图像分类模型训练方法，其特征在于，400≤β≤600，9000≤μ≤15000，0.005≤α≤0.015。
5.如权利要求1所述的连续图像分类模型训练方法，其特征在于，在训练的反向传播中，利用梯度下降法确定网络参数的参数更新量，利用批量学习形式迭代计算梯度映射矩阵的更新值，基于所得的参数更新量和梯度映射矩阵的更新值反馈调节各隐含层的网络参数，包括：
6.如权利要求5所述的连续图像分类模型训练方法，其特征在于，构建使分类结果趋近于标签的优化目标函数，包括：通过最小化负对数似然函数的形式构建当前分类任务t的优化目标函数。
7
8.一种实现零样本重放和简约扩展的连续图像分类模型训练系统，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现如权利要求1至7任一项所述的方法的步骤。
...【技术特征摘要】
1.一种实现零样本重放和简约扩展的连续图像分类模型训练方法，其特征在于，包括：
2.如权利要求1所述的连续图像分类模型训练方法，其特征在于，所述最小化统计依赖问题具体为：
3.如权利要求1或2所述的连续图像分类模型训练方法，其特征在于，在所述前向传播中，所述第一因式和第二因式基于希尔伯特-施密特独立性准则对相关性进行无偏估计，计算任意表征e、f相关性的计算公式为：
4.如权利要求2所述的连续图像分类模型训练方法，其特征在于，400≤β≤600，9000≤μ≤15000，0.005≤α≤0.015。
5.如权利要求1所述的连续图像分类模型训练方法，其特征在于，在训练的反向传播中，利用梯度下降法确定网络参数的参数更新量，利用批量学习形式迭代计算梯度映射矩阵的更新值，基于所得的参数更新量和梯度映射矩...
【专利技术属性】
技术研发人员：李德鹏，韩好展，李江，黄浩恩，任启宁，曾志刚，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。