一种基于元学习的集成式深度模型分类方法技术

一种基于元学习的集成式深度模型分类方法，包括：1)收集与任务相关的标注数据，划分数据集为训练集和测试集；2)通过任务与数据类型选择多组较优的数据增强方式，对初始数据进行增强；3)选择N个相同的的深度学习网络模型作为初始模型，选择1种算法作为模型集成所需算法；4)训练过程中将训练集部分采样得到查询集，剩下部分作为支撑集；5)使用支撑集训练该N组模型，并进行梯度更新；6)使用查询集验证该N组模型，并对算法进行梯度更新，使用更新后的算法对多模型集成，将集成模型参数替换掉该N个网络模型的参数；7)重复4

【技术实现步骤摘要】
一种基于元学习的集成式深度模型分类方法


[0001]本专利技术属于计算机视觉领域，针对图像分类等场景中训练效果较差，资源利用率不足，超参数设计严重，训练时间长的问题，提出了一种基于元学习的集成式深度模型分类方法。

技术介绍

[0002]图像分类问题是计算机视觉领域最基础、最核心的问题之一。随着深度学习技术的发展，图像分类已经取得了非常巨大的进步，能够使用单个模型在上千类的物体分类中达到较高的准确率。但是在工业界应用时，由于缺乏足够多的高质量数据，同时在训练模型时有着较多的超参数需要人为进行设计训练，占用了大量的时间。在较少的时间内，深度模型识别通常很难达到一个较高的正确率。训练过程中使用到的各个模型中也只会选择最优的那一个，这就导致了训练资源被大大浪费。
[0003]目前在研究领域解决该问题的方法大概有两种，一为迁移学习，迁移学习能够将A域数据集上的模型迁移到B域数据集上继续训练，在较短的时间内达到较好的效果，二为集成学习，通常将训练好的多个模型的参数进行一定范式的结合。实际上这两种方法没有较大程度上的解决该问题。

技术实现思路

[0004]针对现实场景中视觉分类任务中训练效果较差，资源利用率不足，超参数设计严重，训练时间长的现状，本专利技术提出了一种基于基于元学习的集成式深度模型分类方法，从有标注数据中通过元学习知识转移的方式解决图像分类任务。
[0005]为实现上述目的，本专利技术所述的基于元学习的集成式深度模型分类方法，包括如下步骤：
[0006]1)收集与任务相关的有标注数据，划分数据集为训练集和测试集；
[0007]2)通过任务与数据类型选择多组较优的数据增强方式。
[0008]3)选择N个相同的的深度学习网络模型作为初始模型，选择1种算法作为模型集成所需的算法。
[0009]4)训练过程中将训练集部分采样得到当前查询集，剩下部分作为当前支撑集。
[0010]5)使用当前支撑集训练一轮的该N组模型，并进行梯度更新。
[0011]6)使用当前查询集验证该N组模型，通过计算损失对算法进行梯度更新，使用最终的算法对多模型集成，将集成模型参数替换掉该N个网络模型的参数。
[0012]7)重复4
‑
6步骤多次，使用最后一轮得到的算法对最后一轮得到的N组模型进行集成，得到最终的模型。
[0013]进一步，步骤1)所述的数据均有标注，且数据量充足能够用以训练；步骤1)所述的训练集数据与测试集数据同源。
[0014]进一步，步骤2)所述的较优的数据增强方式与数据集较为相关；所述的多种数据
增强方式需各不相同，无冲突与交叠。
[0015]进一步，步骤3)所述的N个网络需相同；选择的算法可将N个不同参数的同架构网络进行集成，可通过如下算法得到
[0016][0017]进一步，步骤4)所述的划分训练集方式为：将全部数据集划分为多个批次，选择少量的批次作为查询集，用于算法训练，选择剩下的批次作为支撑集，用于模型训练。
[0018]进一步，步骤5)所述的支撑集训练模型过程进行多轮，并且均优先于步骤6)查询集训练算法的过程，训练过程通过如下公式得到：
[0019][0020]进一步，步骤6)中使用集成算法得到的集成模型参数需替换掉模型组中的每一个模型的参数；训练算法过程通过如下公式得到：
[0021][0022]进一步，步骤7)中训练完模型后，使用最终的集成算法对N个模型进行参数集成。
[0023]本专利技术的有益效果如下：
[0024]本专利技术是一种基于元学习的集成深度模型分类。它同时使用到多个不同参数下的模型进行训练，在训练过程中寻找好的模型和好的参数，学习到了一组有效的集成算法和一组好的模型，通过集成能够对目标数据高效识别分类。
[0025]与传统方法相比，本专利技术能够有效缓解深度模型对训练参数的依赖性，提高算法在现实场景下实用性；本专利技术能够有效缓解训练资源浪费，训练时间长、训练效果差、超参数设计严重的问题。
附图说明
[0026]图1是本专利技术方法的流程示意图。
具体实施方式
[0027]下面结合附图和具体实施例对本专利技术的技术方案进行清晰、完整的解释和描述。
[0028]针对室外复杂场景中深度模型训练效果较差，资源利用率不足，超参数设计严重的现状，本实施例提出了一种使用本专利技术的基于元学习的集成式深度模型分类方法的室外人脸识别集成方法，从有标注数据中通过元学习知识转移的方式解决复杂场景下人脸识别任务。
[0029]为实现上述目的，本专利技术所述的基于元学习的室外人脸识别集成方法，包括如下步骤：
[0030]步骤1:对室外复杂环境下的场景进行分解，选择N种具有明显区别的特定场景作为方法的基场景，在不同的场景下收集与人脸识别相关的标注数据；
[0031]步骤2:对N个基场景得到的数据集进行随机采样，得到实验所需的测试集，并将剩余的数据依场景分为N个训练集；
[0032]步骤3:选择N个具有相同网络架构的模型作为初始模型，选择一种算法作为模型集成所需的算法。
[0033]步骤4:在训练过程中将N个训练集部分采样得到元学习算法所需的查询集，其余部分作为支撑集。
[0034]步骤5:使用支撑集不同训练子集分别训练该N组模型，并进行梯度更新。
[0035]步骤6:使用查询集验证该N组模型，并对算法进行梯度更新，使用更新后的算法对多模型集成，将集成模型参数替换掉该N个网络模型的参数。
[0036]步骤7:重复步骤4
‑
6多次，使用最后一轮得到的算法对最后一轮得到的N组模型进行集成，对在不同的室外复杂环境中人脸进行识别。
[0037]其中，步骤1中所述的对复杂环境的场景进行分解，例如雨天场景、白天场景、夜晚场景等不同的场景，通过该特定分类，使得模型融合不同场景的信息提高泛化能力；在基场景数量增大的情况下，识别技术能够得到进一步的性能提升；步骤1所述的数据均有标注；步骤1所述的训练集数据与测试集数据同源同分布，训练集中出现的类别在测试集中均已经出现。
[0038]其中，步骤2所述的测试集与训练集无相同数据重叠。
[0039]其中，步骤3所述的N个网络架构需相同；选择的算法可将N个不同参数的同架构网络进行集成，可通过如下算法得到
[0040][0041]其中，步骤4所述的划分训练集方式为：将全部的人脸数据集划分为多个批次，选择少量的批次作为查询集，用于算法训练，选择剩下的批次作为支撑集，用于模型训练，训练过程通过如下公式得到：
[0042][0043]其中，步骤5所述的支撑集训练模型过程进行多轮，并且均优先于步骤6查询集训练算法的过程。步骤6中使用集成算法得到的集成模型参数需替换掉模型组中的每一个模型的参数，训练算法过程通过如下公式得到：
[0044][0045]本实施例同时使用到多个不同环境下的数据进行有目标地训练单个模型，在训练过程中寻找更低的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于元学习的集成式深度模型分类方法，包含如下步骤：1)收集与任务相关的标注数据，划分数据集为训练集和测试集；2)通过任务与数据类型选择多组较优的数据增强方式，对初始数据进行增强。3)选择N个相同的的深度学习网络模型作为初始模型，选择1种算法作为模型集成所需的算法。4)训练过程中将训练集部分采样得到查询集，剩下部分作为支撑集。5)使用当前支撑集训练一轮的该N组模型，并进行梯度更新。6)使用当前查询集验证该N组模型，通过计算损失对算法进行梯度更新，使用最终的算法对多模型集成，将集成模型参数替换掉该N个网络模型的参数。7)重复4
‑
6步骤多次，使用最后一轮得到的算法对最后一轮得到的N组模型进行集成，得到最终的模型。2.根据权利要求1所述的一种基于元学习的集成式深度模型分类方法，其特征在于：步骤1)所述的数据均有标注，且数据量充足能够用以训练；步骤1)所述的训练集数据与测试集数据同源。3.根据权利要求1所述的一种基于元学习的集成式深度模型分类方法，其特征在于：步骤2)所述的较优的数据增强方式与数据集较为相关；所述的...

【专利技术属性】
技术研发人员：宋明黎，张江涛，宋杰，吴洋，黄文淇，
申请(专利权)人：浙江大学，
类型：发明
国别省市：