【技术实现步骤摘要】
本专利技术属于深度学习，涉及一种自适应数量分配及数据选择方法及系统，具体涉及一种深度神经网络中基于自适应数量动态分配和基于质量的数据选择方法及系统。
技术介绍
1、深度神经网络在广泛的任务中展示了卓越的能力，能够持续更新的动态神经网络的需求日益迫切，尤其是在持续学习领域，深度神经网络模型被期望从一系列任务的数据流中顺序学习，但是深度神经网络通常面临着灾难性遗忘的重大挑战，在训练新任务时，深度神经网络模型往往会丧失先前获得的知识，这主要归因于神经网络对当前任务的过拟合，这一挑战说明了我们迫切需要一种新的方法，在吸收学习新知识的同时强化旧知识。
2、许多研究已尝试通过实施“重播缓冲区”来缓解灾难性遗忘，该缓冲区保留历史数据对旧知识进行复习，然而目前基于数据重放的方法并未发挥重播缓冲区的潜力，它们采用了对每个任务的缓冲区空间按固定数量进行分配，忽视了不同任务固有的遗忘速率差异；此外这种方法通常忽视了缓冲区内数据的质量，有可能会损害模型复习的有效性。
3、当前在持续学习中，用于解决灾难性遗忘的方法主要有三种，分别是参数隔离、正则化、数据重放。
4、(1)参数隔离法将模型的参数分割为不同的知识集，以最小化任务的干扰，典型的例子包括rusu等人提出的渐近神经网络progressive neural networks和masse等人提出的基于文本的门控context-dependent gating。尽管这些方法在减少干扰方面有效，但是它们在任务发生扩展时会遇到可扩展性的问题。
5、(2)基于正
6、(3)基于数据重放的方法，该方法通过使用历史数据进行强化，反映了人类学习的过程，它依赖于一个重放缓冲区来存储历史的数据，通常这个缓冲区的大小是限定的，其中典型的例子包括rolnick等人提出的experience replay、rebuffi等人提出的incrementalclassifier and representation learning。然而这种方法的主要挑战在于缓冲区空间的战略分配和高质量样本的选择。许多现有的方法要么利用所有可用的旧数据，要么采用随机选择数据，忽略了重播缓冲区中样本的质量和数量。
技术实现思路
1、为了解决持续学习中的灾难性遗忘的问题，本专利技术关注深度神经网络模型如何在适应新的任务时，保留先前的知识，提出了一种基于自适应数量动态分配和基于质量的数据选择方法及系统，能够有效的缓解灾难性遗忘问题，并在多个任务下保持较高的准确率。
2、本专利技术的方法所采用的技术方案是：一种深度神经网络中自适应数量分配方法，其特征在于，包括以下步骤：
3、步骤1：训练深度神经网络，并在每一轮任务训练结束后，对当前所有任务进行准确性评估，衡量每个任务的遗忘率fp和当前任务对先前任务的干扰率ip；
4、步骤2：使用自适应的数量分配算法，利用遗忘率和干扰率计算每个任务需要复习的注意力，按照注意力分配缓冲区空间，实现重播缓冲区空间动态管理。
5、作为优选，步骤1中，构建当前训练集，所述训练集由缓冲区中存储的历史任务数据和当前获得的新任务数据组成；通过融合历史任务数据和新任务数据，形成具有多样性的训练样本，以供深度神经网络模型进行训练。
6、作为优选，步骤1中，遗忘率fp为：
7、
8、其中，τ为任务总数、p为任务，准确率表示在第i轮中模型对任务p的测试集预测正确的比例；
9、在完成第τ个任务后，计算所有任务集合p的准确率，τ轮次的准确率记录在accτ中，为计算先前任务的遗忘率fp，比较每个任务的历史最高准确率，以及在τ轮次训练后的任务准确率。
10、作为优选，步骤1中，干扰率ip为：
11、
12、其中，τ为任务总数、p为任务，为第τ个任务的准确率，p为所有任务集合；ip表示任务τ与p之间的干扰，它是基于τ轮训练之前和之后任务p准确率变化来计算的。
13、作为优选，步骤2的具体实现包括以下子步骤：
14、步骤2.1：计算先前任务的注意力attp：
15、attp＝-log(1-fp)|p∈p,fp∈fp；
16、其中，p为任务，p为所有任务集合；attp是分配给每个任务的注意力，与其遗忘率成正比；
17、计算当前任务注意力atti：
18、
19、其中，τ为任务总数、ip为第i个任务的干扰率；
20、步骤2.2：使用softmax转换将a归一化为概率分布；
21、
22、a＝{attp|p∈p}＝{att1,att2,...,attτ}；
23、步骤2.3：将先前任务集合按照阈值λ划分为两个子集psr和ptr；
24、
25、其中，|p|表示集合p中任务的数量，表示任务p在进行了softmax(s)之后，对它分配的注意力；
26、设置最小注意力阈值，在确保对psr分配最小的注意力之后，再将剩余的注意力按照比例分配给ptr。
27、本专利技术提供的一种深度神经网络中数据选择方法，利用基于特征提取的数据选择算法，将深度神经网络模型的一部分作为特征提取器，将数据映射到潜在特征空间，实现优质数据选择；
28、具体实现包括以下子步骤：
29、(1)从类别t的数据集中随机选择一个样本；
30、(2)选择下一个样本，该样本与之前所选的所有样本的平均特征表示与类别t在特征空间中的平均特征表示之间的距离最小；
31、(3)重复步骤(1)和(2)，直至选取总数为n的样本数据。
32、本专利技术提供的一种深度神经网络中自适应数量分配系统，包括以下模块：
33、模块1，用于训练深度神经网络，并在每一轮任务训练结束后，对当前所有任务进行准确性评估，衡量每个任务的遗忘率fp和当前任务对先前任务的干扰率ip；
34、模块2，用于使用自适应的数量分配算法，利用遗忘率和干扰率计算每个任务需要复习的注意力，按照注意力分配缓冲区空间，实现重播缓冲区空间动态管理。
35、本专利技术提供的一种深度神经网络中数据选择系统，包括优质数据选择模块；所述优质数据选择，用于利用基于特征提取的数据选择算法，将深度神经网络模型的一部分作为特征提取器，将数据映射到潜在特征空间，实现优质数据选择。
36、相对于现有技术，本专利技术的有益效果是：
37、本专利技术弥补了本文档来自技高网...
【技术保护点】
1.一种深度神经网络中自适应数量分配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的深度神经网络中自适应数量分配方法，其特征在于：步骤1中，构建当前训练集，所述训练集由缓冲区中存储的历史任务数据和当前获得的新任务数据组成；通过融合历史任务数据和新任务数据，形成具有多样性的训练样本，以供深度神经网络模型进行训练。
3.根据权利要求1所述的深度神经网络中自适应数量分配方法，其特征在于：步骤1中，遗忘率Fp为：
4.根据权利要求1所述的深度神经网络中自适应数量分配方法，其特征在于：步骤1中，干扰率Ip为：
5.根据权利要求1-4任一项所述的深度神经网络中自适应数量分配方法，其特征在于：步骤2的具体实现包括以下子步骤：
6.一种深度神经网络中数据选择方法，其特征在于：利用基于特征提取的数据选择算法，将深度神经网络模型的一部分作为特征提取器，将数据映射到潜在特征空间，实现优质数据选择；
7.一种深度神经网络中自适应数量分配系统，其特征在于，包括以下模块：
8.一种深度神经网络中数据选择系统，其特征
...【技术特征摘要】
1.一种深度神经网络中自适应数量分配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的深度神经网络中自适应数量分配方法，其特征在于：步骤1中，构建当前训练集，所述训练集由缓冲区中存储的历史任务数据和当前获得的新任务数据组成；通过融合历史任务数据和新任务数据，形成具有多样性的训练样本，以供深度神经网络模型进行训练。
3.根据权利要求1所述的深度神经网络中自适应数量分配方法，其特征在于：步骤1中，遗忘率fp为：
4.根据权利要求1所述的深度神经网络中自适应数量分配方法，其特征在于：步骤1中，干扰率ip为：
5.根据权利要求1...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。