本发明专利技术涉及预测数据处理技术领域，公开了一种基于增量学习的数据分类方法、装置、设备及存储介质，所述方法包括：获取待分类的视觉图像数据和初始数据分类模型；在初始数据分类模型不满足预设上线指标规则时，获取与待分类的视觉图像数据相关联的检测视觉数据；根据视觉图像数据、检测视觉数据以及目标损失函数增量训练出目标数据分类模型；通过目标数据分类模型对待分类的视觉图像数据进行分类；通过上述方式，在初始数据分类模型不满足预设上线指标规则时，根据检测视觉数据和检测视觉数据以及目标损失函数增量训练出目标数据分类模型，然后通过目标数据分类模型进行视觉图像数据的分类，从而能够有效提高分类视觉图像数据的准确性和效率。准确性和效率。准确性和效率。
【技术实现步骤摘要】
基于增量学习的数据分类方法、装置、设备及存储介质
[0001]本专利技术涉及预测数据处理
，尤其涉及基于增量学习的数据分类方法、装置、设备及存储介质。
技术介绍
[0002]在计算机中，视觉图像数据分类通常是利用卷积神经网络的模型结构，即通过卷积神经网络可以自动提取视觉图像数据的特征，而不需要人工进行特征提取，然而，卷积神经网络的训练往往会遇到灾难性遗忘的问题，例如，在使用旧视觉图像数据训练得到数据分类模型后，再利用新视觉图像数据进行训练，学习新视觉图像数据的知识会覆盖原来旧视觉图像数据的知识，导致新训练的数据分类模型在旧视觉图像数据上指标降低，为解决上述技术问题，目前常用的相关技术为联合训练和旧模型微调训练实现数据分类模型的迭代更新，但是联合训练耗时较长且训练所占用的内存容量较大，而旧模型微调训练后的模型无法满足部署上线的指标规则，造成最终分类视觉图像数据的准确性和效率较低。
[0003]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
[0004]本专利技术的主要目的在于提供一种基于增量学习的数据分类方法、装置、设备及存储介质，旨在解决现有技术因分类模型训练时间较长和目标分类模型训练时无法有效利用已训练好的模型知识，造成分类视觉图像数据的准确性和效率较低的技术问题。
[0005]为实现上述目的，本专利技术提供了一种基于增量学习的数据分类方法，所述基于增量学习的数据分类方法包括以下步骤：获取待分类的视觉图像数据和初始数据分类模型；在所述初始数据分类模型不满足预设上线指标规则时，获取与所述待分类的视觉图像数据相关联的检测视觉数据；根据所述视觉图像数据、检测视觉数据以及目标损失函数增量训练出目标数据分类模型；通过所述目标数据分类模型对所述待分类的视觉图像数据进行分类。
[0006]可选地，所述获取待分类的视觉图像数据和初始数据分类模型，包括：获取待分类的视觉图像数据，对所述待分类的视觉图像数据进行清洗；对清洗后的视觉图像数据进行特征提取，得到视觉图像特征数据；根据所述视觉图像特征数据确定所需的卷积层、Pooling层、ReLU层、全连接层、Softmax层的Caffe分类网络；根据所述所需的卷积层、Pooling层、ReLU层、全连接层、Softmax层的Caffe分类网络训练出初始数据分类模型。
[0007]可选地，所述根据所述所需的卷积层、Pooling层、ReLU层、全连接层、Softmax层的
Caffe分类网络训练出初始数据分类模型之后，还包括：在所述初始数据分类模型满足预设上线指标规则时，对所述初始数据分类模型进行上线部署。
[0008]可选地，所述在所述初始数据分类模型不满足预设上线指标规则时，获取与所述待分类的视觉图像数据相关联的检测视觉数据，包括：在所述初始数据分类模型不满足预设上线指标规则时，获取所述待分类的视觉图像数据的批次信息；根据所述批次信息在预设视觉数据库中查询出漏检视觉数据和过检视觉数据；根据所述漏检视觉数据和过检视觉数据得到与所述待分类的视觉图像数据相关联的检测视觉数据。
[0009]可选地，所述根据所述视觉图像数据、检测视觉数据以及目标损失函数增量训练出目标数据分类模型，包括：根据初始数据分类模型和所述视觉图像数据推理出对应的softmax输出值；通过预设熵值算法对所述softmax输出值进行计算，得到当前熵值；按照所述当前熵值的大小关系对所述视觉图像数据进行排序，得到视觉图像数据排序结果；在所述视觉图像数据排序结果中选取出前N个视觉图像数据作为目标视觉图像数据；根据所述目标视觉图像数据、检测视觉数据以及目标损失函数增量训练出目标数据分类模型。
[0010]可选地，所述根据所述目标视觉图像数据、检测视觉数据以及目标损失函数增量训练出目标数据分类模型，包括：获取初始分类损失函数和预设蒸馏损失函数；将所述初始分类损失函数和所述预设蒸馏损失函数进行拼接，得到目标损失函数；通过所述目标损失函数根据所述目标视觉图像数据、检测视觉数据训练出目标数据分类模型。
[0011]可选地，所述通过所述目标数据分类模型对所述待分类的视觉图像数据进行分类之前，还包括：获取所述目标数据分类模型的增量训练耗时和增量占用内存容量；获取联合模型训练的联合训练耗时和联合占用内存容量；在所述联合训练耗时大于增量训练耗时且所述联合占用内存容量大于增量占用内存容量时，判断所述目标数据分类模型是否满足预设上线指标规则；在所述目标数据分类模型满足预设上线指标规则时，继续执行通过所述目标数据分类模型对所述待分类的视觉图像数据进行分类。
[0012]此外，为实现上述目的，本专利技术还提出一种基于增量学习的数据分类装置，所述基于增量学习的数据分类装置包括：获取模块，用于获取待分类的视觉图像数据和初始数据分类模型；判断模块，用于在所述初始数据分类模型不满足预设上线指标规则时，获取与所
述待分类的视觉图像数据相关联的检测视觉数据；训练模块，用于根据所述视觉图像数据、检测视觉数据以及目标损失函数增量训练出目标数据分类模型；分类模块，用于通过所述目标数据分类模型对所述待分类的视觉图像数据进行分类。
[0013]此外，为实现上述目的，本专利技术还提出一种基于增量学习的数据分类设备，所述基于增量学习的数据分类设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于增量学习的数据分类程序，所述基于增量学习的数据分类程序配置为实现如上文所述的基于增量学习的数据分类方法。
[0014]此外，为实现上述目的，本专利技术还提出一种存储介质，所述存储介质上存储有基于增量学习的数据分类程序，所述基于增量学习的数据分类程序被处理器执行时实现如上文所述的基于增量学习的数据分类方法。
[0015]本专利技术提出的基于增量学习的数据分类方法，通过获取待分类的视觉图像数据和初始数据分类模型；在所述初始数据分类模型不满足预设上线指标规则时，获取与所述待分类的视觉图像数据相关联的检测视觉数据；根据所述视觉图像数据、检测视觉数据以及目标损失函数增量训练出目标数据分类模型；通过所述目标数据分类模型对所述待分类的视觉图像数据进行分类；通过上述方式，在初始数据分类模型不满足预设上线指标规则时，根据检测视觉数据和检测视觉数据以及目标损失函数增量训练出目标数据分类模型，然后通过目标数据分类模型进行视觉图像数据的分类，从而能够有效提高分类视觉图像数据的准确性和效率。
附图说明
[0016]图1是本专利技术实施例方案涉及的硬件运行环境的基于增量学习的数据分类设备的结构示意图；图2为本专利技术基于增量学习的数据分类方法第一实施例的流程示意图；图3为本专利技术基于增量学习的数据分类方法一实施例的整体流程示意图；图4为本专利技术基于增量学习的数据分类方法第二实施例的流程示意图；图5为本专利技术基于增量学习的数据分类装置第一实施例的功能模块示意图。
[0017]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0018本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于增量学习的数据分类方法，其特征在于，所述基于增量学习的数据分类方法包括以下步骤：获取待分类的视觉图像数据和初始数据分类模型；在所述初始数据分类模型不满足预设上线指标规则时，获取与所述待分类的视觉图像数据相关联的检测视觉数据；根据所述视觉图像数据、检测视觉数据以及目标损失函数增量训练出目标数据分类模型；通过所述目标数据分类模型对所述待分类的视觉图像数据进行分类。2.如权利要求1所述的基于增量学习的数据分类方法，其特征在于，所述获取待分类的视觉图像数据和初始数据分类模型，包括：获取待分类的视觉图像数据，对所述待分类的视觉图像数据进行清洗；对清洗后的视觉图像数据进行特征提取，得到视觉图像特征数据；根据所述视觉图像特征数据确定所需的卷积层、Pooling层、ReLU层、全连接层、Softmax层的Caffe分类网络；根据所述所需的卷积层、Pooling层、ReLU层、全连接层、Softmax层的Caffe分类网络训练出初始数据分类模型。3.如权利要求2所述的基于增量学习的数据分类方法，其特征在于，所述根据所述所需的卷积层、Pooling层、ReLU层、全连接层、Softmax层的Caffe分类网络训练出初始数据分类模型之后，还包括：在所述初始数据分类模型满足预设上线指标规则时，对所述初始数据分类模型进行上线部署。4.如权利要求1所述的基于增量学习的数据分类方法，其特征在于，所述在所述初始数据分类模型不满足预设上线指标规则时，获取与所述待分类的视觉图像数据相关联的检测视觉数据，包括：在所述初始数据分类模型不满足预设上线指标规则时，获取所述待分类的视觉图像数据的批次信息；根据所述批次信息在预设视觉数据库中查询出漏检视觉数据和过检视觉数据；根据所述漏检视觉数据和过检视觉数据得到与所述待分类的视觉图像数据相关联的检测视觉数据。5.如权利要求1所述的基于增量学习的数据分类方法，其特征在于，所述根据所述视觉图像数据、检测视觉数据以及目标损失函数增量训练出目标数据分类模型，包括：根据初始数据分类模型和所述视觉图像数据推理出对应的softmax输出值；通过预设熵值算法对所述softmax输出值进行计算，得到当前熵值；按照所述当前熵值的大小关系对所述视觉图像数据进行排序，得到视觉图像数据排序结...
【专利技术属性】
技术研发人员：黄耀，陈家骏，
申请(专利权)人：北京阿丘科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。