一种模型升级方法和系统、数据处理方法和系统技术方案

本申请公开一种模型升级方法和系统、数据处理方法和系统。所述模型升级方法，应用于多业务场景，所述多业务场景应用的初始模型相同；所述方法包括：从待升级的模型处理过的业务数据中采集第一训练数据；对第一训练数据进行预处理得到第二训练数据；利用第二训练数据对至少一个待训练的模型进行自训练；对至少一个训练好的模型进行测试，得到测试结果，根据所述测试结果得到目标模型；基于所述目标模型对待升级的模型进行升级。从训练数据的收集到模型的产出，整个流程没有人工干预的，能够避免了数据的泄露。同时由于训练数据来源于相应的业务场景中的数据，因此迭代升级的模型能够更好的适配业务场景。更好的适配业务场景。更好的适配业务场景。

【技术实现步骤摘要】
一种模型升级方法和系统、数据处理方法和系统


[0001]本申请涉及数据处理领域，尤其涉及一种模型升级方法和系统、数据处理方法和系统、计算机设备和存储介质。

技术介绍

[0002]在很多业务场景中，由于隐私保护的要求，数据是不允许流出的。比如在机场场景中，过安检的人脸图片和机场中抓拍到的人脸图片，这些涉及个人隐私的数据是不允许拷贝出来的。因此，算法人员是无法拿到业务场景中的数据来进行业务模型的训练，增加了训练的难度。

技术实现思路

[0003]基于上述问题，本申请提供了一种模型升级方法和系统、数据处理方法和系统、计算机设备和存储介质，能够在无人工干预的情况下实现业务模型优化。
[0004]本申请公开了如下技术方案：
[0005]本申请第一方面提供一种模型升级方法，应用于多业务场景，所述多业务场景应用的初始模型相同；
[0006]所述方法包括：
[0007]从待升级的模型处理过的业务数据中采集第一训练数据；所述处理过的业务数据包括被处理的业务信息和待升级的模型对业务信息进行处理得到的处理后结果信息；
[0008]对第一训练数据进行预处理得到第二训练数据；
[0009]利用第二训练数据对至少一个待训练的模型进行自训练；
[0010]对至少一个训练好的模型进行测试，得到测试结果，根据所述测试结果得到目标模型；
[0011]基于所述目标模型对待升级的模型进行升级。
[0012]在一个可能的实现方式中，所述对第一数据进行预处理得到第二训练数据，包括：
[0013]对第一数据进行数据清洗，对清洗后的第一数据进行预处理，得到第二训练数据。
[0014]在一个可能的实现方式中，所述基于所述目标模型对待升级的模型进行升级，包括：
[0015]按照预设规则比较所述目标业务模型和待升级的模型的性能；
[0016]若所述目标业务模型性能优于待升级的模型，则将所述目标业务模型替换待升级的模型。
[0017]在一个可能的实现方式中，所述方法还包括：根据存储空间容量大小，确定自训练的模型数量。
[0018]在一个可能的实现方式中，所述方法还包括：每个预设时间触发一次自训练，或者当所述第一训练数据达到预设量时触发自训练。
[0019]本申请第二方面提供一种数据处理方法，应用于多业务场景，所述方法包括：
[0020]接收待处理数据；
[0021]利用待处理数据对应的业务处理模型对所述待处理数据进行处理，得到处理结果；所述处理模型利用如本申请实施例第一方面中任一项所述的模型升级方法进行升级。
[0022]本申请第三方面提供一种模型升级系统，应用于多业务系统，所述多业务系统应用的初始模型相同；
[0023]所述模型升级系统包括：
[0024]训练数据采集模块，用于从待升级的模型处理过的业务数据中采集第一训练数据；所述处理过的业务数据包括被处理的业务信息和待升级的模型对业务信息进行处理得到的处理后结果信息；
[0025]训练数据处理模块，用于对第一训练数据进行预处理得到第二训练数据；
[0026]模型自训练模块，用于利用第二训练数据对至少一个待训练的模型进行自训练；
[0027]模型测试模块，用于对至少一个训练好的模型进行测试，得到测试结果，根据所述测试结果得到目标模型；
[0028]升级上线模块，用于基于所述目标模型对待升级的模型进行升级。
[0029]本申请第四方面提供一种数据处理系统，包括：多个数据处理子系统和本申请实施例第二方面中任一项所述的模型升级系统；
[0030]所述数据处理子系统用于接收待处理数据；利用待处理数据对应的业务处理模型对所述待处理数据进行处理，得到处理结果；模型升级系统用于对每个数据处理子系统的业务处理模型进行升级。
[0031]本申请第五方面提供一种计算机设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如本申请第一方面中任一项所述的模型升级方法或如本申请实施例第二方面中所述的数据处理方法。
[0032]本申请第六方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如本申请第一方面中任一项所述的模型升级方法或如本申请实施例第二方面中所述的数据处理方法。
[0033]相较于现有技术，本申请具有以下有益效果：
[0034]本申请提供的一种模型升级方法，应用于多业务场景，所述多业务场景应用的初始模型相同；所述方法包括：从待升级的模型处理过的业务数据中采集第一训练数据；对第一训练数据进行预处理得到第二训练数据；利用第二训练数据对至少一个待训练的模型进行自训练；对至少一个训练好的模型进行测试，得到测试结果，根据所述测试结果得到目标模型；基于所述目标模型对待升级的模型进行升级。从训练数据的收集到模型的产出，整个流程没有人工干预的，能够避免了数据的泄露。同时由于训练数据来源于相应的业务场景中的数据，因此迭代升级的模型能够更好的适配业务场景。
附图说明
[0035]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可
以根据这些附图获得其他的附图。
[0036]图1为本申请实施例提供的一种模型升级方法流程图；
[0037]图2为本申请实施例提供的多业务场景的模型升级示意图；
[0038]图3为本申请实施例提供的一个业务场景模型升级过程示意图；
[0039]图4为本申请实施例提供的一个业务场景运行过程示意图；
[0040]图5为本申请实施例提供的一种模型升级系统结构图；
[0041]图6为本申请实施例提供的一种数据处理系统结构图；
[0042]图7为本申请实施例提供的一种电子设备结构示意图。
具体实施方式
[0043]为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
[0044]正如前文所述，在很多业务场景中，由于隐私保护，数据是不允许流出的。比如在机场场景中，过安检的人脸图片和机场中抓拍到的人脸图片，这些都是涉及个人隐私的信息，不允许拷贝出来。因此算法人员是无法拿到业务场景中的数据的，增加了训练的难度。
[0045]此外，业务场景中用到的模型只要能很好地过拟合到该业务场景中就可以，但无需泛化性很好。但对算法人员而言，针对每个场景训练一个模型，这个任务是比较繁重的，所以一般情况下会训练一个通用的算法模型，能够适配于各个场景，但这种泛化性很好地模型训练起来非常困难。
[0046]有鉴于此，本申请实施例提供一种模型升级方法和系统、数据处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型升级方法，应用于多业务场景，其特征在于，所述多业务场景应用的初始模型相同；所述方法包括：从待升级的模型处理过的业务数据中采集第一训练数据；所述处理过的业务数据包括被处理的业务信息和待升级的模型对业务信息进行处理得到的处理后结果信息；对第一训练数据进行预处理得到第二训练数据；利用第二训练数据对至少一个待训练的模型进行自训练；对至少一个训练好的模型进行测试，得到测试结果，根据所述测试结果得到目标模型；基于所述目标模型对待升级的模型进行升级。2.根据权利要求1所述的方法，其特征在于，所述对第一数据进行预处理得到第二训练数据，包括：对第一数据进行数据清洗，对清洗后的第一数据进行预处理，得到第二训练数据。3.根据权利要求1所述的方法，其特征在于，所述基于所述目标模型对待升级的模型进行升级，包括：按照预设规则比较所述目标业务模型和待升级的模型的性能；若所述目标业务模型性能优于待升级的模型，则将所述目标业务模型替换待升级的模型。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据存储空间容量大小，确定自训练的模型数量。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：每隔预设时间触发一次自训练，或者当数据库中的第一训练数据的新增量达到预设量时触发自训练。6.一种数据处理方法，应用于多业务场景，其特征在于，所述方法包括：接收待处理数据；利用待处理数据对应的业务处理模型对所述待处理数据进行处理，得到处理结果；所述业务处理模型利用如权利要求1
‑
4中任一项所述的模型升级方法进行...

【专利技术属性】
技术研发人员：王丽芸，
申请(专利权)人：北京爱笔科技有限公司，
类型：发明
国别省市：