基于模型优化的数据处理方法、装置、计算机设备及介质制造方法及图纸

技术编号:38320102 阅读:12 留言:0更新日期:2023-07-29 09:02
本发明专利技术涉及人工智能技术领域,尤其涉及一种基于模型优化的数据处理方法、装置、计算机设备及介质。该方法将噪声输入生成模型中,得到生成图像,再将生成图像输入求解模型中,得到生成图像的标签,确定生成图像、实时图像及二者对应的标签,对求解模型进行训练,将随机生成的输入图像输入求解模型中,得到求解结果,根据由求解结果计算得到的损失值对输入图像进行更新,采用更新输入图像对求解模型进行再次训练,基于生成图像和实时图像对求解模型进行训练,能够使求解模型学习到实时图像的知识,对输入数据进行更新,拓展输入数据的多样性,提高了求解模型的泛化能力,从而在无历史样本的情况下提高了模型增量学习的准确率。样本的情况下提高了模型增量学习的准确率。样本的情况下提高了模型增量学习的准确率。

【技术实现步骤摘要】
基于模型优化的数据处理方法、装置、计算机设备及介质


[0001]本专利技术涉及人工智能
,尤其涉及一种基于模型优化的数据处理方法、装置、计算机设备及介质。

技术介绍

[0002]目前在实际应用场景下,通常直接部署训练好的模型对实时样本进行处理,但是由于训练好的模型是基于历史样本训练得到的,在实时样本与历史样本出现差异时,训练好的模型的处理准确率较低。
[0003]现有方法通常采用增量学习的方式来更新训练好的模型,以实时样本和历史样本作为训练集,对训练好的模型进行优化,使优化后的模型不但能够保留从历史样本中学习到的知识,而且能够从实时样本中学习到新的知识;
[0004]但是,随着对数据隐私的重视程度增加,模型提供方通常不会提供模型训练时的历史样本,导致模型使用方仅能够通过本地的实时样本对训练好的模型进行优化,导致模型的优化效果较差,严重降低了模型增量学习的准确率,因此,如何在无历史样本的情况下提高模型增量学习的准确率成为了亟待解决的问题。

技术实现思路

[0005]有鉴于此,本专利技术实施例提供了一种基于人工智能的模型训练方法、装置、计算机设备及介质,以解决在无历史样本的情况下模型增量学习的准确率较低的问题。
[0006]第一方面,本专利技术实施例提供一种基于模型优化的数据处理方法,所述数据处理方法包括:
[0007]将随机生成的噪声输入预训练好的生成模型中,得到生成图像,将所述生成图像输入预训练好的求解模型中,得到第一求解结果,确定所述第一求解结果为对应所述生成图像的标签;
[0008]获取实时图像和对应所述实时图像的标签,根据所述生成图像、所述实时图像和二者对应的标签,对所述预训练好的求解模型进行训练,得到训练好的求解模型;
[0009]随机生成输入图像,将所述输入图像分别输入所述预训练好的求解模型和所述训练好的求解模型中,得到第二求解结果和第三求解结果;
[0010]固定所述预训练好的求解模型和所述训练好的求解模型的参数,随机选择一实时图像的标签作为参考标签,将所述第二求解结果、所述第三求解结果和所述参考标签输入预设的损失函数,得到损失值,根据所述损失值对所述输入图像进行迭代训练,直至所述损失值收敛,得到更新输入图像;
[0011]确定所述参考标签为所述更新输入图像的标签,采用所述更新输入图像及其标签对所述训练好的求解模型进行再次训练,得到优化后的求解模型。
[0012]第二方面,本专利技术实施例提供一种基于模型优化的数据处理装置,所述数据处理装置包括:
[0013]图像生成模块,用于将随机生成的噪声输入预训练好的生成模型中,得到生成图像,将所述生成图像输入预训练好的求解模型中,得到第一求解结果,确定第一求解结果为对应所述生成图像的标签;
[0014]初步训练模块,用于获取实时图像和对应所述实时图像的标签,根据所述生成图像、所述实时图像和二者对应的标签,对所述预训练好的求解模型进行训练,得到训练好的求解模型;
[0015]随机生成模块,用于随机生成输入图像,将所述输入图像分别输入所述预训练好的求解模型和所述训练好的求解模型中,得到第二求解结果和第三求解结果;
[0016]输入更新模块,用于固定所述预训练好的求解模型和所述训练好的求解模型的参数,随机选择一实时图像的标签作为参考标签,将所述第二求解结果、所述第三求解结果、所述参考标签输入预设的损失函数,得到损失值,根据所述损失值对所述输入图像进行迭代训练,直至所述损失值收敛,得到更新输入图像;
[0017]再次训练模块,用于确定所述参考标签为所述更新输入图像的标签,采用所述更新输入图像及其标签对所述训练好的求解模型进行再次训练,得到优化后的求解模型。
[0018]第三方面,本专利技术实施例提供一种计算机设备,所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的数据处理方法。
[0019]第四方面,本专利技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的数据处理方法。
[0020]本专利技术实施例与现有技术相比存在的有益效果是:
[0021]将随机生成的噪声输入预训练好的生成模型中,得到生成图像,将生成图像输入预训练好的求解模型中,得到第一求解结果,确定第一求解结果为对应生成图像的标签,获取实时图像和对应实时图像的标签,根据生成图像、实时图像和二者对应的标签,对预训练好的求解模型进行训练,得到训练好的求解模型,随机生成输入图像,将输入图像分别输入预训练好的求解模型和训练好的求解模型中,得到第二求解结果和第三求解结果,固定预训练好的求解模型和训练好的求解模型的参数,随机选择一实时图像的标签作为参考标签,将第二求解结果、第三求解结果和参考标签输入预设的损失函数,得到损失值,根据损失值对输入图像进行迭代训练,直至损失值收敛,得到更新输入图像,确定参考标签为更新输入图像的标签,采用更新输入图像及其标签对训练好的求解模型进行再次训练,得到优化后的求解模型,由于生成模型能够确保生成图像与未知的历史样本较为接近,基于生成模型得到生成图像和获取的实时图像对求解模型进行再次训练,能够使求解模型在保证准确率的情况下学习到实时图像的知识更新模型参数,同时采用针对输入数据的训练对输入数据进行优化,拓展了输入数据的多样性,再基于更新输入数据对求解模型进行再次训练,提高了求解模型的泛化能力,从而在无历史样本的情况下提高了模型增量学习的准确率。
附图说明
[0022]为了更清楚地说明本专利技术实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些
实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0023]图1是本专利技术实施例一提供的一种基于模型优化的数据处理方法的一应用环境示意图;
[0024]图2是本专利技术实施例一提供的一种基于模型优化的数据处理方法的流程示意图;
[0025]图3是本专利技术实施例二提供的一种基于模型优化的数据处理方法的流程示意图;
[0026]图4是本专利技术实施例三提供的一种基于模型优化的数据处理装置的结构示意图;
[0027]图5是本专利技术实施例四提供的一种计算机设备的结构示意图。
具体实施方式
[0028]以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本专利技术实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本专利技术的描述。
[0029]应当理解,当在本专利技术说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于模型优化的数据处理方法,其特征在于,所述数据处理方法包括:将随机生成的噪声输入预训练好的生成模型中,得到生成图像,将所述生成图像输入预训练好的求解模型中,得到第一求解结果,确定所述第一求解结果为对应所述生成图像的标签;获取实时图像和对应所述实时图像的标签,根据所述生成图像、所述实时图像和二者对应的标签,对所述预训练好的求解模型进行训练,得到训练好的求解模型;随机生成输入图像,将所述输入图像分别输入所述预训练好的求解模型和所述训练好的求解模型中,得到第二求解结果和第三求解结果;固定所述预训练好的求解模型和所述训练好的求解模型的参数,随机选择一实时图像的标签作为参考标签,将所述第二求解结果、所述第三求解结果和所述参考标签输入预设的损失函数,得到损失值,根据所述损失值对所述输入图像进行迭代训练,直至所述损失值收敛,得到更新输入图像;确定所述参考标签为所述更新输入图像的标签,采用所述更新输入图像及其标签对所述训练好的求解模型进行再次训练,得到优化后的求解模型。2.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述生成图像、所述实时图像和二者对应的标签,对所述预训练好的求解模型进行训练,得到训练好的求解模型包括:将所述实时图像输入所述预训练好的求解模型,得到对应所述实时图像的第四求解结果;根据所述第一求解结果、所述对应所述生成图像的标签和预设的求解损失函数,计算第一损失,根据所述第四求解结果、所述对应所述实时图像的标签和所述求解损失函数,计算第二损失;将所述第一损失和所述第二损失加权相加,以相加结果为依据,采用梯度下降法更新所述预训练好的求解模型的参数,直至所述相加结果收敛,得到训练好的求解模型。3.根据权利要求2所述的数据处理方法,其特征在于,所述将所述第一损失和所述第二损失加权相加包括:统计得到所述生成图像的第一数量和所述实时图像的第二数量,计算所述第一数量与所述第二数量的和,得到总数量;以所述第一数量与所述总数量的比值作为所述第一损失的第一权重,以所述第二数量与所述总数量的比值作为所述第二损失的第二权重;根据所述第一权重和第二权重,将所述第一损失和所述第二损失加权相加。4.根据权利要求1所述的数据处理方法,其特征在于,所述预训练好的生成模型包括预训练好的生成器和预训练好的判别器;在所述得到训练好的求解模型之后,还包括:从所述生成图像和所述实时图像中任选一张图像作为目标图像,将所述目标图像输入所述预训练好的判别器中,得到对应所述目标图像的判别结果;根据所述目标图像所属的图像类别、所述对应所述目标图像的判别结果和预设的判别损失函数,计算第一判别损失,以所述第一判别损失为依据,更新所述预训练好的判别器中的参数,得到训练好的判别器,所述图像类别包括所述生成图像对应的生成图像类别和所
述实时图像对应的实时图像类别;随机生成目标噪声,将所述目标噪声输入所述预训练好的生成器中,得到噪声图像,再将所述噪声图像输入所述训练好的判别器中,得到对应所述噪声图像的判别结果,根据所述对应所述噪声图像的判别结果、所述实时图像类别和所述判别损失函数,计算第二判别损失,以所述第二判别损失为依据,更新所述预训练好的生成...

【专利技术属性】
技术研发人员:瞿晓阳王健宗
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1