一种数据处理模型训练方法、系统、电子设备和存储介质技术方案

本发明专利技术公开了一种数据处理模型训练方法、系统、电子设备和存储介质，其中，该方法包括：获取探索数据和至少一个数据处理模型；根据预设配置文件确定所述探索数据与所述数据处理模型的适配情况；基于所述适配情况对所述探索数据和所述数据处理模型进行模型训练。本发明专利技术实施例实现了算法模型的自动化训练，可减少人员技术能力强弱不一对模型训练结果的影响，可提高算法模型训练的准确性，增强用户的模型使用体验。用体验。用体验。

【技术实现步骤摘要】
一种数据处理模型训练方法、系统、电子设备和存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理模型训练方法、装置、电子设备和存储介质。

技术介绍

[0002]随着信息网络技术的飞速发展，社会逐渐进入信息时代，以信息技术为核心的高新技术群飞速发展，使得信息数据逐渐成为重要的战略资源。目前伴随着信息网络技术的发展，信息系统逐渐向数字化、网络化、智能化方向进步。然而目前信息系统存在信息数据利用智能化程度较低。而深度学习作为当前人工智能领域的研究热点，由于其具有强大的特征表示以及学习能力，可解决当前信息数据利用智能化程度低的问题。深度学习基于信息数据可在目标识别、态势感知、指挥决策等方面具有出色的表现。由于深度学习的算法模型需要依靠特点数据以及特点情况进行应用，为满足不同领域不同的功能需求，越来越多的算法模型不断整合到信息系统内，各单位分别对算法模型进行管理维护。但是由于各单位的维护人员的技术能力不一，导致部分算法模型处于无管理状态，算法模型不能得到准确有效的训练，极大影响了信息系统的功能准确性。

技术实现思路

[0003]本专利技术提供了一种数据处理模型训练方法、系统、电子设备和存储介质，以实现算法模型的自动化训练，减少人员技术能力对模型训练结果的影响，可提高算法模型训练的准确性，可提高用户使用体验。
[0004]根据本专利技术的一方面，提供了一种数据处理模型训练方法，其中，该方法包括：
[0005]获取探索数据和至少一个数据处理模型；
[0006]根据预设配置文件确定所述探索数据与所述数据处理模型的适配情况；
[0007]基于所述适配情况对所述探索数据和所述数据处理模型进行模型训练。
[0008]根据本专利技术的另一方面，提供了一种数据处理模型训练系统，其中，该系统包括：
[0009]探索触发模块，用于获取探索数据和至少一个数据处理模型；
[0010]适配检查模块，用于根据预设配置文件确定所述探索数据与所述数据处理模型的适配情况；
[0011]模型训练模块，用于基于所述适配情况对所述探索数据和所述数据处理模型进行模型训练。
[0012]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0013]至少一个处理器；以及
[0014]与所述至少一个处理器通信连接的存储器；其中，
[0015]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的数据处理模型训练方法。
[0016]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的数据处理模型训练方法。
[0017]本专利技术实施例的技术方案，通过获取探索数据和数据处理模型，基于预设配置文件确定探索数据与数据处理模型的适配情况，按照适配情况基于探索数据对数据处理模型进行模型训练，本专利技术实施例可实现算法模型的自动化训练，减少人员技术能力强弱不一对模型训练结果的影响，可提高算法模型训练的准确性，可提高用户使用体验。
[0018]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0019]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是根据本专利技术实施例一提供的一种数据处理模型训练方法的流程图；
[0021]图2是根据本专利技术实施例二提供的另一种数据处理模型训练方法的流程图；
[0022]图3是根据本专利技术实施例三提供的另一种数据处理模型训练系统的结构示意图；
[0023]图4是实现本专利技术实施例的数据处理模型训练方法的电子设备的结构示意图。
具体实施方式
[0024]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0025]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0026]实施例一
[0027]图1是根据本专利技术实施例一提供的一种数据处理模型训练方法的流程图，本实施例可适用于数据处理模型统一训练管理情况，该方法可以由数据处理模型训练装置来执行，该数据处理模型训练装置可以采用硬件和/或软件的形式实现，该数据处理模型训练装置可配置于服务器或服务器集群中。如图1所示，该方法包括：
[0028]步骤110、获取探索数据和至少一个数据处理模型。
[0029]其中，探索数据可以是用于训练数据处理模型的信息，探索数据可以包括结构化数据、半结构化数据以及非结构化数据，探索数据可以预先经过预处理，可以对探索数据进行零均值处理、归一化处理、白噪声处理、主成分分析法处理中的一种或多种，探索数据可以包括标签或不包括标签。数据处理模型可以是对数据进行处理的模型，数据处理模型可以为实现某个功能而构建，数据处理模型可以包括深度学习模型、神经网络模型等。
[0030]在本专利技术实施例中，可以获取用于进行数据处理模型训练的探索数据以及至少一个数据处理模型，可以理解的是，该探索数据以及数据处理模型可以由用户指定，也可以由计算机自动选择。在一个示例性的实施方式中，探索数据可以由用户指定获取，而数据处理模型可以根据用户权限自动推荐生成。而在另一个示例性的实施方式中，用户可以选择数据处理模型，而执行本专利技术方法的设备可以根据业务功能以及数据处理模型的训练要求自动选择探索数据。
[0031]步骤120、根据预设配置文件确定探索数据与数据处理模型的适配情况。
[0032]其中，预设配置文件可以是用于确定探索数据与数据处理模型是否适配的文件，预设配置文件内可以包括适配判断使用的参数、规则等信息，在一个示例性的实施方式中，预设配置文件可以包括数据处理模型训练要求的数据条件。...

【技术保护点】

【技术特征摘要】
1.一种数据处理模型训练方法，其特征在于，所述方法包括：获取探索数据和至少一个数据处理模型；根据预设配置文件确定所述探索数据与所述数据处理模型的适配情况；基于所述适配情况对所述探索数据和所述数据处理模型进行模型训练。2.根据权利要求1所述方法，其特征在于，所述获取探索数据和至少一个数据处理模型，包括：在至少一个数据源读取所述探索数据，并在预设可视界面显示所述探索数据；在所述预设可视界面接收用户选择信息，并按照所述用户选择信息在模型算法库选择所述数据处理模型。3.根据权利要求1所述方法，其特征在于，所述根据预设配置文件确定所述探索数据与所述数据处理模型的适配情况，包括：读取所述预设配置文件，并在所述预设配置文件查找所述数据处理模型的训练条件参数和参数权重，其中，所述训练条件参数包括数据规模量、数据格式、数据标记情况中至少之一；提取所述探索数据的数据属性，并确定所述数据属性满足的所述训练条件参数以及所述训练条件参数的参数权重；若所述参数权重之和大于预设权重阈值，则确定所述探索数据与所述数据处理模型适配，否则确定所述探索数据与所述数据处理模型不适配。4.根据权利要求1所述方法，其特征在于，所述基于所述适配情况对所述探索数据和所述数据处理模型进行模型训练，包括：在所述适配情况为适配的情况下，按照所述探索数据训练所述数据处理模型；在所述适配情况为不适配的情况下，按照所述探索数据推荐适配的所述数据处理模型。5.根据权利要求4所述方法，其特征在于，所述按照所述探索数据推荐适配的所述数据处理模型，包括：在查询所述预设配置文件查...

【专利技术属性】
技术研发人员：钱李昌，高建，肖毅，赵宇，缪希伟，曲建辉，
申请(专利权)人：中国人民解放军中部战区联合参谋部联合训练局，
类型：发明
国别省市：