一种训练模型信息输出方法及装置制造方法及图纸

本申请公开了一种训练模型信息输出方法及装置。一种训练模型信息输出方法包括：对训练样本数据进行预处理，得到预处理结果，并且对所述预处理的逻辑进行记录；利用所述预处理结果作为模型输入数据，通过训练处理得到训练模型；将所述训练模型的特征信息以及所述预处理的逻辑写入模型文件进行输出。应用本申请方案，能够避免在模型部署阶段的人工重写数据预处理逻辑，有效降低了模型的部署难度和成本。

Training model information output method and device

The present invention discloses a training model information output method and device. Including a training model of information output method: training sample data pretreatment, preprocessing results, and record on the pretreatment of logic; using the pretreatment results as the model input data obtained by training the training model; the characteristic information of the training model and the pretreatment the logical write file output model. Using this application scheme, the data rewriting logic can be avoided in the model deployment stage, which can effectively reduce the difficulty and cost of the deployment of the model.

【技术实现步骤摘要】
一种训练模型信息输出方法及装置
本申请涉及数据分析
，尤其涉及一种训练模型信息输出方法及装置。
技术介绍
数据挖掘工程师在完成一项模型训练任务之后，如果模型评估的结果符合预期，则需要将该模型的相关信息以模型文件的形式输出，以便后续部署到系统中实际应用。为了令产出的模型文件能够具有较好的通用性，一般还会采用一定的标准格式对模型的相关信息进行输出，目前较为常见的模型描述标准包括PMML(PredictiveModelMarkupLanguage，预测模型标记语言)等。理想情况下，只要系统中安装了相应的标准格式解析器，则可以很方便地读取采用该标准格式输出的模型文件，并将对应的模型直接部署到系统上。然而，根据现有技术的方案，在输出模型文件时，仅会记录该模型本身的特征信息，例如对于一个训练后得到的模型y＝ax2+bx+c，其中x对应输入数据，y对应输出数据，a、b、c分别为训练得出的参数，则在模型文件中需要记录的信息包括公式ax2+bx+c以及a、b、c的具体取值，即“输入”→“输出”的对应关系信息。但是在实际训练模型的过程中，工程师可能需要在给定的训练样本数据的基础上增加一些特殊处理，例如缺失值填充、离散化等等。这种情况下，训练样本数据并不等同于模型的输入数据，换言之，在后续将模型部署到系统时，获取到的实际数据也不能直接输入模型进行计算。进而，在模型部署阶段，除了读取模型文件中的信息之外，还需要开发人员在系统中手动写入与该模型对应的缺失值填充、离散化等处理逻辑，以配合模型使用。可见，在这种情况下，模型文件的通用性已经难以体现，进而导致了模型部署难度的提升，特别是当模型需要在多个系统间进行移植时，总体的投入成本将明显增加。
技术实现思路
针对上述技术问题，本申请提供一种训练模型信息输出方法及装置，技术方案如下：根据本申请的第一方面，提供一种训练模型信息输出方法，该方法包括：根据模型训练需求，对训练样本数据进行预处理，得到预处理结果，并且对所述预处理的逻辑进行记录；利用所述预处理结果作为模型输入数据，通过训练处理得到训练模型；将所述训练模型的特征信息以及所述预处理的逻辑写入模型文件进行输出。根据本申请的第二方面，提供一种训练模型信息输出装置，其特征在于，该装置包括：预处理模块，用于对训练样本数据进行预处理，得到预处理结果；处理逻辑记录模块，用于对所述预处理的逻辑进行记录；训练模块，用于利用所述预处理结果作为模型输入数据，通过训练处理得到训练模型；输出模块，用于将所述训练模型的特征信息以及所述预处理的逻辑写入模型文件进行输出。本申请实施例所提供的技术方案，在模型训练处理的过程中，对数据预处理的逻辑也进行记录，并且将预处理逻辑与最终的训练得到的结果汇总后写入模型文件中。这样，在模型部署阶段，通过读取模型文件，就可以获得预处理逻辑和模型的相关信息，根据这两部分信息，可以直接将数据预处理模块和模型处理模块自动部署到系统上。与现有技术相比，本申请方案可以令通过预处理数据训练得到的模型信息也能够以通用的方式进行保存，从而避免在部署阶段的人工重写步骤，有效降低了模型的部署难度和成本。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图1是本申请的训练模型信息输出方法的第一种流程示意图；图2是本申请的训练模型信息输出方法的第二种流程示意图；图3是本申请的训练模型信息输出装置的结构示意图。具体实施方式为了使本领域技术人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请保护的范围。针对现有模型文件通用性差、难以部署的问题，本申请提供一种训练模型信息输出方法，参见图1所示，该方法可以包括以下步骤：S101，根据模型训练需求，对训练样本数据进行预处理，得到预处理结果，并且对预处理的逻辑进行记录；S102，利用所述预处理结果作为模型输入数据，通过训练处理得到训练模型；S103，将所述训练模型的特征信息以及所述预处理的逻辑写入模型文件进行输出。数据预处理一般是由数据挖掘工程师多次尝试后确定的处理方案，其基本目的是对原始的数据进行加工改造，使其能够更好地适应模型。对训练样本数据进行预处理的步骤一般可以包括缺失值处理、特征离散化处理、特征组合处理、特征选择处理等。本申请并不需要对这些步骤的具体实现细节进行限定，本领域技术人员可以根据实际情况选择合适的处理方式，另外，根据实际的应用需求，上述的每个步骤在预处理时都不一定是必须的，例如，当训练数据样本数据原本就是离散化取值时，则可以跳过离散化处理的处理步骤。与现有技术相比，本申请的方案在对数据进行预处理时，除了得到用于后续训练模型的数据预处理结果之外，还需要对预处理的逻辑也进行记录。这样处理的原因在于：在模型训练阶段，实际上是将“经过预处理后的训练样本数据”作为输入数据训练得到的模型。但是模型在部署以后，能够直接获取到的数据是与训练样本数据形式一致的，而这样的数据并不能直接输入模型进行计算。为解决该问题，本申请方案将得到预处理结果时所使用的处理逻辑也记录下来，并且写入模型文件。这样，在模型部署阶段，通过读取模型文件，就可以获得预处理逻辑和模型的相关信息，根据这两部分信息，可以直接将数据预处理模块和模型处理模块自动部署到系统上。举例说明，假设在训练样本数据中，特征字段x的取值范围为(0,100]，数据挖掘工程师通过反复尝试，认为将[0,100]离散化为4个区间会获得较好的效果：具体对应的离散区间为(0,25]、(26,50]、(51,75]、(76,100]，分别指定对应的离散取值0、1、2、3。假设利用上述离散化结果，最终训练得到模型为y＝2x+3。根据现有技术的实现方式，在模型文件中只会写入y＝2x+3，但是通过前面的处理过程可知，对于该模型而言，输入的“x”实际应该对应的是离散化的取值0、1、2、3，但是在模型部署后中能够直接获得的数据取值范围仍然是与训练样本数据一致的(0,100]，为了保证模型的正确使用，离散化的处理逻辑则需要人工重新写入。而根据本申请的方案，在模型文件中会写入两部分信息：第一部分是模型的特征信息，在本例中为y＝2x+3；第二部分是预处理的逻辑，在本例中为：(0,25]→0、(26,50]→1(51,75]→2(76,100]→3进而，在模型部署阶段，通过读取模型文件的第一部分信息，可以将模型处理模块自动部署到系统上，而通过读取模型文件的第二部分信息，可以将与该模型配合的离散化处理模块自动部署到系统上，避免人工重写离散化处理模块。当然，以上举例仅用于示意性说明，在的实际模型文件中需要以特定的规范写入相应信息，本申请并不需要进行限定。下面结合一个更具体的实施例，对本申请的方案进本文档来自技高网...

【技术保护点】
一种训练模型信息输出方法，其特征在于，该方法包括：根据模型训练需求，对训练样本数据进行预处理，得到预处理结果，并且对所述预处理的逻辑进行记录；利用所述预处理结果作为模型输入数据，通过训练处理得到训练模型；将所述训练模型的特征信息以及所述预处理的逻辑写入模型文件进行输出。

【技术特征摘要】
1.一种训练模型信息输出方法，其特征在于，该方法包括：根据模型训练需求，对训练样本数据进行预处理，得到预处理结果，并且对所述预处理的逻辑进行记录；利用所述预处理结果作为模型输入数据，通过训练处理得到训练模型；将所述训练模型的特征信息以及所述预处理的逻辑写入模型文件进行输出。2.根据权利要求1所述的方法，其特征在于，所述对训练样本数据进行预处理，包括以下子步骤中的一个或多个：缺失值处理、特征离散化处理、特征组合处理、特征选择处理。3.根据权利要求2所述的方法，其特征在于，在所述预处理包括多个子步骤的情况下，所述对预处理的逻辑进行记录，包括：分别记录各个子步骤的处理逻辑，并且记录各个子步骤的执行顺序。4.根据权利要求1所述的方法，其特征在于，所述模型文件采用预测模型标记语言PMML格式进行输出。5.根据权利要求5所述的方法，其特征在于，在所述模型文件采用PMML格式进行输出的情况下，所述将处理的逻辑写入模型文件，包括：将所述预处理的逻辑写入PMML格式文件的本地转换区段LocalTransformations中。6.一种训练模型信息输出装置，其特征在于，该装置...

【专利技术属性】
技术研发人员：毛仁歆，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY