一种模型验证结论的生成方法、装置、设备、介质及产品制造方法及图纸

本发明专利技术实施例公开了一种模型验证结论的生成方法、装置、设备、介质及产品。本发明专利技术涉及大数据和人工智能技术领域。该方法包括：获取客户评级模型的验证指标；按照预训练的分类模型的训练样本的数据形式，对验证指标中的目标验证指标进行组合得到组合指标；将验证指标中的剩余指标和组合指标输入分类模型，获取分类模型生成的模型验证结论。本发明专利技术实施例的技术方案通过对验证指标中的目标验证指标进行组合得到组合指标；将验证指标中的剩余指标和组合指标输入分类模型，获取分类模型生成的模型验证结论可以解决现有技术中由于人工干预对生成模型验证结论具有主观性的影响的问题，能够更客观准确的生成模型验证结论。够更客观准确的生成模型验证结论。够更客观准确的生成模型验证结论。

【技术实现步骤摘要】
一种模型验证结论的生成方法、装置、设备、介质及产品


[0001]本专利技术实施例涉及大数据和人工智能
，尤其涉及一种模型验证结论的生成方法、装置、设备、介质及产品。

技术介绍

[0002]在客户评级模型中，需要对使用的客户评级模型进行监控。在监控的过程中会积累很多的模型验证指标。不同的模型验证指标可以用于评估模型预测能力的稳定性和其他能力。基于不同模型验证指标评价对应的模型能力，可以得到模型的在该模型验证指标下的结论。
[0003]现有技术中基于多个客户评级模型验证指标对模型验证最终结论的确定依赖个人经验，基于人工判断的过程中主观性过强，且在模型数量过多的时候存在人工工作量过大的问题，另外，由于加工脚本的跑数是周期性进行的，导致模型验证指标存在产生不及时的情况，造成当前模型结论判定的延迟性。而且目前基于计算的验证指标数值只能判断当期模型最终结论，没有前瞻性的对模型结论进行预测，无法提前预知模型未来模型风险，不能给业务人员很好的指导意义。
[0004]因此，如何客观并准确的生成模型验证结论成为亟待解决的问题。

技术实现思路

[0005]本专利技术实施例提供一种模型验证结论的生成方法、装置、设备、系统、介质及程序产品，以解决现有技术中由于人工干预对生成模型验证结论具有主观性的影响的问题，能够更客观准确的生成模型验证结论。
[0006]第一方面，本专利技术实施例提供了一种模型验证结论的生成方法，包括：
[0007]获取客户评级模型的验证指标；
[0008]按照预训练的分类模型的训练样本的数据形式，对所述验证指标中的目标验证指标进行组合得到组合指标，其中，通过所述训练样本中的历史验证指标训练所述分类模型，并通过所述训练样本中的历史模型验证结论监督所述分类模型的训练；
[0009]将所述验证指标中的剩余指标和所述组合指标输入所述分类模型，获取所述分类模型生成的模型验证结论。
[0010]第二方面，本专利技术实施例还提供了一种模型验证结论的生成装置，该装置包括：
[0011]指标获取模块，用于获取客户评级模型的验证指标；
[0012]指标组合模块，用于按照预训练的分类模型的训练样本的数据形式，对所述验证指标中的目标验证指标进行组合得到组合指标，其中，通过所述训练样本中的历史验证指标训练所述分类模型，并通过所述训练样本中的历史模型验证结论监督所述分类模型的训练；
[0013]结论获取模块，用于将所述验证指标中的剩余指标和所述组合指标输入所述分类模型，获取所述分类模型生成的模型验证结论。
[0014]第三方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器、在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实施例中任一所述的模型验证结论的生成方法。
[0015]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例中任一所述的模型验证结论的生成方法。
[0016]第五方面，本专利技术实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本专利技术实施例中任一所述的模型验证结论的生成方法。
[0017]本专利技术实施例中，通过对验证指标中的目标验证指标进行组合得到组合指标；将验证指标中的剩余指标和组合指标输入分类模型，获取分类模型生成的模型验证结论，可以解决现有技术中由于人工干预对生成模型验证结论具有主观性的影响的问题，能够更客观准确的生成模型验证结论。
附图说明
[0018]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0019]图1为本专利技术实施例提供的一种模型验证结论的生成方法的流程图；
[0020]图2为本专利技术实施例提供的另一种模型验证结论的生成方法的流程图；
[0021]图3为本专利技术实施例提供的又一种模型验证结论的生成方法的流程图；
[0022]图4为本专利技术实施例提供的又一种模型验证结论的生成方法的流程图；
[0023]图5为本专利技术实施例提供的一种模型验证结论的生成装置的结构示意图；
[0024]图6为本专利技术实施例提供的一种模型验证结论的生成方法的电子设备的结构示意图。
具体实施方式
[0025]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0026]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
[0027]现有技术在客户评级模型中，需要对使用的模型如大中型客户评级模型进行监控。在监控的过程中会积累很多的模型验证指标。比如使用KS(Kolmogorov
‑
Smirnov，洛伦
兹曲线)指标用于对模型风险区分能力进行评估，PSI(population stability index，群体稳定性指标)用来衡量模型的预测值与实际值偏差大小的指标，评估模型预测能力的稳定性，还有其他的指标用于评估模型的其他能力。各个指标评价对应的模型能力，得到模型的在该指标下的结论。
[0028]目前基于多个指标的模型验证结论的一般步骤如下：
[0029]1)获取不同模型验证指标计算结果数据，并将各个结果数据存储于结构化数据库中；
[0030]2)针对不同的验证指标制定与模型结论的关系；
[0031]3)由经验丰富的业务人员根据不同验证指标与模型的关系综合得出模型结论。
[0032]但是上述模型验证结论的确定依赖个人经验，基于人工判断的过程中主观性过强，且在模型数量过多的时候存在人工工作量过大的问题。另外由于加工脚本的跑数是周期性进行的，导致模型验证指标存在产生不及时的情况，造成当前模型结论判定的延迟性。而且目前基于计算的验证指标数值只能判断当期模型最终结论，没有前瞻性的对模型结论进行预测，无法提前预知模型未来模型风险，不能给业务人员很好的指导意义。
[0033]针对上述技术问题，本申请提出如下技术构思：获取客户评级模型的验证指标；按照预训练的分类模型的训练样本的数据形式，对验证指标中的目标验本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型验证结论的生成方法，其特征在于，包括：获取客户评级模型的验证指标；按照预训练的分类模型的训练样本的数据形式，对所述验证指标中的目标验证指标进行组合得到组合指标，其中，通过所述训练样本中的历史验证指标训练所述分类模型，并通过所述训练样本中的历史模型验证结论监督所述分类模型的训练；将所述验证指标中的剩余指标和所述组合指标输入所述分类模型，获取所述分类模型生成的模型验证结论。2.根据权利要求1所述的方法，其特征在于，所述获取客户评级模型的验证指标，包括：通过设定脚本基于所述客户评级模型进行跑数，得到当期验证指标。3.根据权利要求2所述的方法，其特征在于，所述按照预训练的分类模型的训练样本的数据形式，对所述验证指标中的目标验证指标进行组合得到组合指标，包括：获取所述分类模型的训练样本的数据形式对应的数据组织策略，其中，所述数据组织策略用于对所述训练样本中的目标历史验证指标进行设定运算；根据所述数据组织策略对所述当期验证指标中的目标验证指标进行设定运算，得到组合指标。4.根据权利要求3所述的方法，其特征在于，所述根据所述数据组织策略对所述当期验证指标中的目标验证指标进行设定运算，得到组合指标，包括：根据所述数据组织策略，确定运算方式以及所述当期验证指标中进行特定运算的目标验证指标；根据所述运算方式对目标验证指标进行运算得到组合指标。5.根据权利要求3或4所述的方法，其特征在于，所述将所述验证指标中的剩余指标和所述组合指标输入所述分类模型，获取所述分类模型生成的模型验证结论，包括：获取所述当期验证指标中除目标验证指标外的剩余指标；将所述剩余指标和组合指标输入所述分类模型，通过所述分类模型将所述剩余指标和组合指标分为N个数据集，并将所述N个数据集分别输入N个弱学习器，根据所述N个弱分类器的投票结果生成当期的模型验证结论。6.根据权利要求1所述的方法，其特征在于，还包括采用如下方式训练所述分类模型：获取历史验证指标数据集，其中，所述历史验证指标数据集包括设定期数的历史验证指标；获取各期所述历史验证指标对应的历史模型验证结论，根据所述历史验证指标数据集和历史模型验证结论对所述分类模型进行监督训练。7.根据权利要求6所述的方法，其特征在于，所述获取历史验证指标数据集，包括：获取设定期数的历史验证指标；对于每期历史验证指标，获取目标历史验证指标，并对所述目标历史验证指标进行设定运算得到历史组合指标；根据各期的剩余历史验证指标和历史组合指标生成历史验证指标数据集。8.根据权利要求1所述的方法，其特征在于，所述获取客户评级模型的验证指标，包括：获取所述客户评级模型的历史验证指标数据集；根据所述历史验证指标数据集生成各历史验证指标的时间序列数据集；
根据各历史验证指标的时间序列数据集，生成对应验证指标的验证预测指标，作为所述客户评级模型的验证指标。9.根据权利要求8所述的方法，其特征在于，所述根据所述历史验证指标数据集生成各历史验证指标...

【专利技术属性】
技术研发人员：田浩，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：