一种风险识别模型的验证方法、装置以及设备制造方法及图纸

本说明书实施例公开了一种风险识别模型的验证方法、装置以及设备。通过预先构建包含N个类型的风险集合的风险池，并从所述风险池中的任意的第i个风险集合进行随机抽取多个待验证的风险数据，并对抽取得到的多个待验证的风险数据进行人工验证而得到人工验证结果，从而可以比对抽取得到的人工验证结果和模型识别结果的一致性程度，并基于该一致性程度来确定风险池中风险识别模型对于所述第i个类型的风险集合的模型识别结果是否通过验证。险集合的模型识别结果是否通过验证。险集合的模型识别结果是否通过验证。

【技术实现步骤摘要】
一种风险识别模型的验证方法、装置以及设备


[0001]本说明书涉及互联网
，尤其涉及一种风险识别模型的验证方法、装置以及设备。

技术介绍

[0002]随着移动互联网的发展，自动化智能化的风险识别模型已经被广泛应用到各种场景。例如，在支付应用中，每天都需要对各种账户间的支付、转账进行风险识别，以确定支付行为是否存在风险，账户本身是否存在风险等等，这样就会在短时间内产生大量的风险识别结果。伴随而来的即需要对大数据下的风险识别结果进行充分有效的验证，以确认风险识别模型的能力。
[0003]基于此，需要一种更高效的风险识别模型的验证方案。

技术实现思路

[0004]本说明书一个或多个实施例提供一风险识别模型的验证方法、装置、设备以及存储介质，用以解决如下技术问题：需要一种更高效的风险识别模型的验证方案。
[0005]为解决上述技术问题，本说明书一个或多个实施例是这样实现的：
[0006]第一方面，本说明书实施例提供一种风险识别模型的验证方法，应用于包含N个类型的风险集合的风险池中，其中，所述风险集合由风险识别模型对于风险数据进行风险识别生成，N为大于1的自然数，所述方法包括：针对所述风险池中任意的第i个类型的风险集合，从所述风险集合中随机抽取多个待验证的风险数据，其中，1≤i≤N，i为自然数；获取对于所述多个待验证的风险数据的人工验证结果，以及，确定所述风险识别模型对于所述多个待验证的风险数据的模型识别结果；确定所述人工验证结果和所述模型识别结果的一致性程度；当所述人工验证结果和所述模型识别结果的一致性程度满足预设条件时，确定所述风险识别模型对于所述第i个类型的风险集合的模型识别结果通过验证。
[0007]第二方面，本说明书实施例提供一种风险识别模型的验证装置，应用于包含N个类型的风险集合的风险池中，其中，所述风险集合由风险识别模型对于风险数据进行风险识别生成，N为大于1的自然数，所述装置包括：随机抽取模块，针对所述风险池中任意的第i 个类型的风险集合，从所述风险集合中随机抽取多个待验证的风险数据，其中，1≤i≤N， i为自然数；获取模块，获取对于所述多个待验证的风险数据的人工验证结果，以及，确定所述风险识别模型对于所述多个待验证的风险数据的模型识别结果；一致性程度模块，确定所述人工验证结果和所述模型识别结果的一致性程度；验证模块，当所述人工验证结果和所述模型识别结果的一致性程度满足预设条件时，确定所述风险识别模型对于所述第i个类型的风险集合的模型识别结果通过验证。
[0008]第三方面，本说明书实施例提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如
第一方面所述的方法。
[0009]第四方面，本说明书实施例提供一种非易失性计算机存储介质，存储有计算机可执行指令，当计算机读取存储介质中的计算机可执行指令后，该指令使得一个或多个处理器执行如第一方面所述的方法。
[0010]本说明书一个或多个实施例采用的上述至少一个技术方案能够达到以下有益效果：通过预先构建包含N个类型的风险集合的风险池，并从所述风险池中的任意的第i个风险集合进行随机抽取多个待验证的风险数据，并对抽取得到的多个待验证的风险数据进行人工验证而得到人工验证结果，从而可以比对抽取得到的人工验证结果和模型识别结果的一致性程度，并基于该一致性程度来确定风险池中风险识别模型对于所述第i个类型的风险集合的模型识别结果是否通过验证，从而实现以最少的人工专家投入审核，而达到最大化完成对于风险识别模型的模型识别结果的充分验证，更为高效。
附图说明
[0011]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0012]图1为本说明书实施例所提供的一种风险识别模型的验证方法的流程示意图；
[0013]图2为本说明书实施例所提供的一种流程机制的示意图；
[0014]图3为本说明书实施例所提供的多方交互机制的示意图；
[0015]图4为本说明书实施例所提供的一种系统框架的示意图；
[0016]图5为本说明书实施例提供的一种风险识别模型的验证装置的示意图；
[0017]图6为本说明书实施例提供的一种电子设备的结构示意图。
具体实施方式
[0018]本说明书实施例提供一种基于小程序动静态分析的风险检测方法、装置、设备以及存储介质。
[0019]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0020]对于一个已经被广泛应用的风险识别模型，其每天可能识别的风险数据是海量的，例如，在支付平台上中，每天识别得到的风险数据可能超过百万条。这其中，很可能存在一些被错误识别的风险数据。此时，通常需要采用人工审查的方式对各风险数据进行定性，换言之，对于一个风险识别模型而言，根据人工审查能够验证的风险数据量最终决定了对于该模型能够确定风险的规模。
[0021]在当前虽然能够通过全量人力充分验证模型识别出的风险，然而随着业务规模的不断攀升，人工分析审理模型势必遇到瓶颈，需要一种能够以较低人力比重处理多样化的
复杂的或新的风险数据的方案，以提高对于风险识别模型的验证效率。基于此，本说明书实施例提供一种风险识别模型的验证方案。
[0022]如图1所示，图1为本说明书实施例所提供的一种风险识别模型的验证方法的流程示意图，应用于包含N个类型的风险集合的风险池中，其中，所述风险集合由风险识别模型对于风险数据进行风险识别生成，图1中的流程可以包括以下步骤：
[0023]S101：针对所述风险池中任意的第i个类型的风险集合，从所述风险集合中随机抽取多个待验证的风险数据，其中，1≤i≤N，i为自然数。
[0024]风险识别模型在进行风险识别时，总是可以通过将风险数据进行分类或者聚类。例如，通常而言，通过有监督学习(样本包含有标签)而训练得到的风险识别模型可以实现对风险数据进行分类，而通过无监督学习(样本不包含标签)而训练得到的风险识别模型可以实现对风险数据进行同质聚类，以实现把相似特征的风险数据聚在一起，此时风险识别模型则可能还不知道聚类所得到的各类下的风险类型是什么。
[0025]换言之，存在的N个风险类型可以是预先已经知道的风险类型，例如，对于支付领域， N个风险类型可以是“风险A”本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种风险识别模型的验证方法，应用于包含N个类型的风险集合的风险池中，其中，所述风险集合由风险识别模型对于风险数据进行风险识别生成，N为大于1的自然数，所述方法包括：针对所述风险池中任意的第i个类型的风险集合，从所述风险集合中随机抽取多个待验证的风险数据，其中，1≤i≤N，i为自然数；获取对于所述多个待验证的风险数据的人工验证结果，以及，确定所述风险识别模型对于所述多个待验证的风险数据的模型识别结果；确定所述人工验证结果和所述模型识别结果的一致性程度；当所述人工验证结果和所述模型识别结果的一致性程度满足预设条件时，确定所述风险识别模型对于所述第i个类型的风险集合的模型识别结果通过验证。2.如权利要求1所述的方法，当所述风险识别模型已经确定所述多个待验证的风险数据的模型判定风险类型时，其中，确定所述人工验证结果和所述模型识别结果的一致性程度，包括：确定所述多个待验证的风险数据的人工判定风险类型和所述模型判定风险类型中，风险类型相同的相同比值；根据所述相同比值确定所述人工验证结果和所述模型识别结果的一致性程度。3.如权利要求1所述的方法，当所述风险识别模型未确定所述多个待验证的风险数据的模型判定风险类型时，其中，确定所述风险识别模型对于所述多个待验证的风险数据的模型识别结果，包括：获取由人工验证结果所确定的所述多个待验证的风险数据的人工风险类型；根据所述人工风险类型的统计信息确定所述多个待验证的风险数据的统计风险类型；将所述统计风险类型确定为所述风险识别模型对于多个待验证的风险数据的模型识别结果；相应的，确定所述人工验证结果和所述模型识别结果的一致性程度，包括：确定所述人工风险类型和所述统计风险类型的一致性程度。4.如权利要求1所述的方法，其中，从所述风险集合中随机抽取多个待验证的风险数据，包括：确定在所述风险池中从所述第i个类型的风险集合中抽取风险数据的总数量S
i
；分别获取所述风险集合中所包含的k个子集的抽取权重k
j
，其中，1≤j≤k，j、k为自然数；根据所述总数量S
i
和所述抽取权重k
j
确定从第j个子集中抽取的的数量S
j
。5.如权利要求2所述的方法，其中，确定在所述风险池中从所述第i个类型的风险集合中抽取风险数据的总数量S
i
，包括：确定所述风险池中的N个类型的风险集合所各自包含的风险数据的数量比例；根据所述数量比例确定在所述风险池中从所述第i个类型的风险集合中抽取风险数据的总数量S
i
。6.如权利要求1所述的方法，所述方法还包括：当所述人工验证结果和所述模型识别结果的一致性程度不满足预设条件时，确定人工验证结果和所述模型识别结果不一致的待验证的风险数据；
将所述不一致的待验证的风险数据发送至人工验证方进行二次人工验证。7.如权利要求6所述的方法，所述方法还包括：获取所述不一致的待验证的风险数据的反馈数据，其中，所述反馈数据用于表征风险识别模型对于所述风险数据所包含的至少一个特征使用不准确；将所述反馈数据返回至所述风险识别模型的训练方。8.如权利要求7所述的方法，还包括：获取另一待验证的风险数据，其中，所述另一待验证的风险数据由更新后的风险识别模型分类至所述第i个类型的风险集合，所述更新后的风险识别模型基于所述反馈数据所更新训练得到；在所述第i个类型的风险集合中，采用所述另一待验证的风险数据替换所述不一致的待验证的风险数据。9.如权利要求1所述的方法，还包括：确定待验证的风险数据在所述风险池中的停留时长，从所述风险池中去除停留时长超过预设时长的待验证的风险数据。10....

【专利技术属性】
技术研发人员：余坤，孙波，张晓旭，李怀松，孙富，赵亮，曾庆瑜，李晶莹，陶睿，胡研，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：