模型的性能检测方法和相关设备技术

本发明专利技术提供一种模型的性能检测方法和相关设备，属于数据分析技术领域，该方法包括：获取各个用户的用户信息以及标签，所述标签用于指示所述用户在预设时间段内是否购买金融产品；将各个所述用户信息输入至模型，得到每个所述用户的预测值；根据各个所述用户对应的预测值以及标签确定模型提升率以及模型增益率；根据所述模型提升率以及所述模型增益率确定目标参数，并根据所述目标参数确定所述模型是否需要进行优化。本发明专利技术中，通过将用户的信息输入至模型得到预测值，再通过各个用户的预测值以及用户是否购买金融产品的标签确定模型是否需要优化，无需人工进行模型性能的监测，提高了模型的性能监测效率。提高了模型的性能监测效率。提高了模型的性能监测效率。

【技术实现步骤摘要】
模型的性能检测方法和相关设备


[0001]本专利技术涉及数据分析
，尤其涉及一种模型的性能检测方法和相关设备。

技术介绍

[0002]在金融机构的业务中，通常采用模型来预测用户是否购有买金融产品的意向。通过模型的预测，能够针对性的对用户群体进行金融产品的推荐。模型在训练完成后，在将模型投入应用。模型在投入应用后，会留有观察期来监控模型的性能。
[0003]示例性技术中，通过模型预测的效果与产品的成交数据来评测模型的性能。但用于评价模型的性能的指标过于专业，一般的业务人员无法基于模型的监测数据解读模型性能的优劣，导致模型的性能监测的效率低。

技术实现思路

[0004]本专利技术提供一种模型的性能检测方法和相关设备，用以解决模型的性能监测的效率低的问题。
[0005]一方面，本专利技术提供一种模型的性能检测方法，包括：
[0006]获取各个用户的用户信息以及标签，所述标签用于指示所述用户在预设时间段内是否购买金融产品；
[0007]将各个所述用户信息输入至模型，得到每个所述用户的预测值，所述预测值用于预测所述用户是否购买所述金融产品；
[0008]根据各个所述用户对应的预测值以及标签确定模型提升率以及模型增益率；
[0009]根据所述模型提升率以及所述模型增益率确定目标参数，并根据所述目标参数确定所述模型是否需要进行优化，所述目标参数用于指示所述模型的性能。
[0010]在一实施例中，所述根据各个所述用户对应的预测值以及标签确定模型提升率，包括：
[0011]根据各个所述用户的标签确定所述金融产品成交的第一比例，并按照从大到小的顺序对所述预测值进行排序；
[0012]根据排序后的各个所述预测值获得多个集合，其中，所述集合包括的各个所述预测值对应的排序序号依次相邻，且任一个所述集合是其他的所述集合的子集或者母集；
[0013]根据所述集合中的各个预测值对应的用户的标签，确定所述集合对应的所述金融产品成交的第二比例，并根据所述第二比例以及第一比例确定所述集合对应的模型提升率。
[0014]在一实施例中，所述根据排序后的各个所述预测值获得多个集合之后，所述根据各个所述用户对应的预测值以及标签确定模型增益率，包括：
[0015]根据各个所述用户的标签确定购买所述金融产品的用户的第一总数量；
[0016]根据所述集合中各个预测值对应的用户的标签，确定所述集合中购买所述金融产品的用户的第一数量；
[0017]根据所述集合对应的第一数量以及所述第一总数量确定所述集合对应的模型增益率。
[0018]在一实施例中，所述根据所述模型提升率以及所述模型增益率确定目标参数，包括：
[0019]根据各个所述集合对应的模型提升率确定所述模型在所述预设时间段的平均提升率，并根据各个所述集合对应的模型增益率确定所述模型在预设时间段内的平均增益率；
[0020]根据所述平均增益率以及平均提升率确定目标参数。
[0021]在一实施例中，所述根据所述目标参数值确定模型是否需要进行优化包括：
[0022]确定所述目标参数与预设阈值之间的差值；
[0023]在所述差值与所述预设阈值之间的比值大于预设比值时，确定所述模型需要进行优化；
[0024]在所述差值与所述预设阈值之间的比值小于或等于预设比值时，确定所述模型不需要进行优化。
[0025]在一实施例中，所述根据所述目标参数确定所述模型是否需要进行优化，包括：
[0026]基于上限的预测值以及下限的预测值划分得到多个分区，并根据各个所述用户的标签确定购买金融产品的用户的第一总数量以及未购买金融产品的用户的第二总数量；
[0027]根据各个所述用户对应的预测值以及标签，确定每个分区对应的用购买金融产品的用户的第二数量、未购买金融产品的用户的第三数量；
[0028]确定所述第二数量与所述第一总数量之间的第一比值，并确定所述第三数量以及所述第二总数量之间的第二比值；
[0029]根据每个所述分区以及对应的第一比值确定第一曲线，并根据各个所述分区以及对应的第二比值确定第二曲线；
[0030]根据所述第一曲线与所述第二曲线在坐标系合围构成的区域所对应的面积，以及所述目标参数确定所述模型是否需要进行优化。
[0031]在一实施例中，所述根据所述第一曲线与所述第二曲线在坐标系合围构成的区域所对应的面积，以及所述目标参数确定所述模型是否需要进行优化，包括：
[0032]确定所述目标参数与预设阈值之间的差值；
[0033]在所述差值与所述预设阈值之间的比值大于预设比值，且所述面积小于预设面积时，确定所述模型需要进行优化；
[0034]在所述差值与所述预设阈值之间的比值大于预设比值，且所述面积大于或等于预设面积时，确定所述模型需要进行性能监控；
[0035]在所述差值与所述预设阈值之间的比值小于或等于预设比值，且所述面积大于或等于预设面积时，确定所述模型不需要进行优化。
[0036]另一方面，本专利技术还提供一种模型的性能检测装置，包括：
[0037]获取模块，用于获取各个用户的用户信息以及标签，所述标签用于指示所述用户在预设时间段内是否购买金融产品；
[0038]输入模块，用于将各个所述用户信息输入至模型，得到每个所述用户的预测值，所述预测值用于预测所述用户是否购买所述金融产品；
[0039]确定模块，用于根据各个所述用户对应的预测值以及标签确定模型提升率以及模型增益率；
[0040]所述确定模块，用于根据所述模型提升率以及所述模型增益率确定目标参数，并根据所述目标参数确定所述模型是否需要进行优化，所述目标参数用于指示所述模型的性能。
[0041]另一方面，本专利技术还提供一种模型的性能检测设备，包括：存储器以及处理器；
[0042]所述存储器存储计算机执行指令；
[0043]所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上所述的模型的性能检测方法。
[0044]另一方面，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上所述的模型的性能检测方法。
[0045]另一方面，本专利技术还提供一种计算机程序产品，包括计算机程序，，所述计算机程序被处理器执行时实现如上所述的模型的性能检测方法。
[0046]本专利技术提供的模型的性能检测方法和相关设备，获取各个用户的用户信息以及标签，将各个用户信息输入至模型得到每个用户的预测值，再通过各个用户的预测值以及对应的标签确定模型提升率以及模型增益率，从而基于模型提升率以及模型增益率确定目标参数确定模型是否进行优化。本专利技术中，通过将用户的信息输入至模型得到预测值，再通过各个用户的预测值以及用户是否购买金融产品的标签确定模型是否需要优化，无需人工进行模型性能的监测，提高了模型的性能监测效率。
附本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型的性能检测方法，其特征在于，包括：获取各个用户的用户信息以及标签，所述标签用于指示所述用户在预设时间段内是否购买金融产品；将各个所述用户信息输入至模型，得到每个所述用户的预测值，所述预测值用于预测所述用户是否购买所述金融产品；根据各个所述用户对应的预测值以及标签确定模型提升率以及模型增益率；根据所述模型提升率以及所述模型增益率确定目标参数，并根据所述目标参数确定所述模型是否需要进行优化，所述目标参数用于指示所述模型的性能。2.根据权利要求1所述的模型的性能检测方法，其特征在于，所述根据各个所述用户对应的预测值以及标签确定模型提升率，包括：根据各个所述用户的标签确定所述金融产品成交的第一比例，并按照从大到小的顺序对所述预测值进行排序；根据排序后的各个所述预测值获得多个集合，其中，所述集合包括的各个所述预测值对应的排序序号依次相邻，且任一个所述集合是其他的所述集合的子集或者母集；根据所述集合中的各个预测值对应的用户的标签，确定所述集合对应的所述金融产品成交的第二比例，并根据所述第二比例以及第一比例确定所述集合对应的模型提升率。3.根据权利要求2所述的模型的性能检测方法，其特征在于，所述根据排序后的各个所述预测值获得多个集合之后，所述根据各个所述用户对应的预测值以及标签确定模型增益率，包括：根据各个所述用户的标签确定购买所述金融产品的用户的第一总数量；根据所述集合中各个预测值对应的用户的标签，确定所述集合中购买所述金融产品的用户的第一数量；根据所述集合对应的第一数量以及所述第一总数量确定所述集合对应的模型增益率。4.根据权利要求3所述的模型的性能检测方法，其特征在于，所述根据所述模型提升率以及所述模型增益率确定目标参数，包括：根据各个所述集合对应的模型提升率确定所述模型在所述预设时间段的平均提升率，并根据各个所述集合对应的模型增益率确定所述模型在预设时间段内的平均增益率；根据所述平均增益率以及平均提升率确定目标参数。5.根据权利要求1所述的模型的性能检测方法，其特征在于，所述根据所述目标参数值确定模型是否需要进行优化包括：确定所述目标参数与预设阈值之间的差值；在所述差值与所述预设阈值之间的比值大于预设比值时，确定所述模型需要进行优化；在所述差值与所述预设阈值之间的比值小于或等于预设比值时，确定所述模型不需要进行优化。6.根据权利要求1所述的模型的性能检测方法，其特征在于，所述根据所述目标参数确定所述模型是否需要进行优化，包括：基于上限的预测值以及下限的预测值划分得到多个分区，并根据各...

【专利技术属性】
技术研发人员：贾若兰，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：