模型评估方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请提供了一种模型评估方法、装置、设备及计算机可读存储介质；方法包括：获取初步训练好的预测模型、当前时间周期的第一样本数据和当前时间周期的上一个时间周期的第二样本数据；利用初步训练好的预测模型对第一样本数据和第二样本数据分别进行预测处理，得到当前时间周期对应的第一预测结果和上一个时间周期对应的第二预测结果；基于当前时间周期的第一标签信息、第一预测结果、上一个时间周期对应的第二标签信息和第二预测结果，确定初步训练好的预测模型在当前时间周期的评估信息；当确定评估信息达到预设的评估阈值时，将初步训练好的预测模型确定为最终训练好的预测模型。通过本申请，能够提高预测模型对当前数据的预测精度。的预测精度。的预测精度。

【技术实现步骤摘要】
模型评估方法、装置、设备及计算机可读存储介质


[0001]本申请涉及互联网技术，尤其涉及一种模型评估方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]一个产品完整的生命周期一般包括：初创期、成长期、成熟期、衰减期、退出期这五个周期。企业对于产品生命周期管理，一般对针对不同的场景进行对应的营销干预。为了给予用户更加精准的营销方案，需要对用户的推荐场景进行预测，而为了保证预测模型的准确度，需要在预测模型上线使用之前进行模型评估。
[0003]现有方案的模型评估方法，主要是利用当前统计周期的训练样本数据进行预测模型的训练，并采用当前周期的测试样本数据计算相关的模型评估指标（查全率、查准率、AUC等）评估模型的好坏。在实际实现时，经常涉及各个模块连续时间的运营活动，而由于活动周期存在叠加情况，因此，用当前样本数据很难反映出当前模型的效果，不能保证模型的预测准确率。

技术实现思路

[0004]本申请实施例提供一种模型评估方法、装置及计算机可读存储介质，能够提高预测模型对当前数据的预测精度。
[0005]本申请实施例的技术方案是这样实现的：本申请实施例提供一种模型评估方法，包括：获取初步训练好的预测模型、当前时间周期的第一样本数据和当前时间周期的上一个时间周期的第二样本数据；利用该初步训练好的预测模型对该第一样本数据和该第二样本数据分别进行预测处理，得到该当前时间周期对应的第一预测结果和该上一个时间周期对应的第二预测结果；基于该当前时间周期的第一标签信息、该第一预测结果、该上一个时间周期的第二标签信息和该第二预测结果，确定该初步训练好的预测模型在该当前时间周期的评估信息；当确定该评估信息达到预设的评估阈值时，将该初步训练好的预测模型确定为最终训练好的预测模型。
[0006]本申请实施例提供一种模型评估装置，包括：第一获取模块，用于获取初步训练好的预测模型、当前时间周期的第一样本数据和当前时间周期的上一个时间周期的第二样本数据；预测处理模块，用于利用该初步训练好的预测模型对该第一样本数据和该第二样本数据分别进行预测处理，得到该当前时间周期对应的第一预测结果和该上一个时间周期对应的第二预测结果；
第一确定模块，用于基于该当前时间周期的第一标签信息、该第一预测结果、该上一个时间周期的第二标签信息和该第二预测结果，确定该初步训练好的预测模型在该当前时间周期的评估信息；第二确定模块，用于当确定该评估信息达到预设的评估阈值时，将该初步训练好的预测模型确定为最终训练好的预测模型。
[0007]在一些实施例中，该第一预测结果和该第二预测结果为二值化的向量，该第一确定模块，还用于：基于该第一预测结果确定在该当前时间周期中预测为正样本的第一用户集合；基于该第一预测结果和该第一标签信息确定在该当前时间周期中正确预测为正样本的第二用户集合；基于该第二预测结果和该第二标签信息确定在该上一个时间周期中错误预测为负样本的第三用户集合；基于该第一用户集合、该第二用户集合和该第三用户集合确定该初步训练好的预测模型在该上一个时间周期的影响下，该当前时间周期的查准率。
[0008]在一些实施例中，该第一确定模块，还用于：确定该第一用户集合和该第三用户集合的第一交集；确定该第二用户集合和该第三用户集合的第二交集；确定该第一用户集合对应的第一用户个数、该第二用户集合对应的第二用户个数、该第三用户集合对应的第三用户个数；确定该第一交集对应的第四用户个数和该第二交集对应的第五用户个数；基于该第一用户个数、该第二用户个数、该第三用户个数、该第四用户个数和该第五用户个数，确定该初步训练好的预测模型在该上一个时间周期的影响下，在该当前时间周期的查准率。
[0009]在一些实施例中，该第一确定模块，还用于：基于该第一标签信息，确定在该当前时间周期内实际为正样本的第四用户集合；确定该第三用户集合和该第四用户集合的第三并集；确定该第四用户集合对应的第六用户个数和该第三并集对应的第七用户个数；基于该第二用户个数、该第三用户个数、该第五用户个数、该第六用户个数和该第七用户个数，确定该初步训练好的预测模型在该上一个时间周期的影响下，在该当前时间周期的查全率。
[0010]在一些实施例中，该装置还包括：第二获取模块，还用于获取各个用户标识对应的日志数据，基于该日志数据确定训练数据，该训练数据包括多个训练特征数据和各个训练特征数据对应的营销场景标签；第三获取模块，用于获取预设营销场景类型对应的训练特征数据和该预设营销场景类型对应的预设模型；第一训练模块，用于利用该预设营销场景类型对应的训练特征数据对该预设营销场景类型对应的预设模型进行迭代训练；第四获取模块，用于在确定达到迭代结束条件时，获取该预设营销场景类型对应的初步训练好的预测模型。
[0011]在一些实施例中，该第二获取模块，还用于：基于该日志数据确定各个用户标识对应的历史特征数据和营销场景标签；基于该营销场景标签确定确定各个营销场景类型对应的历史特征数据；将该各个营销场景类型对应的历史特征数据进行划分，得到该各个营销场景类型对应的训练特征数据和该各个营销场景类型对应的测试数据。
[0012]在一些实施例中，该装置还包括：第五获取模块，用于当确定该评估信息未达到该评估阈值时，再次获取该预测模型对应的新的训练数据；第二训练模块，用于利用该新的训练数据对该初步训练好的预测模型继续进行训练，直至该评估信息达到该评估阈值，得到最终训练好的预测模型。
[0013]在一些实施例中，该装置还包括：第六获取模块，用于获取多个营销场景类型分别对应的训练好的预测模型和多个用户标识在当前时间周期的多个用户特征数据；模型预测模块，用于将该多个用户特征数据分别输入各个预测模型，得到各个营销场景类型对应的预测向量；第三确定模块，用于基于各个营销场景类型对应的预测向量确定各个用户标识对应的目标营销场景类型。
[0014]在一些实施例中，该装置还包括：第四确定模块，用于在确定达到推荐时机时，基于该各个用户标识对应的目标营销场景类型，确定该各个用户标识对应的目标推荐信息；发送模块，用于向该各个用户标识对应的终端发送对应的目标推荐信息。
[0015]本申请实施例提供一种计算机设备，包括：存储器，用于存储可执行指令；处理器，用于执行该存储器中存储的可执行指令时，实现本申请实施例提供的模型评估方法。
[0016]本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的模型评估方法。
[0017]本申请实施例提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现本申请实施例提供的模型评估方法。
[0018]本申请实施例具有以下有益效果：在需要对初步训练好的预测模型进行模型评估时，首先获取当前时间周期的第一样本数据和当前时间周期的上一个时间周期的第二样本数据；然后利用该初步训练好的预测模型对该第一样本数据和该第二样本数据分别进行预测处理，得到该当前时间周期对应的第一预测结果和该上一个时间周本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型评估方法，其特征在于，所述方法包括：获取初步训练好的预测模型，获取当前时间周期的第一样本数据和所述当前时间周期的上一个时间周期的第二样本数据；利用所述初步训练好的预测模型对所述第一样本数据和所述第二样本数据分别进行预测处理，得到所述当前时间周期对应的第一预测结果和所述上一个时间周期对应的第二预测结果；基于所述当前时间周期的第一标签信息、所述第一预测结果、所述上一个时间周期的第二标签信息和所述第二预测结果，确定所述初步训练好的预测模型在所述当前时间周期的评估信息；当确定所述评估信息达到预设的评估阈值时，将所述初步训练好的预测模型确定为最终训练好的预测模型。2.根据权利要求1中所述的方法，其特征在于，所述第一预测结果和所述第二预测结果均为二值化的向量，所述基于所述当前时间周期的第一标签信息、所述第一预测结果、所述上一个时间周期的第二标签信息和所述第二预测结果，确定所述初步训练好的预测模型在所述当前时间周期的评估信息，包括：基于所述第一预测结果确定在所述当前时间周期中预测为正样本的第一用户集合；基于所述第一预测结果和所述第一标签信息确定在所述当前时间周期中正确预测为正样本的第二用户集合；基于所述第二预测结果和所述第二标签信息确定在所述上一个时间周期中错误预测为负样本的第三用户集合；基于所述第一用户集合、所述第二用户集合和所述第三用户集合确定所述初步训练好的预测模型在所述上一个时间周期的影响下，在所述当前时间周期的查准率。3.根据权利要求2中所述的方法，其特征在于，基于所述第一用户集合、所述第二用户集合和所述第三用户集合确定所述初步训练好的预测模型在所述上一个时间周期的影响下，在所述当前时间周期的查准率，包括：确定所述第一用户集合和所述第三用户集合的第一交集；确定所述第二用户集合和所述第三用户集合的第二交集；确定所述第一用户集合对应的第一用户个数、所述第二用户集合对应的第二用户个数、所述第三用户集合对应的第三用户个数；确定所述第一交集对应的第四用户个数和所述第二交集对应的第五用户个数；基于所述第一用户个数、所述第二用户个数、所述第三用户个数、所述第四用户个数和所述第五用户个数，确定所述初步训练好的预测模型在所述上一个时间周期的影响下，在所述当前时间周期的查准率。4.根据权利要求3中所述的方法，其特征在于，所述基于所述当前时间周期的第一标签信息、所述第一预测结果、所述上一个时间周期的第二标签信息和所述第二预测结果，确定所述初步训练好的预测模型在所述当前时间周期的评估信息，包括：基于所述第一标签信息，确定在所述当前时间周期内实际为正样本的第四用户集合；确定所述第三用户集合和所述第四用户集合的第三并集；确定所述第四用户集合对应的第六用户个数和所述第三并集对应的第七用户个数；
基于所述第二用户个数、所述第三用户个数、所述第五用户个数、所述第六用户个数和所述第七用户个数，确定所述初步训练好的预测模型在所述上一个时间周期的影响下，在所述当前时间周期的查全率。5.根据权利要求1中所述的方...

【专利技术属性】
技术研发人员：钟子宏，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：