【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种模型质量评估方法、装置、电子设备以及存储介质。
技术介绍
1、在进行广告投放的过程中，广告投放的行为链条一般可以概括为：展示(曝光)→点击→转化。其中箭头处存在一个预估算法(模型)，预测给定箭头左边，产生箭头右边行为的概率，比如展示→点击的箭头处即存在点击率预估算法。通过提升预估算法的精准度，向用户推荐感兴趣的广告内容。
2、然而，上述广告推荐的相关预估模型受特征、样本、流量、样本延迟回流、模型训练、更新等因素影响，会导致预估模型输出的预估值出现波动。目前，尚无统一和广泛达成共识的模型波动率指标，来对预估模型的质量进行评估。
技术实现思路
1、本申请实施例提供一种模型质量评估方法、装置、电子设备以及存储介质，能够有效评估模型质量。
2、本申请实施例的技术方案是这样实现的：
3、本申请实施例提供一种模型质量评估方法，所述方法包括：获取预估值分布数据和真实值分布数据；所述预估值分布数据是待评估的信息推荐模型输出的目标对象针对推荐目标的预估值在时间维度下的分布数据，所述真实值分布数据是预先标注的所述目标对象针对所述推荐目标的真实值在时间维度下的分布数据；分别采用具有第一时间窗口的第一聚合周期以及具有第二时间窗口的第二聚合周期，对所述预估值分布数据和所述真实值分布数据进行聚合处理，对应得到多个第一聚合周期内的预估值聚合结果、多个第一聚合周期内的真实值聚合结果、多个第二聚合周期内的预估值聚合结果和多个第二聚合周期内的真实值聚
4、本申请实施例提供一种模型质量评估装置，包括：数据采集模块，用于获取预估值分布数据和真实值分布数据；所述预估值分布数据是待评估的信息推荐模型输出的目标对象针对推荐目标的预估值在时间维度下的分布数据，所述真实值分布数据是预先标注的所述目标对象针对所述推荐目标的真实值在时间维度下的分布数据；聚合处理模块，用于分别采用具有第一时间窗口的第一聚合周期以及具有第二时间窗口的第二聚合周期，对所述预估值分布数据和所述真实值分布数据进行聚合处理，对应得到多个第一聚合周期内的预估值聚合结果、多个第一聚合周期内的真实值聚合结果、多个第二聚合周期内的预估值聚合结果和多个第二聚合周期内的真实值聚合结果；第一偏差确定模块，用于基于所述第一聚合周期内的预估值聚合结果和所述第一聚合周期内的真实值聚合结果，确定所述信息推荐模型在每一所述第一聚合周期内的第一预估偏差值；第二偏差确定模块，用于基于所述第二聚合周期内的预估值聚合结果和所述第二聚合周期内的真实值聚合结果，确定所述信息推荐模型在每一所述第二聚合周期内的第二预估偏差值；质量评估模块，用于基于所述第一预估偏差值和所述第二预估偏差值，对所述信息推荐模型进行模型质量评估。
5、上述方案中，所述聚合处理模块，还用于采用具有所述第一时间窗口的第一聚合周期，对所述预估值分布数据和所述真实值分布数据分别进行聚合处理，得到多个第一聚合周期内的预估值聚合结果和多个第一聚合周期内的真实值聚合结果；采用具有所述第二时间窗口的第二聚合周期，对所述预估值分布数据和所述真实值分布数据分别进行聚合处理，得到多个第二聚合周期内的预估值聚合结果和多个第二聚合周期内的真实值聚合结果；所述第一时间窗口小于所述第二时间窗口。
6、上述方案中，所述聚合处理模块，还用于按照所述第一聚合周期，对所述预估值分布数据和所述真实值分布数据在所述时间维度上分别进行划分，得到多个第一聚合周期内的预估值聚合结果和多个第一聚合周期内的真实值聚合结果；其中，每一所述第一聚合周期内的预估值聚合结果包括所述第一聚合周期内的多个预估值，每一所述第一聚合周期内的真实值聚合结果包括所述第一聚合周期内的多个真实值。
7、上述方案中，所述聚合处理模块，还用于按照所述第二聚合周期，对所述预估值分布数据和所述真实值分布数据在所述时间维度上分别进行划分，得到多个第二聚合周期内的预估值聚合结果和多个第二聚合周期内的真实值聚合结果；其中，每一所述第二聚合周期内的预估值聚合结果包括所述第二聚合周期内的多个预估值，每一所述第二聚合周期内的真实值聚合结果包括所述第二聚合周期内的多个真实值。
8、上述方案中，所述第一偏差确定模块，还用于针对任一第一聚合周期内的预估值聚合结果和真实值聚合结果，获取所述第一聚合周期内的预估值聚合结果中的多个预估值和所述第一聚合周期内的真实值聚合结果中的多个真实值；其中，每一预估值对应一个真实值；确定各所述预估值之和与对应的各真实值之和的比值，并将所述比值与1之间的差值确定为预估值与真实值之间的比值差；对预估值与真实值之间的比值差求均值，得到所述信息推荐模型在所述第一聚合周期内的第一预估偏差值。
9、上述方案中，所述第二偏差确定模块，还用于针对任一第二聚合周期内的预估值聚合结果和真实值聚合结果，获取所述第二聚合周期内的预估值聚合结果中的多个预估值和所述第二聚合周期内的真实值聚合结果中的多个真实值；其中，每一预估值对应一个真实值；确定各所述预估值之和与对应的各真实值之和的比值，并将所述比值与1之间的差值确定为预估值与真实值之间的比值差；对预估值与真实值之间的比值差求均值，得到所述信息推荐模型在所述第二聚合周期内的第二预估偏差值。
10、上述方案中，所述数据采集模块，还用于在所述时间维度下，通过所述信息推荐模型预测所述目标对象针对所述推荐目标在每一时刻下的预估值；对每一时刻下的预估值按照时间递增规律进行数据分布统计，得到所述预估值分布数据；获取预先标注的所述目标对象针对所述推荐目标在每一时刻下的真实值；对每一时刻下的真实值按照时间递增规律进行数据分布统计，得到所述真实值分布数据。
11、上述方案中，所述质量评估模块，还用于基于所述第一预估偏差值和所述第二预估偏差值，确定所述信息推荐模型在所述第一聚合周期和所述第二聚合周期下的波动率；所述波动率用于表征所述信息推荐模型在所述第一聚合周期和所述第二聚合周期下的算法稳定性；采用所述波动率对所述信息推荐模型进行模型质量评估。
12、上述方案中，所述质量评估模块，还用于确定与所述第二聚合周期内的第二预估偏差值对应的多个第一预估偏差值；确定所述多个第一预估偏差值中的每一第一预估偏差值与所述第二预估偏差值之间的差值；计算每一所述差值的平方值，并对所述平方值进行开根号运算，得到与每一所述第一预估偏差值对应的根号运算结果；对全部的根号运算结果求均值，得到所述所述信息推荐模型在所述第一聚合周期和所述第二聚合周期下的波动率。
13、上述方案中，所述模型质量评估装置还包括告本文档来自技高网...
【技术保护点】
1.一种模型质量评估方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述分别采用具有第一时间窗口的第一聚合周期以及具有第二时间窗口的第二聚合周期，对所述预估值分布数据和所述真实值分布数据进行聚合处理，对应得到多个第一聚合周期内的预估值聚合结果、多个第一聚合周期内的真实值聚合结果、多个第二聚合周期内的预估值聚合结果和多个第二聚合周期内的真实值聚合结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述采用具有所述第一时间窗口的第一聚合周期，对所述预估值分布数据和所述真实值分布数据分别进行聚合处理，得到多个第一聚合周期内的预估值聚合结果和多个第一聚合周期内的真实值聚合结果，包括：
4.根据权利要求2所述的方法，其特征在于，所述采用具有所述第二时间窗口的第二聚合周期，对所述预估值分布数据和所述真实值分布数据分别进行聚合处理，得到多个第二聚合周期内的预估值聚合结果和多个第二聚合周期内的真实值聚合结果，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一聚合周期内的预估值聚合结果和所述第一聚合周期
6.根据权利要求1所述的方法，其特征在于，所述基于所述第二聚合周期内的预估值聚合结果和所述第二聚合周期内的真实值聚合结果，确定所述信息推荐模型在每一所述第二聚合周期内的第二预估偏差值，包括：
7.根据权利要求1所述的方法，其特征在于，所述获取预估值分布数据和真实值分布数据，包括：
8.根据权利要求1至7任一项所述的方法，其特征在于，所述基于所述第一预估偏差值和所述第二预估偏差值，对所述信息推荐模型进行模型质量评估，包括：
9.根据权利要求8所述的方法，其特征在于，所述基于所述第一预估偏差值和所述第二预估偏差值，确定所述信息推荐模型在所述第一聚合周期和所述第二聚合周期下的波动率，包括：
10.根据权利要求8所述的方法，其特征在于，所述方法还包括：
11.根据权利要求8所述的方法，其特征在于，所述方法还包括：
12.根据权利要求8所述的方法，其特征在于，所述方法还包括：
13.一种模型质量评估装置，其特征在于，所述装置包括：
14.一种电子设备，其特征在于，所述电子设备包括：
15.一种计算机可读存储介质，存储有计模型质量评估方法算机可执行指令或者计算机程序，其特征在于，所述计算机可执行指令或者计算机程序被处理器执行时实现权利要求1至12任一项所述的模型质量评估方法。
16.一种计算机程序产品，包括计算机可执行指令或计算机程序，其特征在于，所述计算机可执行指令或计算机程序被处理器执行时实现权利要求1至12任一项所述的模型质量评估方法。
...【技术特征摘要】
1.一种模型质量评估方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述分别采用具有第一时间窗口的第一聚合周期以及具有第二时间窗口的第二聚合周期，对所述预估值分布数据和所述真实值分布数据进行聚合处理，对应得到多个第一聚合周期内的预估值聚合结果、多个第一聚合周期内的真实值聚合结果、多个第二聚合周期内的预估值聚合结果和多个第二聚合周期内的真实值聚合结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述采用具有所述第一时间窗口的第一聚合周期，对所述预估值分布数据和所述真实值分布数据分别进行聚合处理，得到多个第一聚合周期内的预估值聚合结果和多个第一聚合周期内的真实值聚合结果，包括：
4.根据权利要求2所述的方法，其特征在于，所述采用具有所述第二时间窗口的第二聚合周期，对所述预估值分布数据和所述真实值分布数据分别进行聚合处理，得到多个第二聚合周期内的预估值聚合结果和多个第二聚合周期内的真实值聚合结果，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一聚合周期内的预估值聚合结果和所述第一聚合周期内的真实值聚合结果，确定所述信息推荐模型在每一所述第一聚合周期内的第一预估偏差值，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述第二聚合周期内的预估值聚合结果和所述第二聚合周期内的真实值聚合结果，确定所述信息推荐...
【专利技术属性】
技术研发人员：冯志祥，
申请(专利权)人：北京搜狗科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。