模型质量监控方法、装置、电子设备以及存储介质制造方法及图纸

本公开提供了一种模型质量监控方法、装置、电子设备以及存储介质。涉及计算机应用技术领域，尤其涉及模型开发等人工智能领域。具体实现方案为：获取目标模型的第一质量指标数据；获取预设时间段内目标模型的输入数据和输出数据；基于预设时间段内的输入数据和输出数据，利用目标算法确定目标模型的第二质量指标数据；对比第二质量指标数据与第一质量指标数据之间的差异，在差异超出预设范围的情况下，进行告警。根据本公开的技术方案，能智能地对模型的质量进行监控，快速及时地反馈模型的质量变化情况，提高模型质量监控的效率。提高模型质量监控的效率。提高模型质量监控的效率。

【技术实现步骤摘要】
模型质量监控方法、装置、电子设备以及存储介质


[0001]本公开涉及计算机应用
，尤其涉及模型开发等人工智能领域，具体涉及一种模型质量监控方法、装置、电子设备以及存储介质。

技术介绍

[0002]随着人工智能(Artificial Intelligence，AI)的发展，越来越多的行业和领域在使用AI技术解决自身的业务问题，实现业务不断创新。由于AI模型质量的好坏将直接影响业务的运行能力，因此，需要对模型的质量进行监控。相关技术中，在模型质量监控过程中，存在多个需要人工参与和业务侵入的环节，不利于自动化的工程实现。另外，相关监控方式不能及时对模型质量问题进行预警。

技术实现思路

[0003]本公开提供了一种模型质量监控方法、装置、电子设备以及存储介质。
[0004]根据本公开的第一方面，提供了一种模型质量监控方法，包括：
[0005]获取目标模型的第一质量指标数据；
[0006]获取预设时间段内该目标模型的输入数据和输出数据；
[0007]基于该预设时间段内的输入数据和输出数据，利用目标算法确定该目标模型的第二质量指标数据；
[0008]对比该第二质量指标数据与该第一质量指标数据之间的差异，在该差异超出预设范围的情况下，进行告警。
[0009]根据本公开的第二方面，提供了一种模型质量监控装置，包括：
[0010]第一获取模块，用于获取目标模型的第一质量指标数据；
[0011]第二获取模块，用于获取预设时间段内目标模型的输入数据和输出数据；
[0012]第一确定模块，用于基于预设时间段内的输入数据和输出数据，利用目标算法确定目标模型的第二质量指标数据；
[0013]监控模块，用于对比第二质量指标数据与第一质量指标数据之间的差异，在差异超出预设范围的情况下，进行告警。
[0014]根据本公开的第三方面，提供了一种电子设备，包括：
[0015]至少一个处理器；以及
[0016]与该至少一个处理器通信连接的存储器；其中，
[0017]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行上述第一方面所提供的方法。
[0018]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行上述第一方面所提供的方法。
[0019]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述第一方面所提供的方法。
[0020]本公开实施例，能智能地对模型的质量进行监控，快速及时地反馈模型的质量变化情况，提高模型质量监控的效率。
[0021]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0022]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0023]图1是根据本公开实施例的模型质量监控方法的流程示意图一；
[0024]图2是根据本公开实施例的模型质量监控方法的流程示意图二；
[0025]图3是根据本公开实施例的模型质量监控的架构示意图；
[0026]图4是根据本公开实施例的模型质量监控装置的组成示意图一；
[0027]图5是根据本公开实施例的模型质量监控装置的组成示意图二；
[0028]图6是根据本公开实施例的模型质量监控场景的示意图；
[0029]图7是用来实现本公开实施例的模型质量监控方法的电子设备的框图。
具体实施方式
[0030]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0031]本公开的说明书实施例和权利要求书及上述附图中的术语"第一"、"第二"和"第三"等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语"包括"和"具有"以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0032]由于AI模型和业务生产环境数据的不确定性、模型质量监控流程的复杂性等，给平台化、自动化建设模型质量监控功能提出了挑战。监控承载的AI模型质量、评估是否满足生产环境的需求，可指导用户持续地优化模型，使得AI技术更好地赋能业务，也可以提升平台的影响力和吸引力。
[0033]相关技术中，一种实现方案是通过监控实际生产环境的业务指标，如广告点击率、功能认可度等，来衡量模型质量是否对业务有价值。然而，这种方案至少存在以下缺点：a.影响实际业务指标的因素众多，难以快速排查确认是否是因模型质量问题引起的；b.即使定位到是模型质量问题引发的业务指标下降，仍无法自动化给出量化指标，需要人工检查。
[0034]相关技术中，另一种实现方案是在业务代码或者AI模型服务的日志中定期解析收集AI模型的输入输出，根据模型质量评估算法检查模型质量是否符合预期。然而，这种方案虽然在一定程度上解决第一个方案存在的缺点，但是仍存在以下缺点：a.整个过程存在多个需要人工参与和业务侵入的环节，不利于自动化的工程实现，例如需要在业务模块中添加打印模型输入输出的代码；b.这种后验的监控方式不能及时对问题进行告警，当触发报警时，模型质量已经在过去的某个时刻不符合线上业务需求，造成了一段时间的业务负面
影响。
[0035]本公开针对模型质量监控的流程特点，提出了一套自动智能化的模型质量监控流程，解决模型质量监控所面临的一系列问题。
[0036]本公开实施例提供了一种模型质量监控方法，图1是根据本公开实施例的模型质量监控方法的流程示意图，该模型质量监控方法可以应用于模型质量监控装置。该模型质量监控装置位于电子设备，该电子设备包括但不限于固定设备和/或移动设备，在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示，该模型质量监控方法包括：
[0037]S101：获取目标模型的第一质量指标数据；
[0038]S102：获取预设时间段内该目标模型的输入数据和输出数据；
[0039]S103：基于该预设时间段内的输入数据和输出数据，利用目标算法确定该目标模型的第二质量指标数据；
[0040]S104：对比该第二质量指标数据与该第一质量指标数据之间的差异，在该差异超出预设范围的情况下，进行告警。
[0041]本公开实施例中，目标模型是能支持至少一种AI本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型质量监控方法，包括：获取目标模型的第一质量指标数据；获取预设时间段内所述目标模型的输入数据和输出数据；基于所述预设时间段内的所述输入数据和所述输出数据，利用目标算法确定所述目标模型的第二质量指标数据；对比所述第二质量指标数据与所述第一质量指标数据之间的差异，在所述差异超出预设范围的情况下，进行告警。2.根据权利要求1所述的方法，其中，所述获取目标模型的第一质量指标数据，包括：获取监控类型和基准数据；从指标算法库中确定与所述监控类型匹配的目标算法；根据所述基准数据，利用所述目标算法确定出目标模型的第一质量指标数据。3.根据权利要求1或2所述的方法，其中，所述预设时间段包括多个第一时刻；所述基于所述预设时间段内的所述输入数据和所述输出数据，利用目标算法确定所述目标模型的第二质量指标数据，包括：基于所述多个第一时刻分别对应的所述输入数据和所述输出数据，利用所述目标算法确定所述多个第一时刻分别对应的第二质量指标数据。4.根据权利要求3所述的方法，其中，所述对比所述第二质量指标数据与所述第一质量指标数据之间的差异，在所述差异超出预设范围的情况下，进行告警，包括：将所述多个第一时刻分别对应的所述第二质量指标数据与所述第一质量指标数据进行对比，得到所述多个第一时刻分别对应的第一差异；响应于在所述多个第一时刻分别对应的第一差异中存在超出第一预设范围的第一差异，采用第一告警方式进行告警。5.根据权利要求3所述的方法，还包括：基于所述多个第一时刻分别对应的所述第二质量指标数据，利用从预测模型库中选择出的预测模型，预测得到第二时刻的第二质量指标数据，所述第二时刻在所述多个第一时刻之后且所述第二时刻位于所述预设时间段之外。6.根据权利要求5所述的方法，其中，所述对比所述第二质量指标数据与所述第一质量指标数据之间的差异，在所述差异超出预设范围的情况下，进行告警，包括：将所述第二时刻的第二质量指标数据与所述第一质量指标数据进行对比，得到第二差异；在所述第二差异超出第二预设范围的情况下，采用第二告警方式进行告警。7.一种模型质量监控装置，包括：第一获取模块，用于获取目标模型的第一质量指标数据；第二获取模块，用于获取预设时间段内所述目标模型的输入数据和输出数据；第一确定模块，用于基于所述预设时间段内的所述输入数据和所述输出数据，利用目标算法确定所述目标模型的第二质量指标数据；监...

【专利技术属性】
技术研发人员：褚振方，钱正宇，施恩，胡鸣人，袁正雄，李金麒，黄悦，罗阳，王国彬，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：