根据应用程序遥测进行多变量异常检测制造技术

在一个示例中，一种系统包括被配置为接收源自多个客户端应用程序的遥测数据的电子处理器。遥测数据包括与一个或多个操作相关联的误差相关联的数据点。电子处理器还基于多个数据类别对遥测数据进行分类，将该多个类别的数据转换为基于多个维度的一个或多个度量，并按所有维度对针对该多个类别的数据的度量进行聚合。电子处理器访问用于与感兴趣的维度相关联的存储的度量的预测评分模型，确定与感兴趣的维度相关联的预测误差，基于从由该预测误差和静态阈值组成的组中选择的项目来检测异常，并且发送一个警告消息、生成问题报告，并将该问题报告存储在数据库中。

【技术实现步骤摘要】
【国外来华专利技术】根据应用程序遥测进行多变量异常检测
本申请中描述的实施例涉及根据应用程序遥测进行异常检测。
技术介绍
一般来讲，异常(anomaly)(又名：离群值、噪声、偏差或例外)是与预期不同的项目或事件。在计算机科学中，异常检测指的是识别不符合预期的模式或不符合一个组中的其它项目的数据、事件或条件。在某些情况中，遇到异常可能指示处理异常，并且因此可以呈现用于调查的起点。通常，异常是由人或学习轨迹的计算系统来检测的。轨迹包括可以来自应用程序、进程、操作系统、硬件组件和/或网络的信息的日志(log)。
技术实现思路
下面呈现了本公开内容的一个或多个实施方式的简化概述，以便提供对这些实施方式的基本理解。这一概述不是对所有预期实施方式的详尽综述，并且并不意在识别所有实施方式的关键或重要元素，也不描绘任何或所有实施方式的范围。其唯一的目的是作为对后面呈现的更多消息描述的序言以简化的形式呈现本公开内容的一个或多个实施方式的一些概念。随着数据收集的新技术的出现和敏捷方法的采用，服务器大量并快速地产生可以被用于评估代码质量、产品和使用的各种数据。针对异常检测所收集数据的大小通常在千万亿字节(pB)范围内。通过对数十亿个数据点的观察，产生数以百万计的异常，这是典型的由于庞大数量的异常导致的不可执行。因此，需要新的异常检测方法和系统，以处理以高体量和高速度从软件应用程序遥测接收到的数据，并降低处理这些异常时的计算开销。除其它事项外，本申请中描述的实施例提供了用于与几个软件应用程序以相对高的频率间隔具有相对高细节水平相关联的遥测数据的收集的系统和方法。实施例还提供了用于同时检测与该软件应用程序相关联的异常的方法和系统。一个示例包括在各种不同的软件产品上监控崩溃，例如，监控跨越不同平台(例如，Windows、Mac、Linux等)、软件应用程序(例如，MicrosoftOffice、Word、PowerPoint、Excel等)、国家、语言、处理器、编译版本、观众、屏幕尺寸等等的每分钟崩溃，并提供异常检测以补救检测到的异常。一些实施例检测与客户端设备上运行的被监视软件应用程序相关联的误差的层级的相对深层次处的误差。在一些情况下，误差的层级结构具有倒转树-分支结构(invertedtree-branchstructure)，其中从顶部到任何分支的端部的路径被称为“枢轴”(本申请中也被称为“维度”)的。在每个枢轴的最深一级(例如，“叶节点”)，当存在异常或误差时，相对应的节点被标记为“1”。当在节点处没有误差时，该节点被标记为“0”。一旦节点被标记，则调查每个枢轴并将误差朝向根节点上卷，同时监测并确定异常的频率、异常的严重性和与被监视软件应用程序相关联的操作的使用分数。使用这一处理过程，能够识别比其它更异常的枢轴。识别这些枢轴提供了与误差是“非关键的”还是“关键的”有关的可执行洞察(insight)。因此，只需要解决较少量的异常，从而相比传统的异常检测技术减少了计算资源。一个示例实施例包括用于使用应用程序遥测的异常检测的计算机系统。该计算机系统包括被配置为接收源自多个客户端应用程序的遥测数据的电子处理器。遥测数据包括表示与对该多个客户端应用程序的一个或多个操作相关联的误差的数据点。该电子处理器还被配置为基于多个类别的数据对该遥测数据进行分类，将该多个类别的数据转换成跨越多个维度的一个或多个度量，跨越该多个维度对针对该类别的数据的度量进行聚合，访问预测评分模型以生成或确定与感兴趣的维度相关联的预测误差，基于从由该预测误差和静态阈值组成的组中选择的项目来检测异常，以及输出与该异常相关联的警告消息。该计算机系统还包括用于显示该警告消息的显示设备。另一示例实施例包括用于使用应用程序遥测的异常检测的方法。该方法包括：接收源自多个客户端应用程序的遥测数据，遥测数据包括表示与该多个客户端应用程序的一个或多个操作相关联的误差的数据点。该方法还包括基于多个类别的数据对该遥测数据进行分类；将该多个类别的数据转换成基于多个维度的一个或多个度量；跨越该多个维度对针对该类别的数据的度量进行聚合；访问用于与感兴趣的维度相关联的预测误差的预测评分模型；基于从由该预测误差和静态阈值组成的组中选择的项目来检测异常；以及输出与该异常相关联的警告消息。另一示例实施例包括一种包含指令的非暂时性计算机可读介质，当该指令由一个或多个电子处理器执行时使得该一个或多个电子处理器执行以下的动作：接收源自多个客户端应用程序的遥测数据，遥测数据包括表示与该多个客户端应用程序的一个或多个操作相关联的误差的数据点；基于多个类别的数据对该遥测数据进行分类；将该多个类别的数据转换成基于多个维度的一个或多个度量；通过所有的所述维度对针对该类别的数据的度量进行聚合；访问用于与感兴趣的维度相关联的存储的度量的预测评分模型；确定与该感兴趣的维度相关联的预测误差；基于从由该预测误差和静态阈值组成的组中选择的项目来检测异常；以及发送警告消息，生成问题报告并将该问题报告存储在数据库中。通过使用本申请中公开的技术，一个或多个设备可以被配置为，除其它事项外，节约关于功率资源、存储器资源、通信带宽资源、处理资源和/或其它资源的资源，同时提供自动检测与使用遥测数据的在线软件应用程序有关的异常。也可以从本申请中公开的技术的实施方式了解到除本申请中提到的那些以外的技术效果。附图说明将从下面的根据附图的详细描述更好地理解本公开内容，其中相同的参考序号用于指定附图中的相同的部分。图1示出用于实现用于利用遥测数据的软件应用程序的异常检测系统的示例环境。图2是图1的异常检测系统的示例计算机架构的示意图。图3A是与各种软件应用程序相关联的各个层级和时间处的示例性异常列表。图3B示出了用于上卷异常以执行统计推断的枢轴的一个示例。图3C示出了用于上卷异常以执行统计推断的枢轴的另一个示例。图4是用于根据一些实施例创建预测评分模型的方法的流程图。图5是用于根据一些实施例使用图4中示出的预测评分模型检测异常的方法的流程图。具体实施方式在下面的描述和附图中描述和示出了一个或多个实施例。这些实施例不限于本申请中提供的特定细节，并且可以以各种方式进行修改。此外，也可能存在未在本申请中描述的其它实施例。并且，本申请中描述的由一个组件所执行的功能可以由多个组件以分布式的方式来执行。同样地，由多个组件执行的功能可以被合并并且由单个组件执行。类似地，被描述为执行特定功能的一个组件也可以执行未在本申请中描述的另外的功能。例如，被以某种方式“配置”的设备或结构被至少以该方式配置，但是也可以以未列出的方式来配置。此外，本申请中描述的一些实施例可以包括一个或多个电子处理器，其被配置为通过执行存储在非暂时性计算机可读介质中的指令以执行所描述的功能。类似地，本申请中所描述实施例可以被实现为非暂时性计算机可读介质，其存储可由用于执行所描述的功能的一个或多个电子处理器执行的指令。如在本申请中所使用的，“非暂时性计算机可读介质”包括所有的计算机可本文档来自技高网...

【技术保护点】
1.一种用于使用应用程序遥测的异常检测的计算机系统，所述计算机系统包括：/n电子处理器，其被配置为：/n接收源自多个客户端应用程序的遥测数据，所述遥测数据包括表示与对所述多个客户端应用程序的一个或多个操作相关联的误差的数据点，/n基于多个类别的数据对所述遥测数据进行分类，/n将所述多个类别的数据转换成跨越多个维度的一个或多个度量，/n跨越所述多个维度对针对所述类别的数据的所述一个或多个度量进行聚合；/n访问用于与感兴趣的维度相关联的预测误差的预测评分模型，/n基于从由所述预测误差和静态阈值组成的组中选择的项目来检测异常，以及/n输出与所述异常相关联的警告消息；以及/n显示设备，其用于显示所述警告消息。/n

【技术特征摘要】
【国外来华专利技术】20180322 US 15/933,1371.一种用于使用应用程序遥测的异常检测的计算机系统，所述计算机系统包括：
电子处理器，其被配置为：
接收源自多个客户端应用程序的遥测数据，所述遥测数据包括表示与对所述多个客户端应用程序的一个或多个操作相关联的误差的数据点，
基于多个类别的数据对所述遥测数据进行分类，
将所述多个类别的数据转换成跨越多个维度的一个或多个度量，
跨越所述多个维度对针对所述类别的数据的所述一个或多个度量进行聚合；
访问用于与感兴趣的维度相关联的预测误差的预测评分模型，
基于从由所述预测误差和静态阈值组成的组中选择的项目来检测异常，以及
输出与所述异常相关联的警告消息；以及
显示设备，其用于显示所述警告消息。


2.根据权利要求1所述的计算机系统，其中，所述电子处理器被进一步配置为：
使用历史遥测数据来生成所述预测评分模型。


3.根据权利要求1所述的计算机系统，其中，所述电子处理器被进一步配置为：
检测在与所述多个维度相关联的最深层次处具有误差的数据点。


4.根据权利要求1所述的计算机系统，其中，所述异常是通过从与所述多个维度相关联的最深层次上卷具有误差的数据点来确定的。


5.根据权利要求4所述的计算机系统，其中，所述异常是基于从由异常的严重程度、异常的频率、以及与所述异常相关联的用户影响组成的组中选择的项目来进行上卷的。


6.根据权利要求1所述的计算机系统，其中，所述电子处理器被进一步配置为：
通过计算按每个维度识别的所述异常与和对应的维度相关联的数据点的总数的比率来确定异常的频率。


7.根据权利要求1所述的计算机系统，其中，所述电子处理器被进一步配置为：
生成对所述异常的指示并且将所述指示存储在数据库中。


8.一种用于使用应用程序遥测进行异常检测的方法，所述方法包括：
接收源自多个客户端应用程序的遥测数据，所述遥测数据包括表示与对所述多个客户端应用程序的一个或多个操作相关联的误差的数据...

【专利技术属性】
技术研发人员：M·库克雷加，F·维贾伊克里希南，U·S·V·斯塔纳姆，M·C·卡莱斯，S·甘古利，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US