【技术实现步骤摘要】
本申请涉及互联网，尤其涉及互联网大数据，特别地涉及一种基于数据埋点的数据分析方法、装置、设备及介质。
技术介绍
1、埋点是计算机中的一个术语，是指通过在客户端中嵌入代码，监听客户端运行过程中的事件，当事件被触发后，捕获事件并将事件的上下文信息上传至服务器的流程。通过埋点采集到的数据即为埋点数据，大量埋点数据可以构成大数据，能够用来分析用户行为、优化客户端等等。
2、相关技术中，当服务器接收到大量埋点数据后，需要针对单个埋点逐一进行人工分析排查，确定该埋点是否异常，排查效率低下且容易遗漏，因而导致埋点数据的验证效率低下。
技术实现思路
1、有鉴于此，本申请实施例提供一种基于数据埋点的数据分析方法、装置、设备、介质及产品，能够对业务系统中所有埋点的埋点数据进行高效验证，提升异常埋点的排查效率。
2、第一方面，本申请实施例提供一种基于数据埋点的数据分析方法，该方法包括：在获取到业务系统的验证埋点集合的情况下，对验证埋点集合进行解析，得到业务系统关联的m个埋点的m条验证埋点数据，其中，每条验证埋点数据由对应埋点在绑定的多个关联字段下的字段值组成；查询业务系统在运行过程中生成的n条运行埋点数据，并基于n条运行埋点数据生成业务系统的埋点事件集合，其中，n条运行埋点数据对应多个埋点；将业务系统的验证埋点集合与埋点事件集合进行字段值对比分析，在多个埋点中第一埋点的运行埋点数据未与任意一条验证埋点数据相对应的情况下，确定第一埋点为多余埋点，并在m个埋点中第二埋点的验证埋点数据
3、在第一方面的一些可实现方式中，在对验证埋点集合进行解析之前，还包括：基于用户在埋点管理平台的埋点配置操作，为各个业务系统设置关联的多个埋点，以及配置每个埋点绑定的多个关联字段及其字段值，其中，不同业务系统关联的多个埋点不同，同一业务系统关联的多个埋点对应不同的埋点事件；对于每个业务系统，组合每个埋点的多个关联字段及其字段值，得到每个埋点的验证埋点数据；整合业务系统对应的m个埋点的m条验证埋点数据，得到验证埋点集合。
4、在第一方面的一些可实现方式中，将业务系统的验证埋点集合与埋点事件集合进行字段值对比分析，包括：从业务系统对应的m条验证埋点数据与n条运行埋点数据中，基于多个关联字段中目标关联字段下的字段值，筛选对应同一埋点的验证埋点数据与运行埋点数据；在第一埋点的运行埋点数据中目标关联字段下的字段值，未出现在m条验证埋点数据中的情况下，确定第一埋点未与任意一条验证埋点数据相对应；在第二埋点的验证埋点数据中目标关联字段下的字段值，未出现在n条运行埋点数据中的情况下，确定第二埋点未与任意一条运行埋点数据相对应。
5、在第一方面的一些可实现方式中，n条运行埋点数据为业务系统在第一时间段内运行生成的，在初步确定第二埋点为遗漏埋点之后，还包括：获取业务系统在第一时间段之前的预设时长内运行所生成的所有历史运行埋点数据，得到历史埋点事件集合；通过遍历历史埋点事件集合，从历史埋点事件集合中查询与第二埋点对应验证埋点数据中所有关联字段的字段值均一致的历史运行埋点数据，得到目标历史运行埋点数据；在目标历史运行埋点数据的数量为零，或者大于第一目标埋点次数阈值的情况下，确定第二埋点为遗漏埋点。
6、在第一方面的一些可实现方式中，在得到目标历史运行埋点数据之后，还包括：在目标历史运行埋点数据的数量大于第二目标埋点次数阈值且不大于第一目标埋点次数阈值的情况下，确定第二埋点对应功能为业务系统中的中频功能，且第二埋点为可能异常埋点；在目标历史运行埋点数据的数量大于零且小于第二目标埋点次数阈值的情况下，确定第二埋点对应功能为业务系统中的低频功能，且第二埋点为正常埋点。
7、在第一方面的一些可实现方式中，第一目标埋点次数阈值大于第二目标埋点次数阈值，第一目标埋点次数阈值和第二目标埋点次数阈值均基于业务系统的用户活跃度确定，第一目标埋点次数阈值和第二目标埋点次数阈值均与业务系统的用户活跃度呈正相关。
8、在第一方面的一些可实现方式中，关联字段至少包括系统类型、客户端类型、客户端版本、功能模块、事件类型、事件名、pageurl和frompageurl，在确定埋点为错误埋点之后，方法还包括：从运行埋点数据中提取pageurl和frompageurl下的字段值；基于pageurl和frompageurl下的字段值，定位业务系统中的异常模块和异常页面，得到分析结果；周期性向目标用户发送分析结果。
9、第二方面，本申请实施例提供一种基于数据埋点的数据分析装置，该装置包括：解析模块，用于在获取到业务系统的验证埋点集合的情况下，对验证埋点集合进行解析，得到业务系统关联的m个埋点的m条验证埋点数据，其中，每条验证埋点数据由对应埋点在绑定的多个关联字段下的字段值组成；生成模块，用于查询业务系统在运行过程中生成的n条运行埋点数据，并基于n条运行埋点数据生成业务系统的埋点事件集合，其中，n条运行埋点数据对应多个埋点；字段值对比分析模块，用于将业务系统的验证埋点集合与埋点事件集合进行字段值对比分析，在多个埋点中第一埋点的运行埋点数据未与任意一条验证埋点数据相对应的情况下，确定第一埋点为多余埋点，并在m个埋点中第二埋点的验证埋点数据未与任意一条运行埋点数据相对应的情况下，初步确定第二埋点为遗漏埋点；确定模块，用于对于同一埋点，在运行埋点数据与验证埋点数据中同一关联字段下的字段值不一致的情况下，确定埋点为错误埋点。
10、在第二方面的一些可实现方式中，还包括：埋点配置模块，用于在对验证埋点集合进行解析之前，基于用户在埋点管理平台的埋点配置操作，为各个业务系统设置关联的多个埋点，以及配置每个埋点绑定的多个关联字段及其字段值，其中，不同业务系统关联的多个埋点不同，同一业务系统关联的多个埋点对应不同的埋点事件；组合模块，用于对于每个业务系统，组合每个埋点的多个关联字段及其字段值，得到每个埋点的验证埋点数据；整合模块，用于整合业务系统对应的m个埋点的m条验证埋点数据，得到验证埋点集合。
11、在第二方面的一些可实现方式中，字段值对比分析模块包括：筛选子模块，用于从业务系统对应的m条验证埋点数据与n条运行埋点数据中，基于多个关联字段中目标关联字段下的字段值，筛选对应同一埋点的验证埋点数据与运行埋点数据；确定子模块，用于在第一埋点的运行埋点数据中目标关联字段下的字段值，未出现在m条验证埋点数据中的情况下，确定第一埋点未与任意一条验证埋点数据相对应；确定子模块，还用于在第二埋点的验证埋点数据中目标关联字段下的字段值，未出现在n条运行埋点数据中的情况下，确定第二埋点未与任意一条运行埋点数据相对应。
12、在第二方面的一些可实现方式中，n条运行埋点数据为业务系统在第一时间段内运行生成的，还包括：获取模块，用于在初步确定第二埋本文档来自技高网...
【技术保护点】
1.一种基于数据埋点的数据分析方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在对所述验证埋点集合进行解析之前，还包括：
3.根据权利要求1所述的方法，其特征在于，所述将业务系统的验证埋点集合与埋点事件集合进行字段值对比分析，包括：
4.根据权利要求1所述的方法，其特征在于，所述N条运行埋点数据为所述业务系统在第一时间段内运行生成的，所述在所述初步确定所述第二埋点为遗漏埋点之后，还包括：
5.根据权利要求4所述的方法，其特征在于，在所述得到目标历史运行埋点数据之后，还包括：
6.根据权利要求4所述的方法，其特征在于，所述第一目标埋点次数阈值大于所述第二目标埋点次数阈值，所述第一目标埋点次数阈值和第二目标埋点次数阈值均基于所述业务系统的用户活跃度确定，所述第一目标埋点次数阈值和第二目标埋点次数阈值均与所述业务系统的用户活跃度呈正相关。
7.根据权利要求1所述的方法，其特征在于，所述关联字段至少包括系统类型、客户端类型、客户端版本、功能模块、事件类型、事件名、pageurl和frompageu
8.一种基于数据埋点的数据分析装置，其特征在于，包括：
9.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；所述电子设备执行所述计算机程序指令时实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。
...【技术特征摘要】
1.一种基于数据埋点的数据分析方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在对所述验证埋点集合进行解析之前，还包括：
3.根据权利要求1所述的方法，其特征在于，所述将业务系统的验证埋点集合与埋点事件集合进行字段值对比分析，包括：
4.根据权利要求1所述的方法，其特征在于，所述n条运行埋点数据为所述业务系统在第一时间段内运行生成的，所述在所述初步确定所述第二埋点为遗漏埋点之后，还包括：
5.根据权利要求4所述的方法，其特征在于，在所述得到目标历史运行埋点数据之后，还包括：
6.根据权利要求4所述的方法，其特征在于，所述第一目标埋点次数阈值大于所述第二目标埋点次数阈值，所述第一目标埋点次数阈值和第二目标埋点次数阈值均基于所述业务系统的用户活跃...
【专利技术属性】
技术研发人员：张辛末，郑宇，戈维维，
申请(专利权)人：前锦网络信息技术上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。