埋点采集、统计分析方法、系统、设备及存储介质技术方案

本申请涉及数据统计、分析技术领域，公开了一种埋点采集、统计分析方法及系统，埋点采集、统计分析方法包括：批量配置需要埋点跟踪的URI信息和参数信息以及基于需要统计分析的URI信息和参数信息，生成埋点方案；基于埋点配置规则采集数据，并将采集到的采集数据通过日志Logback方式落盘；将采集到的采集数据通过Filebeat+Logstash方式传输，经过MQ集群发送到清洗端做数据清洗处理；清洗端通过从MQ集群接收消息，对采集数据做数据清洗处理后写入ES集群，按照时间进行分类存储；最后通过埋点方案实时查看统计分析结果。本申请提供的埋点采集、统计分析方法及系统实现非技术人员的可视化埋点配置，能够实时出统计结果，降低了二次开发的成本及缩短了开发耗时。

【技术实现步骤摘要】
埋点采集、统计分析方法、系统、设备及存储介质
本申请涉及数据统计、分析
，尤其是涉及一种埋点采集、统计分析方法、系统、设备及存储介质。
技术介绍
“埋点”指在应用中特定的流程收集一些信息，用来跟踪应用使用的状况，包括访问数，访客数，停留时长，页面浏览数和跳出率等，以便于后续用来进一步优化产品或是提供运营的数据支撑。相关技术中，埋点方案大多为单个业务部门提出需求，并向对应线的产品经理转达，同时由产品经理与研发项目经理商议对应的埋点拦截方案，然后进行方案细节的设计，并转交给对应的开发进行二次开发，因此，无法进行实时配置实时出统计结果，二次开发耗时较长，效率较低，开发成本较大。
技术实现思路
为了提高开发效率，降低开发成本，本申请提供了埋点采集、统计分析方法、系统、设备及存储介质。第一方面，本申请公开了埋点采集、统计分析方法。埋点采集、统计分析方法，包括：埋点配置，包括配置采集端点及配置采集方案：配置采集端点，批量配置需要埋点跟踪的URI信息和参数信息；配置采集方案，基于需要统计分析的URI信息和参数信息，生成埋点方案；数据采集，基于埋点配置规则采集数据，并将采集到的采集数据通过日志Logback方式落盘；数据清洗，将采集到的采集数据通过Filebeat+Logstash方式传输，经过MQ集群发送到清洗端做数据清洗处理；数据存储，清洗端通过从MQ集群接收消息，对采集数据做数据清洗处理后写入ES集群，按照时间进行分类存储；>数据分析，通过埋点方案实时查看统计分析结果。通过采用上述技术方案，仅需配置好采集端点以及对应的采集方案，即可根据配置规则采集请求，实现非技术人员的可视化埋点配置，能够实时出统计结果，降低了二次开发的成本及缩短了开发耗时。优选的，所述埋点配置还包括定义采集数据的日志文件格式，在数据清洗之前还包括数据校验：根据定义的日志文件格式，对采集到的采集数据进行校验，将校验得到的校验数据发送至清洗端做数据清洗处理。通过采用上述技术方案，在进入数据清洗之前预先对数据的格式进行校验，提出错误格式的数据，保留合规的格式，降低了后续处理过程中的数据错误率，从而提高了效率。优选的，所述清洗端做数据清洗处理包括：将需要埋点跟踪的URI信息、参数信息以及校验得到的校验数据进行解析、聚合。优选的，将需要埋点跟踪的URI信息、参数信息以及校验得到的校验数据进行解析、聚合包括：对需要埋点跟踪的URI信息、参数信息进行解析，并缓存；对校验得到的校验数据进行解析，生成解析日志；提取所述解析日志与解析后的需要埋点跟踪的URI信息、参数信息的对应关系；基于预设的聚合规则进行聚合，得到聚合结果。通过采用上述技术方案，通过采用上述技术方案，直观获取相应参数信息的统计结果。优选的，所述基于预设的聚合规则进行聚合得到聚合结果包括从页面、上下文、要素维度进行聚合得到聚合结果。通过采用上述技术方案，提高统计分析的全面性。第二方面，本申请公开了埋点采集、统计分析配置系统，包括：采集端点配置单元，用于配置需要埋点跟踪的URI信息和参数信息；埋点方案配置单元，用于埋点方案的定义；数据采集单元，用于基于埋点配置规则采集数据；数据清洗单元，用于将需要埋点跟踪的URI信息、参数信息以及采集到的采集数据进行解析、聚合；数据存储单元，用于分类存储清洗后的采集数据；数据分析单元，用于基于埋点方案实时查看统计分析结果。优选的，还包括：文件格式定义单元，用于定义采集数据的日志文件格式；数据校验单元，用于基于文件格式定义单元定义的日志文件格式对采集到的采集数据进行校验。第三方面，本申请公开了埋点采集、统计分析配置设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述埋点采集、统计分析方法的计算机程序。第四方面，本申请公开的一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述埋点采集、统计分析方法。综上所述，本申请提供的埋点采集、统计分析方法、系统、设备及存储介质包括以下至少一种有益技术效果：1、通过采集端点配置单元、埋点方案配置单元，以用于配置需要埋点跟踪的URI信息和参数信息及埋点方案的定义，在设定好埋点配置后即可基于配置的内容进行数据采集、清洗、存储及分析的处理过程，数据通过日志Logback方式落盘，通过Filebeat+Logstash方式传输，经过MQ集群发送到数据清洗单元进行解析、聚合，数据清洗单元对数据做预处理后写入ES集群，按照日/月/年纬度进行分类存储，后进行分析统计，实现了非技术人员的可视化埋点配置，能够实时出统计结果，降低了二次开发的成本及缩短了开发耗时；2、通过采集端点配置单元、埋点方案配置单元支持个性化配置开发节点数据，满足不同种类的用户千人千面的统计需求。附图说明图1为本申请提供的埋点采集、统计分析配置系统模块结构示意图。图中，1、采集端点配置单元；2、埋点方案配置单元；3、数据采集单元；4、数据清洗单元；5、数据存储单元；6、数据分析单元；7、文件格式定义单元；8、数据校验单元。具体实施方式以下结合附图对本申请作进一步详细说明。本申请首先公开了埋点采集、统计分析方法，包括以下步骤：埋点配置，包括配置采集端点、配置采集方案及定义采集数据的日志文件格式：配置采集端点，批量配置需要埋点跟踪的URI信息和参数信息，即根据目标载体上的元素配置需要采集的元素名称和定义埋点内容，埋点内容包括关于目标载体上的需要采集的元素的访问量（PV）、独立访客量（UV）和自定义参数，自定义参数如停留时长、跳出率等；配置采集方案，基于上述配置的需要统计分析的URI信息和参数信息，生成对应的埋点方案；定义采集数据的日志文件格式为一特定格式，以用于对采集的疏忽格式进行校验，以降低后续数据处理过程的错误率。以上埋点配置为预先设置完成。在完成上述埋点配置后，方可进行以下处理流程：数据采集，基于预先配置的配置采集端点规则采集相应的数据，并将采集到的采集数据通过日志Logback方式落盘。数据校验，根据定义的日志文件格式，对采集到的采集数据进行校验，即将采集到的数据的格式与预先定义的日志文件格式进行比对，保留格式一致的数据；然后将校验后保留下的校验数据发送至清洗端做数据清洗处理。数据清洗，将采集到的采集数据通过Filebeat+Logstash方式传输，经过MQ集群发送到清洗端做数据清洗处理，即将需要埋点跟踪的URI信息、参数信息以及校验得到的校验数据进行解析、聚合；将需要埋点跟踪的URI信息、参数信息以及校验得到的校验数据进行解析、聚合包括：对需要埋点跟踪的URI信息、参数信息进行解析，并本文档来自技高网...

【技术保护点】
1.埋点采集、统计分析方法，其特征在于，包括：/n埋点配置，包括配置采集端点及配置采集方案：/n配置采集端点，批量配置需要埋点跟踪的URI信息和参数信息；/n配置采集方案，基于需要统计分析的URI信息和参数信息，生成埋点方案；/n数据采集，基于埋点配置规则采集数据，并将采集到的采集数据通过日志Logback方式落盘；/n数据清洗，将采集到的采集数据通过Filebeat+Logstash方式传输，经过MQ集群发送到清洗端做数据清洗处理；/n数据存储，清洗端通过从MQ集群接收消息，对采集数据做数据清洗处理后写入ES集群，按照时间进行分类存储；/n数据分析，通过埋点方案实时查看统计分析结果。/n

【技术特征摘要】
1.埋点采集、统计分析方法，其特征在于，包括：
埋点配置，包括配置采集端点及配置采集方案：
配置采集端点，批量配置需要埋点跟踪的URI信息和参数信息；
配置采集方案，基于需要统计分析的URI信息和参数信息，生成埋点方案；
数据采集，基于埋点配置规则采集数据，并将采集到的采集数据通过日志Logback方式落盘；
数据清洗，将采集到的采集数据通过Filebeat+Logstash方式传输，经过MQ集群发送到清洗端做数据清洗处理；
数据存储，清洗端通过从MQ集群接收消息，对采集数据做数据清洗处理后写入ES集群，按照时间进行分类存储；
数据分析，通过埋点方案实时查看统计分析结果。


2.根据权利要求1所述的埋点采集、统计分析方法，其特征在于，所述埋点配置还包括定义采集数据的日志文件格式，在数据清洗之前还包括数据校验：
根据定义的日志文件格式，对采集到的采集数据进行校验，将校验得到的校验数据发送至清洗端做数据清洗处理。


3.根据权利要求2所述的埋点采集、统计分析方法，其特征在于，所述清洗端做数据清洗处理包括：
将需要埋点跟踪的URI信息、参数信息以及校验得到的校验数据进行解析、聚合。


4.根据权利要求3所述的埋点采集、统计分析方法，其特征在于，将需要埋点跟踪的URI信息、参数信息以及校验得到的校验数据进行解析、聚合包括：
对需要埋点跟踪的URI信息、参数信息进行解析，并缓存；
对校验得到的校验数据进行解析，生成解析日...

【专利技术属性】
技术研发人员：王晓进，
申请(专利权)人：上海钢银科技发展有限公司，
类型：发明
国别省市：上海;31