本发明专利技术涉及人工智能技术领域，提供一种埋点数据处理方法、装置、电子设备及存储介质，所述方法包括：接收采用Jar包读取的配置文件输出的埋点日志；对埋点日志进行识别，将识别得到多个第一埋点字段进行转换，得到每个第一埋点字段的标准字段；将多个标准字段写入云数据库中；当监听到埋点数据处理界面中的第二埋点字段被选定时，对被选定的第二埋点字段及多个第一埋点字段进行构建，得到数据库标准查询语句；根据数据库标准查询语句，实时统计写入云数据库中的埋点日志，得到数据处理结果。本发明专利技术通过实时统计写入云数据库中的所述埋点日志，无需用户学习数据库语言，提高了数据处理效率。效率。效率。
【技术实现步骤摘要】
埋点数据处理方法、装置、电子设备及存储介质
[0001]本专利技术涉及人工智能
，具体涉及一种埋点数据处理方法、装置、电子设备及存储介质。
技术介绍
[0002]随着互联网技术的发展，通过Android客户端或者JAVA后台上报数据到埋点日志收集平台时，由于APP或者后台应用太多，现有技术需要花费大量时间集成埋点平台提供的SDK，同时，由于不同客户端上报的格式不一样，需要针对每个客户端上报的数据配置映射关系，处理繁琐，导致数据处理效率低。
技术实现思路
[0003]鉴于以上内容，有必要提出一种埋点数据处理方法、装置、电子设备及存储介质，实时统计写入云数据库中的所述埋点日志，无需用户学习数据库语言，提高了数据处理效率。
[0004]本专利技术的第一方面提供一种埋点数据处理方法，所述方法包括：
[0005]接收采用Jar包读取的配置文件输出的埋点日志；
[0006]对所述埋点日志进行识别，得到多个第一埋点字段；
[0007]对每个所述第一埋点字段进行转换，得到每个所述第一埋点字段的标准字段；
[0008]将所述多个第一埋点字段的多个标准字段写入云数据库中；
[0009]响应于接收的埋点数据处理指令，展示埋点数据处理界面；
[0010]当监听到所述埋点数据处理界面中的第二埋点字段被选定时，对被选定的第二埋点字段及所述多个第一埋点字段进行构建，得到数据库标准查询语句；
[0011]根据所述数据库标准查询语句，实时统计写入云数据库中的所述埋点日志，得到数据处理结果。
[0012]可选地，所述将所述多个第一埋点字段的多个标准字段写入云数据库中包括：
[0013]按照预设的云数据库建表排序方式对所述多个第一埋点字段的多个标准字段进行排序处理；
[0014]调用所述云数据库的数据写入接口，根据排序处理结果将每个标准字段写入所述云数据库中。
[0015]可选地，所述对被选定的第二埋点字段及所述多个第一埋点日志进行构建，得到数据库标准查询语句包括：
[0016]获取预设的DSL语句；
[0017]基于所述预设的DSL语句对被选定的第二埋点字段及所述多个第一埋点字段进行构建，得到数据库标准查询语句。
[0018]可选地，所述根据所述数据库标准查询语句，实时统计写入云数据库中的埋点日志，得到数据处理结果包括：
[0019]根据所述数据库标准查询语句创建物化视图；
[0020]当侦测到所述埋点日志写入埋点日志流水表时，基于所述物化视图的逻辑对写入所述埋点日志流水表中的每条埋点日志进行实时运算，得到统计结果；
[0021]将所述统计结果确定为数据处理结果。
[0022]可选地，所述对每个所述第一埋点字段进行转换，得到每个所述第一埋点字段的标准字段包括：
[0023]识别每个所述第一埋点字段的标签信息；
[0024]每个所述第一埋点字段的标签信息，遍历预设的数据库，得到每个所述第一埋点字段的数据转换规则；
[0025]按照每个所述字段的数据转换规则对每个所述第一埋点字段进行转换，得到每个所述第一埋点字段的标准字段。
[0026]可选地，所述对所述埋点日志进行识别，得到多个第一埋点字段包括：
[0027]基于预先训练的Bert序列标注模型对所述埋点日志进行识别，得到多个第一埋点字段。
[0028]可选地，在所述对所述埋点日志进行识别，得到多个第一埋点字段包括之前，所述方法还包括：
[0029]获取历史埋点日志，及所述历史埋点日志对应的多个历史埋点字段；
[0030]基于所述多个历史埋点字段对所述历史埋点日志进行标注，得到训练样本集；
[0031]基于所述训练样本集对预训练Bert序列标注模型进行训练，得到Bert序列标注模型。
[0032]本专利技术的第二方面提供一种埋点数据处理装置，所述装置包括：
[0033]接收模块，用于接收采用Jar包读取的配置文件输出的埋点日志；
[0034]识别模块，用于对所述埋点日志进行识别，得到多个第一埋点字段；
[0035]转换模块，用于对每个所述第一埋点字段进行转换，得到每个所述第一埋点字段的标准字段；
[0036]写入模块，用于将所述多个第一埋点字段的多个标准字段写入云数据库中；
[0037]展示模块，用于响应于接收的埋点数据处理指令，展示埋点数据处理界面；
[0038]构建模块，用于当监听到所述埋点数据处理界面中的第二埋点字段被选定时，对被选定的第二埋点字段及所述多个第一埋点字段进行构建，得到数据库标准查询语句；
[0039]统计模块，用于根据所述数据库标准查询语句，实时统计写入云数据库中的所述埋点日志，得到数据处理结果。
[0040]本专利技术的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的埋点数据处理方法。
[0041]本专利技术的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的埋点数据处理方法。
[0042]综上所述，本专利技术所述的埋点数据处理方法、装置、电子设备及存储介质，能够推动智慧城市的建设，应用于智慧建筑、智慧安防、智慧社区、智慧生活、物联网等领域，通过接收采用Jar包读取的配置文件输出的埋点日志，无需修改被代理的APP或者Java应用及耗费大量的时间集成SDK，提高了埋点日志的输出效率，降低人工成本。对所述埋点日志进行
识别，得到多个第一埋点字段，将所述多个第一埋点字段的多个标准字段写入云数据库中，减少人工映射处理，提高了数据处理效率。监听到所述埋点数据处理界面中的第二埋点字段被选定时，对被选定的第二埋点字段及所述多个第一埋点字段进行构建，得到数据库标准查询语句，根据所述数据库标准查询语句，实时统计写入云数据库中的所述埋点日志，得到数据处理结果，无需用户学习数据库语言，在埋点日志写入云数据库时，实时触发统计，提高了统计结果的实时性及数据处理效率。
附图说明
[0043]图1是本专利技术实施例一提供的埋点数据处理方法的流程图。
[0044]图2是本专利技术实施例二提供的埋点数据处理装置的结构图。
[0045]图3是本专利技术实施例三提供的电子设备的结构示意图。
具体实施方式
[0046]为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施例对本专利技术进行详细描述。需要说明的是，在不冲突的情况下，本专利技术的实施例及实施例中的特征可以相互组合。
[0047]除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。
[0048]实施例一
[0049]图1是本专利技术实施例一提供的埋点本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种埋点数据处理方法，其特征在于，所述方法包括：接收采用Jar包读取的配置文件输出的埋点日志；对所述埋点日志进行识别，得到多个第一埋点字段；对每个所述第一埋点字段进行转换，得到每个所述第一埋点字段的标准字段；将所述多个第一埋点字段的多个标准字段写入云数据库中；响应于接收的埋点数据处理指令，展示埋点数据处理界面；当监听到所述埋点数据处理界面中的第二埋点字段被选定时，对被选定的第二埋点字段及所述多个第一埋点字段进行构建，得到数据库标准查询语句；根据所述数据库标准查询语句，实时统计写入云数据库中的所述埋点日志，得到数据处理结果。2.如权利要求1所述的埋点数据处理方法，其特征在于，所述将所述多个第一埋点字段的多个标准字段写入云数据库中包括：按照预设的云数据库建表排序方式对所述多个第一埋点字段的多个标准字段进行排序处理；调用所述云数据库的数据写入接口，根据排序处理结果将每个标准字段写入所述云数据库中。3.如权利要求1所述的埋点数据处理方法，其特征在于，所述对被选定的第二埋点字段及所述多个第一埋点日志进行构建，得到数据库标准查询语句包括：获取预设的DSL语句；基于所述预设的DSL语句对被选定的第二埋点字段及所述多个第一埋点字段进行构建，得到数据库标准查询语句。4.如权利要求1所述的埋点数据处理方法，其特征在于，所述根据所述数据库标准查询语句，实时统计写入云数据库中的埋点日志，得到数据处理结果包括：根据所述数据库标准查询语句创建物化视图；当侦测到所述埋点日志写入埋点日志流水表时，基于所述物化视图的逻辑对写入所述埋点日志流水表中的每条埋点日志进行实时运算，得到统计结果；将所述统计结果确定为数据处理结果。5.如权利要求1所述的埋点数据处理方法，其特征在于，所述对每个所述第一埋点字段进行转换，得到每个所述第一埋点字段的标准字段包括：识别每个所述第一埋点字段的标签信息；每个所述第一埋点字段的标签信息，遍历预设的数据库，得到每个所...
【专利技术属性】
技术研发人员：曾祥勇，彭金，徐介夫，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。