链路数据存取方法、装置、存储介质、处理器及电子装置制造方法及图纸

技术编号:27804374 阅读:14 留言:0更新日期:2021-03-30 09:10
本发明专利技术公开了一种链路数据存取方法、装置、存储介质、处理器及电子装置。该方法包括:获取多个服务节点的业务日志数据,其中,业务日志数据中记录有不同类型业务动作对应的日志记录;根据日志记录解析成不同类型的多个业务事件;基于链路模板将不同类型的多个业务事件组成业务链路,并将业务链路存储至第一预设存储空间,其中,链路模板根据业务流程预先建立的树结构,第一预设存储空间为分布式图类型数据库;获取查询索引;根据查询索引对业务链路中的数据内容进行存取操作。本发明专利技术解决了相关技术中针对复杂且海量的链路数据存储和分析需求,无法提供有效的链路数据存取方式的技术问题。术问题。术问题。

【技术实现步骤摘要】
链路数据存取方法、装置、存储介质、处理器及电子装置


[0001]本专利技术涉及计算机领域,具体而言,涉及一种链路数据存取方法、装置、存储介质、处理器及电子装置。

技术介绍

[0002]目前,在相关技术所提供的全链路业务追踪系统中,太字节(TB)级链路数据的存储层通常会选用分布式列式存储数据库,以便于横向扩展存储新类型的事件信息。然而,在数据量规模较大、业务复杂程度较高的全链路业务追踪场景,链路的存储以及链路关系的分析需求将无法得到很好地满足。
[0003]由此可见,相关技术中针对复杂且海量的链路数据存储和分析需求,无法提供有效的链路数据存取方式。
[0004]针对上述的问题,目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术至少部分实施例提供了一种链路数据存取方法、装置、存储介质、处理器及电子装置,以至少解决相关技术中针对复杂且海量的链路数据存储和分析需求,无法提供有效的链路数据存取方式的技术问题。
[0006]根据本专利技术其中一实施例,提供了一种链路数据存取方法,包括:
[0007]获取多个服务节点的业务日志数据,其中,业务日志数据中记录有不同类型业务动作对应的日志记录;根据日志记录解析成不同类型的多个业务事件;基于链路模板将不同类型的多个业务事件组成业务链路,并将业务链路存储至第一预设存储空间,其中,链路模板根据业务流程预先建立的树结构,第一预设存储空间为分布式图类型数据库;获取查询索引;根据查询索引对业务链路中的数据内容进行存取操作。
[0008]可选地,获取所述多个服务节点的所述业务日志数据包括:从第二预设存储空间获取所述业务日志数据,其中,所述第二预设存储空间为分布式搜索引擎数据库。
[0009]可选地,根据查询索引对业务链路中的数据内容进行存取操作包括:当查询索引属于第一类索引时,通过查询索引确定待查询对象,其中,待查询对象为以下之一:第一类索引对应的业务事件,第一类索引对应的边;对待查询对象进行存取操作。
[0010]可选地,通过查询索引确定待查询对象包括:当查询索引为第一类索引中的节点标识组合索引时,通过节点标识组合索引查找到业务链路的起始节点,其中,起始节点用于记录业务链路中所包含的全部业务事件的摘要信息;从起始节点开始逐级遍历业务链路,直至查找到待查询对象。
[0011]可选地,通过查询索引确定待查询对象包括:当查询索引为第一类索引中的边标识组合索引时,通过边标识组合索引查找到业务链路中的对应边。
[0012]可选地,根据查询索引对业务链路中的数据内容进行存取操作包括:当查询索引属于第二类索引时,通过查询索引确定待查询对象,其中,第二类索引为范围查询索引,待
查询对象为第二类索引对应范围内的至少一条业务链路;对待查询对象进行存取操作。
[0013]可选地,通过查询索引确定待查询对象包括:当查询索引为第二类索引中的全部混合索引时,通过全部混合索引中所包含的全部查询属性查找到待查询对象。
[0014]可选地,通过查询索引确定待查询对象包括:当查询索引为第二类索引中的时间戳与事件类型混合索引时,通过时间戳与事件类型混合索引中所包含的时间戳查询属性与事件类型查询属性查找到待查询对象。
[0015]可选地,对待查询对象进行存取操作包括:获取与待查询对象的第一主键对应的外键;基于外键查找关联的第二主键;采用第二主键从第二预设存储空间获取待查询的业务日志数据。
[0016]根据本专利技术其中一实施例,还提供了一种链路数据存取装置,包括:
[0017]第一获取模块,用于获取多个服务节点的业务日志数据,其中,业务日志数据中记录有不同类型业务动作对应的日志记录;解析模块,用于根据日志记录解析成不同类型的多个业务事件;组成模块,用于基于链路模板将不同类型的多个业务事件组成业务链路,并将业务链路存储至第一预设存储空间,其中,链路模板根据业务流程预先建立的树结构,第一预设存储空间为分布式图类型数据库;第二获取模块,用于获取查询索引;处理模块,用于根据查询索引对业务链路中的数据内容进行存取操作。
[0018]可选地,第一获取模块,用于从第二预设存储空间获取业务日志数据,其中,第二预设存储空间为分布式搜索引擎数据库。
[0019]可选地,处理模块包括:确定单元,用于当查询索引属于第一类索引时,通过查询索引确定待查询对象,其中,第一类索引为等值查询索引,待查询对象为以下之一:第一类索引对应的业务事件,第一类索引对应的边;处理单元,用于对待查询对象进行存取操作。
[0020]可选地,确定单元,用于当查询索引为第一类索引中的节点标识组合索引时,通过节点标识组合索引查找到业务链路的起始节点;以及从起始节点开始逐级遍历业务链路,直至查找到待查询对象。
[0021]可选地,确定单元,用于当查询索引为第一类索引中的边标识组合索引时,通过边标识组合索引查找到业务链路中的对应边。
[0022]可选地,确定单元,用于当查询索引属于第二类索引时,通过查询索引确定待查询对象,其中,第二类索引为范围查询索引,待查询对象为第二类索引对应范围内的至少一条业务链路;处理单元,用于对待查询对象进行存取操作。
[0023]可选地,确定单元,用于当查询索引为第二类索引中的全部混合索引时,通过全部混合索引中所包含的全部查询属性查找到待查询对象。
[0024]可选地,确定单元,用于当查询索引为第二类索引中的时间戳与事件类型混合索引时,通过时间戳与事件类型混合索引中所包含的时间戳查询属性与事件类型查询属性查找到待查询对象。
[0025]可选地,处理单元,用于获取与待查询对象的第一主键对应的外键;基于外键查找关联的第二主键;采用第二主键从第二预设存储空间获取待查询的业务日志数据。
[0026]根据本专利技术其中一实施例,还提供了一种存储介质,存储介质中存储有计算机程序,其中,计算机程序被设置为运行时执行上述任一项中的链路数据存取方法。
[0027]根据本专利技术其中一实施例,还提供了一种处理器,处理器用于运行程序,其中,程
序被设置为运行时执行上述任一项中的链路数据存取方法。
[0028]根据本专利技术其中一实施例,还提供了一种电子装置,包括存储器和处理器,存储器中存储有计算机程序,处理器被设置为运行计算机程序以执行上述任一项中的链路数据存取方法。
[0029]在本专利技术至少部分实施例中,采用获取多个服务节点的业务日志数据,该业务日志数据中记录有不同类型业务动作对应的日志记录,根据日志记录解析成不同类型的多个业务事件,以及基于链路模板将不同类型的多个业务事件组成业务链路,并将业务链路存储至第一预设存储空间,该链路模板根据业务流程预先建立的树结构,第一预设存储空间为分布式图类型数据库的方式,通过获取查询索引以及根据查询索引对业务链路中的数据内容进行存取操作,达到了在数据量规模较大、业务复杂程度较高的全链路业务追踪场景下完成基于图类型数据库的链路数据存取的目的,从而实现了满足复杂且海本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种链路数据存取方法,其特征在于包括:获取多个服务节点的业务日志数据,其中,所述业务日志数据中记录有不同类型业务动作对应的日志记录;根据所述日志记录解析成不同类型的多个业务事件;基于链路模板将所述不同类型的多个业务事件组成业务链路,并将所述业务链路存储至第一预设存储空间,其中,所述链路模板根据业务流程预先建立的树结构,所述第一预设存储空间为分布式图类型数据库;获取查询索引;根据所述查询索引对所述业务链路中的数据内容进行存取操作。2.根据权利要求1所述的方法,其特征在于,获取所述多个服务节点的所述业务日志数据包括:从第二预设存储空间获取所述业务日志数据,其中,所述第二预设存储空间为分布式搜索引擎数据库。3.根据权利要求1所述的方法,其特征在于,根据所述查询索引对所述业务链路中的数据内容进行存取操作包括:当所述查询索引属于第一类索引时,通过所述查询索引确定待查询对象,其中,所述第一类索引为等值查询索引,所述待查询对象为以下之一:所述第一类索引对应的业务事件,所述第一类索引对应的边;对所述待查询对象进行存取操作。4.根据权利要求3所述的方法,其特征在于,通过所述查询索引确定所述待查询对象包括:当所述查询索引为所述第一类索引中的节点标识组合索引时,通过所述节点标识组合索引查找到所述业务链路的起始节点,其中,所述起始节点用于记录所述业务链路中所包含的全部业务事件的摘要信息;从所述起始节点开始逐级遍历所述业务链路,直至查找到所述待查询对象。5.根据权利要求3所述的方法,其特征在于,通过所述查询索引确定所述待查询对象包括:当所述查询索引为所述第一类索引中的边标识组合索引时,通过所述边标识组合索引查找到所述业务链路中的对应边。6.根据权利要求1所述的方法,其特征在于,根据所述查询索引对所述业务链路中的数据内容进行存取操作包括:当所述查询索引属于第二类索引时,通过所述查询索引确定待查询对象,其中,所述第二类索引为范围查询索引,所述待查询对象为所述第二类索引对应范围内的至少一条业务...

【专利技术属性】
技术研发人员:项奎詹传骅吴宸张宏业
申请(专利权)人:网易杭州网络有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1