【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种基于elasticsearch实现数据链路记录的方法和装置。
技术介绍
1、随着云计算和微服务架构的兴起，服务端的类数据增长迅速，业务类早就触及单机数据库的性能上限，分库分表技术等技术应运而生；同时，非业务类数据生产速度更是高于业务数据，日志类数据、运维指标类数据等非关系型数据更是传统数据所无法满足的，例如非关系型数据库、分布式存储接连出现，因此服务端产生的各类异构日志文本类数据的爆发式增长，对于数据收集方案提出了新的挑战。
2、现有技术中，海量异构数据收集占用资源大，采集解析吞吐量受限的问题，目前尚未提出有效的检索分析方案。
技术实现思路
1、针对上述技术问题，本专利技术提供了一种智能客服的应用方法和计算机存储介质。
2、在本专利技术的第一实施例中提供一种基于elasticsearch实现数据链路记录的方法，所述方法包括以下步骤：
3、为链路n个节点的每个节点创建elasticsearch节点索引，以及生成链路报表数据索引；
4、当数据经过第n个节点时自动生成唯一的标识，所述标识与该数据绑定生成新的对象sn并保持至第n个节点索引，当数据经过n+1个节点时更新sn对象当前时间并保存至第n+1个节点索引，直至最后一个节点索引；
5、更新对象sn节点状态发送到报表数据分析模块，当其中某一节点有异常则更新对象sn当前时间；状态异常及异常原因推送至报表数据分析模块，报表数据分析模块对接收的数据进
6、可选地，所述方法还包括：
7、将每个节点的耗时和每条链路的总耗时生成链路报表记录到链路报表数据索引中。
8、可选地，所述报表数据分析模块为kafka报表数据分析主题。
9、可选地，所述kafka报表数据分析主题还包括kafka中间件，用于存储数据。
10、在本专利技术的第二实施例中提供一种基于elasticsearch实现数据链路记录的装置，所述装置包括：
11、创建模块，为链路n个节点的每个节点创建elasticsearch节点索引，以及生成链路报表数据索引；
12、识别模块，当数据经过第n个节点时自动生成唯一的标识，所述标识与该数据绑定生成新的对象sn并保持至第n个节点索引，当数据经过n+1个节点时更新sn对象当前时间并保存至第n+1个节点索引，直至最后一个节点索引；
13、报表数据分析模块，接收更新对象sn节点状态，当其中某一节点有异常则更新对象sn当前时间，并分析状态异常及异常原因，对接收的数据进行分析，计算每个节点间的耗时以及每条链路的总耗时。
14、可选地，所述装置还包括数据记录模块，用于将每个节点的耗时和每条链路的总耗时生成链路报表记录到链路报表数据索引中。
15、可选地，所述报表数据分析模块为kafka报表数据分析主题。
16、可选地，所述kafka报表数据分析主题还包括kafka中间件，用于存储数据。
17、本在本专利技术的第三实施例中提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述任一项所述的一种基于elasticsearch实现数据链路记录的方法的步骤。
18、本专利技术第四实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述任一项所述的一种基于elasticsearch实现数据链路记录的方法的步骤。
19、本专利技术为链路n个节点的每个节点创建elasticsearch节点索引，以及生成链路报表数据索引，当数据经过第n个节点时自动生成唯一的标识，所述标识与该数据绑定生成新的对象sn并保持至第n个节点索引，当数据经过n+1个节点时更新sn对象当前时间并保存至第n+1个节点索引，直至最后一个节点索引，更新对象sn节点状态发送到报表数据分析模块，当其中某一节点有异常则更新对象sn当前时间；状态异常及异常原因推送至报表数据分析模块，报表数据分析模块对接收的数据进行分析，计算每个节点间的耗时以及每条链路的总耗时，相对于现有技术，本专利技术能够高效实时的检索出每条数据当前的链路状态以及计算出每个节点耗时详情。
本文档来自技高网...【技术保护点】
1.一种基于Elasticsearch实现数据链路记录的方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于Elasticsearch实现数据链路记录的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的基于Elasticsearch实现数据链路记录的方法，其特征在于，所述报表数据分析模块为kafka报表数据分析主题。
4.根据权利要求3所述的基于Elasticsearch实现数据链路记录的方法，其特征在于，所述kafka报表数据分析主题还包括kafka中间件，用于存储数据。
5.一种基于Elasticsearch实现数据链路记录的装置，其特征在于，所述装置包括：
6.根据权利要求5所述的基于Elasticsearch实现数据链路记录的装置，其特征在于，所述装置还包括数据记录模块，用于将每个节点的耗时和每条链路的总耗时生成链路报表记录到链路报表数据索引中。
7.根据权利要求5所述的基于Elasticsearch实现数据链路记录的装置，其特征在于，所述报表数据分析模块为kafka报表数
8.根据权利要求5所述的基于Elasticsearch实现数据链路记录的装置，其特征在于，所述kafka报表数据分析主题还包括kafka中间件，用于存储数据。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至4中任一项所述的基于Elasticsearch实现数据链路记录的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至4中任一项所述的基于Elasticsearch实现数据链路记录的方法的步骤。
...【技术特征摘要】
1.一种基于elasticsearch实现数据链路记录的方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于elasticsearch实现数据链路记录的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的基于elasticsearch实现数据链路记录的方法，其特征在于，所述报表数据分析模块为kafka报表数据分析主题。
4.根据权利要求3所述的基于elasticsearch实现数据链路记录的方法，其特征在于，所述kafka报表数据分析主题还包括kafka中间件，用于存储数据。
5.一种基于elasticsearch实现数据链路记录的装置，其特征在于，所述装置包括：
6.根据权利要求5所述的基于elasticsearch实现数据链路记录的装置，其特征在于，所述装置还包括数据记录模块，用于将每个节点的耗时和每条链路的总耗...
【专利技术属性】
技术研发人员：蒲子偲，潘成华，韩平军，
申请(专利权)人：江苏网进科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。