业务中台运营服务监测数据融合方法、装置、终端及介质制造方法及图纸

本发明专利技术涉及业务数据监测领域，具体公开一种业务中台运营服务监测数据融合方法、装置、终端及介质，获取目标服务调用的服务链路追踪数据流，数据流中包含链路标识；根据链路标识从关联日志记录中提取参数信息，并将参数信息保存到数据流；以服务链路追踪数据流的访问时间戳为基准，关联基准时间范围内的度量数据，并将度量数据保存到数据流；在数据流中增加目标服务调用的业务属性；将经上述处理后的服务链路追踪数据流进行存储；基于存储的服务链路追踪数据流进行业务中台运营服务监测。本发明专利技术以服务实际调用链为基础，融合多种监测数据，形成全景化的服务拓扑链路，一次链路查询即可获取各层面状态数据，有利于支撑服务监测功能实现。实现。实现。

【技术实现步骤摘要】
业务中台运营服务监测数据融合方法、装置、终端及介质


[0001]本专利技术涉及业务数据监测领域，具体涉及一种业务中台运营服务监测数据融合方法、装置、终端及介质。

技术介绍

[0002]业务中台作为企业业务能力实现的中枢，越来越被前端业务系统依赖，而随着业务模式的多样性，中台服务的复杂性日渐提升，作为中台业务实现的技术载体，中台服务的运行状态和服务质量SLI（service level indicator，服务质量指标）是运营人员重点监测的内容。
[0003]图1是当前业务中台服务运营监测架构示意图，如图1所示，该架构中：前端业务应用通过服务网关调用中台服务；链路追踪系统收集服务调用链上的SPAN数据；日志系统记录请求时间、请求入参、出参和结果状态；Prometheus定时收集中台内各系统节点的状态，包括CPU、内存、网络、HTTP调用量、连接数、消息处理量等；Granfana用于监测数据可视化展示和统计；监测日志分析展示用于异常事件的深度分析；服务拓扑分析用于服务依赖分析和问题定位。
[0004]可见在当前的在业务中台建设的过程中集成了多种监测工具，包括Prometheus、日志分析系统和服务链路追踪系统。Prometheus,用于收集监测服务器、系统组件的度量状态数据；链路追踪工具，用于跟踪服务事务调用过程中各环节的状态和异常信息；系统日志，用于记录系统运行过程中的用户关注的状态数据。
[0005]服务运营监测工具包括的多种监测类型，有的面向基础资源设施，有的面向系统日志分析，有的面向微服务治理，然而这些工具做为市场成熟的监测产品，监测数据的采集、收集、分析处理、存储和展示都是封闭的。运维人员实现中台服务运营状态全景监测时，只能在一致的时间范围内分别查看各系统，分析确认问题点和原因，这种服务运营监测方式效率低，问题查找困难，很难实现全景化的监测。另外，现有的服务运营监测模式下，各监测工具独自的收集、分析存储数据，每种数据和其它数据的时间纬度不一致，存储冗余，为监测系统数据存储增加了资源成本和运维难度，并且三种数据缺少关联字段，无法将同一次事务调用中的监测数据准确关联，容易导致分析偏差。

技术实现思路

[0006]为解决上述问题，本专利技术提供一种业务中台运营服务监测数据融合方法、装置、终端及介质，以服务实际调用链为基础，融合多种监测数据，形成全景化的服务拓扑链路，一次链路查询即可获取各层面状态数据，有利于支撑服务监测功能实现。
[0007]第一方面，本专利技术的技术方案提供一种业务中台运营服务监测数据融合方法，包括以下步骤：获取目标服务调用的服务链路追踪数据流，服务链路追踪数据流中包含链路标识；
根据链路标识从关联日志记录中提取参数信息，并将参数信息保存到服务链路追踪数据流；以服务链路追踪数据流的访问时间戳为基准，关联基准时间范围内的度量数据，并将度量数据保存到服务链路追踪数据流；在服务链路追踪数据流中增加目标服务调用的业务属性；将经上述处理后的服务链路追踪数据流进行存储；基于存储的服务链路追踪数据流进行业务中台运营服务监测。
[0008]进一步地，获取目标服务调用的服务链路追踪数据流，具体包括：链路追踪系统收集服务调用链上的Span数据；从链路追踪系统获取其收集的Span数据；其中，Span数据包括字段TraceID、SpanID、ServiceName、OperationName、TimeStamp和用时；TraceID和SpanID为链路标识。
[0009]进一步地，根据链路标识从关联日志记录中提取参数信息，并将参数信息保存到服务链路追踪数据流，具体包括：日志系统进行日志记录；以TraceID和SpanID为关键字从日志系统汇集的日志记录中查找与目标服务调用相关的日志记录；从查找到的日志记录中提取调用参数和异常信息；将提取的调用参数和异常信息增加到Span数据结构体中。
[0010]进一步地，以服务链路追踪数据流的访问时间戳为基准，关联基准时间范围内的度量数据，并将度量数据保存到服务链路追踪数据流，具体包括：实时监控工具定时收集系统的度量数据；获取Span调用时间戳和目标服务调用的调用结束时间；将Span调用时间戳所标识时间作为起始时间，目标服务调用的调用结束时间作为结束时间构成基准时间范围；从实时监控工具收集的度量数据中提取基准时间范围内的度量数据；将提取的度量数据增加到Span数据结构体。
[0011]进一步地，在服务链路追踪数据流中增加目标服务调用的业务属性，具体包括：将目标服务调用的业务属性增加到Span数据结构体；其中，业务属性包括目标服务调用所属中台、所属中心、服务中文名。
[0012]进一步地，将经上述处理后的服务链路追踪数据流进行存储，具体包括：以TraceID和SpanID组合成存储ID；将增加了参数信息、度量数据和业务属性的Span数据结构体以JSON结构存储在ES数据库中。
[0013]进一步地，基于存储的服务链路追踪数据流进行业务中台运营服务监测，具体包括：进行Granfana可视化展示和服务拓扑全景展示；进行服务链路拓扑分析和异常服务调用定位。
[0014]第二方面，本专利技术的技术方案提供一种业务中台运营服务监测数据融合装置，包
括，数据流获取模块：获取目标服务调用的服务链路追踪数据流，服务链路追踪数据流中包含链路标识；日志参数融合模块：根据链路标识从关联日志记录中提取参数信息，并将参数信息保存到服务链路追踪数据流；度量数据融合模块：以服务链路追踪数据流的访问时间戳为基准，关联基准时间范围内的度量数据，并将度量数据保存到服务链路追踪数据流；业务数据融合模块：在服务链路追踪数据流中增加目标服务调用的业务属性；数据存储模块：将经上述处理后的服务链路追踪数据流进行存储；监测处理模块：基于存储的服务链路追踪数据流进行业务中台运营服务监测。
[0015]第三方面，本专利技术的技术方案提供一种终端，包括：存储器，用于存储业务中台运营服务监测数据融合程序；处理器，用于执行所述业务中台运营服务监测数据融合程序时实现如上述任一项所述业务中台运营服务监测数据融合方法的步骤。
[0016]第四方面，本专利技术的技术方案提供一种计算机可读存储介质，所述可读存储介质上存储有业务中台运营服务监测数据融合程序，所述业务中台运营服务监测数据融合程序被处理器执行时实现如上述任一项所述业务中台运营服务监测数据融合方法的步骤。
[0017]本专利技术提供的一种业务中台运营服务监测数据融合方法、装置、终端及存储介质，相对于现有技术，具有以下有益效果：以服务调用链为基础，融合加工业务中台服务运营监测数据，通过结合日志数据、链路数据和运行状态数据，实现全景的服务监测，形成全景化的服务拓扑链路，一次链路查询即可获取各层面状态数据，无须关联就可以获得服务状态全景监测数据，有利于支撑服务监测功能实现。
附图说明
[0018]为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种业务中台运营服务监测数据融合方法，其特征在于，包括以下步骤：获取目标服务调用的服务链路追踪数据流，服务链路追踪数据流中包含链路标识；根据链路标识从关联日志记录中提取参数信息，并将参数信息保存到服务链路追踪数据流；以服务链路追踪数据流的访问时间戳为基准，关联基准时间范围内的度量数据，并将度量数据保存到服务链路追踪数据流；在服务链路追踪数据流中增加目标服务调用的业务属性；将经上述处理后的服务链路追踪数据流进行存储；基于存储的服务链路追踪数据流进行业务中台运营服务监测。2.根据权利要求1所述的业务中台运营服务监测数据融合方法，其特征在于，获取目标服务调用的服务链路追踪数据流，具体包括：链路追踪系统收集服务调用链上的Span数据；从链路追踪系统获取其收集的Span数据；其中，Span数据包括字段TraceID、SpanID、ServiceName、OperationName、TimeStamp和用时；TraceID和SpanID为链路标识。3.根据权利要求2所述的业务中台运营服务监测数据融合方法，其特征在于，根据链路标识从关联日志记录中提取参数信息，并将参数信息保存到服务链路追踪数据流，具体包括：日志系统进行日志记录；以TraceID和SpanID为关键字从日志系统汇集的日志记录中查找与目标服务调用相关的日志记录；从查找到的日志记录中提取调用参数和异常信息；将提取的调用参数和异常信息增加到Span数据结构体中。4.根据权利要求3所述的业务中台运营服务监测数据融合方法，其特征在于，以服务链路追踪数据流的访问时间戳为基准，关联基准时间范围内的度量数据，并将度量数据保存到服务链路追踪数据流，具体包括：实时监控工具定时收集系统的度量数据；获取Span调用时间戳和目标服务调用的调用结束时间；将Span调用时间戳所标识时间作为起始时间，目标服务调用的调用结束时间作为结束时间构成基准时间范围；从实时监控工具收集的度量数据中提取基准时间范围内的度量数据；将提取的度量数据增加到Span数据结构体。5.根据权利要求4所述的业务中台运营服务监测数...

【专利技术属性】
技术研发人员：冯德超，丁学英，刘迪，廖逍，崔蔚，李治，杨洋，蔡振聪，吕瑞光，李川，
申请(专利权)人：国网信息通信产业集团有限公司，
类型：发明
国别省市：