本申请提供了一种业务数据处理方法、装置和可读存储介质，属于数据处理技术领域，本申请实施例通过创建业务对应的服务树，使得业务的每个业务节点均可通过服务树中对应的指标计算子单元，计算出对应的指标数据，通过将指标数据的计算分散到每个独立的业务节点；同时通过启用分布式集群对当前业务的多个业务节点的业务数据进行实时的分布式计算，使得各个指标计算任务在并行运行的同时互不干扰，能够有效提高指标计算的效率，缩短业务数据处理的响应时长，极大的提高了业务数据处理的实时性和完整性，实现对每个业务的状态的实时更新和实时数据稽查。实时数据稽查。实时数据稽查。
【技术实现步骤摘要】
一种业务数据处理方法、装置和可读存储介质
[0001]本申请涉及数据处理
，特别是涉及一种业务数据处理方法、装置和可读存储介质。
技术介绍
[0002]随着互联网技术的发展和互联网用户的不断增加，越来越多的移动互联网业务数据需要被及时有效的进行分析处理，而传统的业务数据处理方法通常是将大量的业务数据存储在关系数据库管理系统中，并通过SQL(Structured Query Language，结构化查询语言)对业务数据进行查询和统计，由于业务数量巨大，用于统计的SQL语句需要执行较长时间，进而存在业务数据处理响应时间长、实时性差的问题。
技术实现思路
[0003]本申请提供一种业务数据处理方法、装置和可读存储介质，以解决业务数据处理响应时间长、实时性差的问题。
[0004]为了解决上述问题，本申请采用了以下的技术方案：
[0005]第一方面，本申请实施例提供了一种业务数据处理方法，所述方法包括：
[0006]针对任一业务，创建所述业务对应的服务树；其中，所述服务树包括多个指标计算子单元，多个指标计算子单元与所述业务的多个业务节点一一对应，每个指标计算子单元用于根据对应业务节点的业务数据计算出该业务节点的指标数据；
[0007]实时获取当前业务的多个业务节点的业务数据；
[0008]根据所述当前业务对应的服务树中对应的指标计算子单元，启用分布式集群对所述当前业务的多个业务节点的业务数据进行分布式计算，以得到所述当前业务在所述多个业务节点的指标数据。
[0009]在本申请一实施例中，针对任一业务，创建所述业务对应的服务树，包括：
[0010]根据所述业务的业务节点的数量，确定指标计算子单元的数量；
[0011]创建所述数量的指标计算子单元，以构建所述服务树；其中，所述指标计算子单元用于根据对应业务节点的业务链日志数据和系统清单数据，计算所述业务节点的指标数据，其中，所述业务链日志数据包括所述业务在每个业务节点产生的日志数据，所述系统清单数据包括在每个业务节点产生所述日志数据的业务系统的数据。
[0012]在本申请一实施例中，创建所述数量的指标计算子单元，以构建所述服务树，包括：
[0013]针对任一指标计算子单元，构建对应的指标计算模型；所述指标计算模型包括整合层、中间层和汇总层，其中，
[0014]所述整合层用于根据所述业务节点的业务链日志数据和系统清单数据，生成行为日志；
[0015]所述中间层用于对所述行为日志进行分解，得到多个行为因子；其中，所述行为因
子包括所述业务节点在业务链中的位置和所述行为日志的生成时间；其中，所述业务链由所述多个业务节点构成；
[0016]所述中间层还用于对所述多个行为因子进行合并计算，得到对应的服务树因子；其中，所述服务树因子包括所述业务的业务状态信息和所述业务状态信息对应的耗时信息；
[0017]所述汇总层，用于汇总每个指标计算子单元的服务树因子，并根据所述服务树因子，得到每个业务节点的指标数据。
[0018]在本申请一实施例中，所述分布式集群包括主服务器和多个从服务器；
[0019]根据所述当前业务对应的服务树中对应的指标计算子单元，启用分布式集群对所述当前业务的多个业务节点的业务数据进行分布式计算，以得到所述当前业务在所述多个节点的指标数据，包括：
[0020]所述主服务器根据所述当前业务的多个业务节点的业务数据对应的指标个数，创建相同数量的指标计算任务；
[0021]所述多个从服务器基于分布式锁，分别启用至少一个计算实例抢占所述指标计算任务；
[0022]通过所述计算实例对所述指标计算任务进行分布式指标计算，得到所有指标计算任务的指标数据；
[0023]根据所有指标计算任务的指标数据，得到所述当前业务在所述多个节点的指标数据。
[0024]在本申请一实施例中，所述多个从服务器基于分布式锁，分别启用至少一个计算实例抢占所述指标计算任务，包括：
[0025]以任一计算实例为第一实例，在所述第一实例运行对应的指标计算任务的期间，其他计算实例轮流以独占状态监视所述第一实例的运行状态；其中，所述其他计算实例为所述多个从服务器启用的所有的计算实例中除所述第一实例外的计算实例；
[0026]在确定所述第一实例的运行状态为宕机时，确定当前监视所述第一实例的其他计算实例为重启实例；
[0027]在所述重启实例上重启所述指标计算任务。
[0028]在本申请一实施例中，通过所述计算实例对所述指标计算任务进行分布式指标计算，得到所有指标计算任务的指标数据，包括：
[0029]基于预设的计算公式，通过所述计算实例对所述指标计算任务进行分布式指标计算，得到所有指标计算任务的指标数据；其中，所述计算公式使用JS脚本进行配置。
[0030]在本申请一实施例中，所述方法还包括：
[0031]根据所述当前业务节点的指标数据的类型，确定所述指标数据的重要等级；其中，不同类型的指标数据对应不同的重要等级；
[0032]根据所述指标数据与指标阈值之间的关系，确定所述指标数据的告警等级；
[0033]输出所述指标数据的告警信息，其中，所述告警信息包括所述指标数据的重要等级和告警等级。
[0034]在本申请一实施例中，在输出所述指标数据的告警信息之后，所述方法还包括：
[0035]根据所述指标数据的告警信息，创建对应的故障处理工单；
[0036]接收维护终端针对所述故障处理工单返回的故障处理原因以及故障处理措施，生成故障处理报表。
[0037]第二方面，基于相同专利技术构思，本申请实施例提供了一种业务数据处理装置，所述装置包括：
[0038]服务树创建模块，用于针对任一业务，创建所述业务对应的服务树；其中，所述服务树包括多个指标计算子单元，多个指标计算子单元与所述业务的多个业务节点一一对应，每个指标计算子单元用于根据对应业务节点的业务数据计算出该业务节点的指标数据；
[0039]数据获取模块，用于实时获取当前业务的多个业务节点的业务数据；
[0040]指标计算模块，用于根据所述当前业务对应的服务树中对应的指标计算子单元，启用分布式集群对所述当前业务的多个业务节点的业务数据进行分布式计算，以得到所述当前业务在所述多个业务节点的指标数据。
[0041]在本申请一实施例中，所述服务树创建模块包括：
[0042]第一确定子模块，用于根据所述业务的业务节点的数量，确定指标计算子单元的数量；
[0043]第一创建子模块，用于创建所述数量的指标计算子单元，以构建所述服务树；其中，所述指标计算子单元用于根据对应业务节点的业务链日志数据和系统清单数据，计算所述业务节点的指标数据，其中，所述业务链日志数据包括所述业务在每个业务节点产生的日志数据，所述系统清单数据包括在每个业务节点产生所述日志数据的业务系统的数据。
[0044]在本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种业务数据处理方法，其特征在于，所述方法包括：针对任一业务，创建所述业务对应的服务树；其中，所述服务树包括多个指标计算子单元，多个指标计算子单元与所述业务的多个业务节点一一对应，每个指标计算子单元用于根据对应业务节点的业务数据计算出该业务节点的指标数据；实时获取当前业务的多个业务节点的业务数据；根据所述当前业务对应的服务树中对应的指标计算子单元，启用分布式集群对所述当前业务的多个业务节点的业务数据进行分布式计算，以得到所述当前业务在所述多个业务节点的指标数据。2.根据权利要求1所述的方法，其特征在于，针对任一业务，创建所述业务对应的服务树，包括：根据所述业务的业务节点的数量，确定指标计算子单元的数量；创建所述数量的指标计算子单元，以构建所述服务树；其中，所述指标计算子单元用于根据对应业务节点的业务链日志数据和系统清单数据，计算所述业务节点的指标数据，其中，所述业务链日志数据包括所述业务在每个业务节点产生的日志数据，所述系统清单数据包括在每个业务节点产生所述日志数据的业务系统的数据。3.根据权利要求2所述的方法，其特征在于，创建所述数量的指标计算子单元，以构建所述服务树，包括：针对任一指标计算子单元，构建对应的指标计算模型；所述指标计算模型包括整合层、中间层和汇总层，其中，所述整合层用于根据所述业务节点的业务链日志数据和系统清单数据，生成行为日志；所述中间层用于对所述行为日志进行分解，得到多个行为因子；其中，所述行为因子包括所述业务节点在业务链中的位置和所述行为日志的生成时间；其中，所述业务链由所述多个业务节点构成；所述中间层还用于对所述多个行为因子进行合并计算，得到对应的服务树因子；其中，所述服务树因子包括所述业务的业务状态信息和所述业务状态信息对应的耗时信息；所述汇总层，用于汇总每个指标计算子单元的服务树因子，并根据所述服务树因子，得到每个业务节点的指标数据。4.根据权利要求1所述的方法，其特征在于，所述分布式集群包括主服务器和多个从服务器；根据所述当前业务对应的服务树中对应的指标计算子单元，启用分布式集群对所述当前业务的多个业务节点的业务数据进行分布式计算，以得到所述当前业务在所述多个节点的指标数据，包括：所述主服务器根据所述当前业务的多个业务节点的业务数据对应的指标个数，创建相同数量的指标计算任务；所述多个从服务器基于分布式锁，分别启用至少一个计算实例抢占所述指标计算任务；通过所述计算实例对所述指标计算任务进行分布式指标计算，得到所有指标计算任务的指标数据；<...
【专利技术属性】
技术研发人员：徐刚，夏厦，陈欢，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。