分布式事务日志存证溯源方法和系统技术方案

本申请提供了一种分布式事务日志存证溯源方法和系统，涉及日志处理技术领域，可用于金融领域，方法包括：分布式节点本地调用中台日志生成服务生成调用信息日志或被调用信息日志；分布式节点将所述调用信息日志或被调用信息日志推送至数据中台节点；数据中台节点在所述调用信息日志中根据预设筛选条件查找主事务；数据中台节点检查所述主事务对应子事务的被调用信息日志，确认所述子事务的执行结果是否存在疑账以形成信息溯源结果表。本发明专利技术中分布式事务产生的日志不但存储在分布式节点本地，而且还被推送至数据中台节点，日志存证溯源都在数据中台节点予以完成，即使某一分布式节点出现故障或性能瓶颈，也可以很快追溯和定位问题数据。定位问题数据。定位问题数据。

【技术实现步骤摘要】
分布式事务日志存证溯源方法和系统


[0001]本申请涉及日志处理
，可用于金融领域，尤其涉及一种分布式事务日志存证溯源方法和系统。

技术介绍

[0002]随着越来越多的应用落地分布式系统，系统的逻辑复杂度增加，对突发事件的处置能力要求较高。然而实际交易链路上不同类型节点间调用关系错综复杂，一旦某一环节出现故障或性能瓶颈，难以追溯和定位问题数据，尤其对于账务类交易，如无法及时发现和快速定位错账信息，可能造成银行资金损失，导致客户投诉等。另外，各个节点框架各有不一，记录日志也千差万别，跟踪日志无法进行有效的统一和融合，导致常常发生信息脱节，链路无法正常延展下去的问题。

技术实现思路

[0003]有鉴于此，本专利技术提供一种分布式事务日志存证溯源方法和系统，以解决上述至少一个问题。
[0004]为了实现上述目的，本专利技术采用了以下方案：
[0005]在本专利技术的一个实施例中，提供一种分布式事务日志存证溯源方法，包括：分布式节点本地调用中台日志生成服务生成调用信息日志或被调用信息日志；所述分布式节点将所述调用信息日志或被调用信息日志推送至数据中台节点；所述数据中台节点在所述调用信息日志中根据预设筛选条件查找主事务；所述数据中台节点检查所述主事务对应子事务的被调用信息日志，确认所述子事务的执行结果是否存在疑账以形成信息溯源结果表。
[0006]在本专利技术的一个实施例中，提供一种分布式事务日志存证溯源系统，包括：分布式节点和数据中台节点，所述分布式节点和所述数据中台节点通信连接，所述分布式节点用于：本地调用中台日志生成服务生成调用信息日志或被调用信息日志，以及将所述调用信息日志或被调用信息日志推送至数据中台节点；所述数据中台节点用于在所述调用信息日志中根据预设筛选条件查找主事务，检查所述主事务对应子事务的被调用信息日志，确认所述子事务的执行结果是否存在疑账以形成信息溯源结果表。
[0007]在本专利技术的一个实施例中，提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，该处理器执行所述计算机程序时实现上述实施例所述分布式事务日志存证溯源方法的步骤。
[0008]在本专利技术的一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例所述分布式事务日志存证溯源方法的步骤。
[0009]在本专利技术的一个实施例中，提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述实施例所述分布式事务日志存证溯源方法的步骤。
[0010]本专利技术实施例提供的分布式事务日志存证溯源方法和系统，分布式事务产生的日志不但存储在分布式节点本地，而且还被推送至数据中台节点，日志存证溯源都在数据中台节点予以完成，即使某一分布式节点出现故障或性能瓶颈，也可以很快追溯和定位问题数据。另外日志都通过调用中台日志生成服务予以生成，抽象层次高且复用性好，可以很好的在不同的流程中复用和扩展。
附图说明
[0011]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0012]图1是本专利技术一实施例提供的分布式事务日志存证溯源方法的流程示意图；
[0013]图2是本专利技术另一实施例提供的分布式事务日志存证溯源方法的流程示意图；
[0014]图3是本专利技术一实施例提供的一种调用日志及被调用日志表字段的示意图；
[0015]图4是本专利技术一实施例提供的日间终态处理小批量的流程示意图；
[0016]图5是本专利技术一实施例提供的分布式事务日志存证溯源系统的结构示意图；
[0017]图6为本专利技术另一实施例提供的电子设备的系统构成的示意框图。
具体实施方式
[0018]为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。
[0019]如图1所示是本专利技术一实施例提供的分布式事务日志存证溯源方法的流程示意图，该方法包括：
[0020]步骤S101：分布式节点本地调用中台日志生成服务生成调用信息日志或被调用信息日志。
[0021]在本实施例中，分布式事务可以由多个分布式节点予以完成，分布式事务可以由一个主事务及一个或多个子事务所构成，主事务调用子事务，主事务根据每个子事务的执行状态，完成整个事务最终状态，将这个调用过程完整记录下来。本实施例中，分布式节点可以调用中台日志生成服务来生成相关日志，其中调用方会生成调用信息日志，而被调用方会生成调用信息日志。
[0022]具体来说，分布式节点调用中台日志生成服务时，可以向中台日志生成模块发送一分布式事务的标识信息以及该分布式事务本身及处理的相关信息，中台日志生成模块根据这些信息来生成日志信息，并保存在日志数据库中。
[0023]步骤S102：所述分布式节点将所述调用信息日志或被调用信息日志推送至数据中台节点。
[0024]在本实施例中，当涉及调用或者被调用的分布式节点的日志数据库记录有新增时，可以自动触发分布式线程，将所述调用信息日志或被调用信息日志推送至数据中台节点。优选的，比如可以通过准实时的KAFKA加兜底文件的方式进行日志推送。
[0025]步骤S103：所述数据中台节点在所述调用信息日志中根据预设筛选条件查找主事务。
[0026]数据中台节点在收到分布式节点推送的日志信息后，会将所有日志信息都保存在中台的数据库中，即日志存证操作。当需要进行日志存证溯源的时候，数据中台节点可以先根据预设条件找到主事务，然后由主事务再找到相应的子事务，而主事务仅存在调用信息，不会存在被调用信息，因此，本步骤中只需要在调用信息日志中来查找主事务即可。
[0027]步骤S104：所述数据中台节点检查所述主事务对应子事务的被调用信息日志，确认所述子事务的执行结果是否存在疑账以形成信息溯源结果表。
[0028]当通过步骤S103找到负荷预设筛选条件的主事务后，可以根据该主事务的全局事务ID来找到对应的子事务，全局事务ID是贯穿在事务调用全过程，并记录在所有节点的调用日志及被调用日志中。
[0029]本专利技术实施例提供的分布式事务日志存证溯源方法，分布式事务产生的日志不但存储在分布式节点本地，而且还被推送至数据中台节点，日志存证溯源都在数据中台节点予以完成，即使某一分布式节点出现故障或性能瓶颈，也可以很快追溯和定位问题数据。另外日志都通过调用中台日志生成服务予以生成，抽象层次高且复用性好，可以很好的在不同的流程中复用和扩展。
[0030]如图2所示是本专利技术另一实施例提供的分布式事务日志存证溯源方法的流程示意图，该方法包括如下步骤：...

【技术保护点】

【技术特征摘要】
1.一种分布式事务日志存证溯源方法，其特征在于，包括：分布式节点本地调用中台日志生成服务生成调用信息日志或被调用信息日志；所述分布式节点将所述调用信息日志或被调用信息日志推送至数据中台节点；所述数据中台节点在所述调用信息日志中根据预设筛选条件查找主事务；所述数据中台节点检查所述主事务对应子事务的被调用信息日志，确认所述子事务的执行结果是否存在疑账以形成信息溯源结果表。2.如权利要求1所述的分布式事务日志存证溯源方法，其特征在于，所述分布式节点调用中台日志生成服务包括：分布式节点判断已有日志模板是否满足本节点需要，若满足，则调用已有日志模板进行元数据值录入，再调用中台日志生成服务；若不满足，则创建特色日志模板，并调用所述特色日志模板进行元数据值录入，再调用中台日志生成服务。3.如权利要求2所述的分布式事务日志存证溯源方法，其特征在于，所述日志模板由元数据组成，所述元数据对应分布式事务调用过程的公共属性部分和业务属性部分，所述元数据包括：元数据名称、元数据编码、元数据类别和元数据值。4.如权利要求1所述的分布式事务日志存证溯源方法，其特征在于，所述数据中台节点在所述调用信息日志中根据预设筛选条件查找主事务包括：所述数据中台节点在所述调用信息日志中根据预设筛选条件及溯源一致性处理参数表查找主事务，所述溯源一致性处理参数表包括：溯源时间阈值参数、最新溯源记录序号、溯源处理开关和监控报警开关。5.如权利要求4所述的分布式事务日志存证溯源方法，其特征在于，所述预设筛选条件包括同时满足如下条件：序号大于所述溯源一致性处理参数表中记录的最新溯源记录序号；事务记录状态为处理中或失败状态；处理时间与当前时间间隔超过所述溯源时间阈值参数；调用类型为调用信息，且全局事务ID不为空，上级事务ID为空。6.如权利要求5所述的分布式事务日志存证溯源方法，其特征在于，所述数据中台节点检查所述主事务对应子事务的被调用信息日志，确认所述子事务的执行结果是否存在疑账以形成信息溯源结果表包括：所述数据中台节点根据全局事务ID查找所述主事务所对应的子事务，调用子事务提供的疑账查...

【专利技术属性】
技术研发人员：周晟，胡文涛，何芬，周德龙，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：