信创环境下实现交易日志存储及报文信息提取汇总的系统、方法、装置、处理器及存储介质制造方法及图纸

本发明专利技术涉及一种信创环境下基于企业服务总线的交易日志存储及报文信息提取汇总的系统，其中，该系统包括日志采集器模块，用于读取企业服务总线生成的日志文件；日志解析器模块，用于进行日志的解析处理，并提取出用户定义的报文信息；日志持久化模块，用于进行持久化的任务处理；日志汇总模块，用于将完成解析调度后的交易日志进行统计汇总处理；调度模块，与所述的日志汇总模块以及日志采集器模块相连接，用于将已采集完成的日志文件按照时间策略进行打包、备份、转移的调度处理。本发明专利技术还涉及一种相应的方法、装置、处理器及其存储介质。采用了本发明专利技术的该系统、方法、装置、处理器及其存储介质，有效的解决了用户不同系统间相同信息交换的问题。同信息交换的问题。同信息交换的问题。

【技术实现步骤摘要】
信创环境下实现交易日志存储及报文信息提取汇总的系统、方法、装置、处理器及存储介质


[0001]本专利技术涉及计算机软件
，尤其涉及企业服务总线日志采集器
，具体是指一种信创环境下基于企业服务总线的交易日志存储及报文信息提取汇总的系统、方法、装置、处理器及其计算机可读存储介质。

技术介绍

[0002]在企业服务总线中，交易日志是一次交易的全链路追踪，在交易过程中的监控以及后期运维过程中的查询都是很重要的依据。所以交易日志的存储至关重要，而且一般情况下，交易日志数量比较大，大都采用异步存储的方式，一方面提高了性能，另一方面降低了系统的耦合度，使企业服务总线系统和日志采集系统都能单独运维。日志采集系统一般都采用MQ去做异步处理，借助MQ的高可靠性，这样可以保证日志不丢西，存储介质方面可选择关系型数据库或者非关系型数据库，比如MySql和Elasticsearch。
[0003]在通用做法下，日志采集器分为两部分，一部分是日志采集功能，首先获取交易日志的文件，然后读取文件的内容，再发给MQ去做异步处理；另一部分是日志的持久化功能，这部分可能会有多个消费者去消费MQ中的消息，再将日志保存到持久化介质中。在通用做法里首先除了采集器外还需要搭建MQ集群，为了保证MQ集群的高可用性和高可靠性还需要Zookeeper等第三方组件集群，因此会引入多个组件来保证功能的正常使用。
[0004]从软件运维部署层面来看，通用技术方案里，因为需要使用MQ等组件保证日志采集的可靠性，因此需要引入像Zookeeper这样的第三方软件，这样一方面会导致为了完成整个系统的功能，需要更多的硬件资源，同时出现问题后的排查也会比较麻烦。另一方面，在维护整个系统时，需要不同的专业人员来维护不同的组件，提高了维护成本。从软件开发层面来看，开发人员需要同时懂得如何使用MQ、Zookeeper等软件，同时在存储介质方面如果使用Elasticsearch还需要懂得ES的操作，这样对开发人员的技术水平要求就比较高，一旦发生人员变动，那么后续人员的学习难度就会比较大，不利于项目的快速迭代。同时在当前国内的信创环境下，通用技术方案中的组件已基本定型，例如MQ使用RabbitMQ或者RocketMQ，为了防止受到国外的技术封锁，导致相关组件无法更新和维护，那么我们就更需要在不依赖这些组件的情况下，还能很好的完成日志采集的功能。

技术实现思路

[0005]本专利技术的目的是克服了上述现有技术的缺点，提供了一种只依赖数据库，而不依赖MQ等组件的信创环境下基于企业服务总线的交易日志存储及报文信息提取汇总的系统、方法、装置、处理器及其计算机可读存储介质。
[0006]为了实现上述目的，本专利技术的信创环境下基于企业服务总线的交易日志存储及报文信息提取汇总的系统、方法、装置、处理器及其计算机可读存储介质如下：
[0007]该信创环境下基于企业服务总线的交易日志存储及报文信息提取汇总的系统，其
主要特点是，所述的系统包括：
[0008]日志采集器模块，用于读取企业服务总线生成的日志文件，并采集相应的日志信息；
[0009]日志解析器模块，与所述的日志采集器模块相连接，用于通过日志解析器进行日志的解析处理，并提取出用户定义的报文信息；
[0010]日志持久化模块，与所述的日志解析器模块相连接，用于将系统中的明细日志和统计日志进行持久化的任务处理；
[0011]日志汇总模块，与所述的日志持久化模块相连接，用于将完成解析调度后的交易日志进行统计汇总处理；以及
[0012]采集器调度模块，与所述的日志汇总模块以及日志采集器模块相连接，用于将已采集完成的日志文件按照时间策略进行打包、备份、转移的调度处理。
[0013]较佳地，所述的日志采集器模块具体包括：
[0014]文件过滤单元，用于将当前系统获取到的日志文件列表按照文件名称进行排序后，再使用当前的标记进行过滤处理，并将找到的在当前文件之前的文件进行备份处理；以及
[0015]文件备份单元，与所述的文件过滤单元相连接，用于在文件解析完成后或者在文件过滤时，将存在未备份的日志文件进行备份处理。
[0016]较佳地，所述的日志解析器模块具体包括：
[0017]日志文件读取单元，用于批量读取经过采集器过滤后的文件列表；
[0018]日志文件解析单元，与所述的日志文件读取单元相连接，用于将读取后的日志记录交给日志解析器进行拆分和信息提取处理；以及
[0019]日志标记处理单元，与所述的日志文件解析单元相连接，用于对经过解析处理后的日志文件进行标记记录，以防止出现重复解析的情况。
[0020]该利用上述系统实现信创环境下基于企业服务总线的交易日志存储及报文信息提取汇总的方法，其主要特点是，所述的方法包括以下步骤：
[0021](1)日志采集器模块读取企业服务总线生成的日志文件，并采集相应的日志文件信息；
[0022](2)日志解析器模块将采集到的信息提交给日志解析器进行日志解析，并提取出用户自定义的报文信息；
[0023](3)日志持久化模块对获取到的明细日志和统计日志进行日志的持久化处理；
[0024](4)将已完成相应处理的交易日志进行汇总统计；
[0025](5)日志采集器模块将已经采集完的日志文件进行打包、备份和转移处理，整个流程被并通过采集器调度模块按照一定的时间策略进行调度。
[0026]较佳地，所述的步骤(1)包括，按照以下方式进行文件过滤处理：
[0027]日志采集器在工作时，首先读取文件标记功能记录的上一次文件成功存储和解析后的最后一份文件的名称，再获取当前日志文件的列表，并按照文件名称进行排序，最后使用当前的标记进行过滤。
[0028]较佳地，所述的步骤(1)还包括，按照以下方式进行文件备份处理：
[0029]当文件解析完成或者在文件过滤时发现存在未备份的日志文件时，将需要备份的
文件列表中的文件提取第一个和最后一个文件名，将其使用下划线连接，格式为“开始时间_结束时间”，最后再将文件列表中的文件进行压缩得到一个.zip后缀的备份文件包，再将该文件包移动到备份文件夹中，最后删除原日志文件，至此文件备份结束。
[0030]较佳地，所述的步骤(2)具体包括以下处理步骤：
[0031](2.1)将获取到的日志信息转化成日志对象；
[0032](2.2)将所述的日志对象拆分成设定的长度，并交给解析器线程池；
[0033](2.3)所述的解析器线程池将获取到的拆分后的日志对象列表后，将每一个列表都包装成一个任务放在池中等待被解析器线程获取执行权限后进行解析；
[0034](2.4)当解析器线程获得CPU执行权限后，准备解析日志；
[0035](2.5)获取日志的交易流水号、请求唯一标识、请求时间/响应时间、日志状态、报文信息，并按照xml格式或者json格式开始解析报文信息；
[0036本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信创环境下基于企业服务总线的交易日志存储及报文信息提取汇总的系统，其特征在于，所述的系统包括：日志采集器模块，用于读取企业服务总线生成的日志文件，并采集相应的日志信息；日志解析器模块，与所述的日志采集器模块相连接，用于通过日志解析器进行日志的解析处理，并提取出用户定义的报文信息；日志持久化模块，与所述的日志解析器模块相连接，用于将系统中的明细日志和统计日志进行持久化的任务处理；日志汇总模块，与所述的日志持久化模块相连接，用于将完成解析调度后的交易日志进行统计汇总处理；以及采集器调度模块，与所述的日志汇总模块以及日志采集器模块相连接，用于将已采集完成的日志文件按照时间策略进行打包、备份、转移的调度处理。2.根据权利要求1所述的信创环境下基于企业服务总线的交易日志存储及报文信息提取汇总的系统，其特征在于，所述的日志采集器模块具体包括：文件过滤单元，用于将当前系统获取到的日志文件列表按照文件名称进行排序后，再使用当前的标记进行过滤处理，并将找到的在当前文件之前的文件进行备份处理；以及文件备份单元，与所述的文件过滤单元相连接，用于在文件解析完成后或者在文件过滤时，将存在未备份的日志文件进行备份处理。3.根据权利要求2所述的信创环境下基于企业服务总线的交易日志存储及报文信息提取汇总的系统，其特征在于，所述的日志解析器模块具体包括：日志文件读取单元，用于批量读取经过采集器过滤后的文件列表；日志文件解析单元，与所述的日志文件读取单元相连接，用于将读取后的日志记录交给日志解析器进行拆分和信息提取处理；以及日志标记处理单元，与所述的日志文件解析单元相连接，用于对经过解析处理后的日志文件进行标记记录，以防止出现重复解析的情况。4.一种利用权利要求1至3中任一项所述的系统实现信创环境下基于企业服务总线的交易日志存储及报文信息提取汇总的方法，其特征在于，所述的方法包括以下步骤：(1)日志采集器模块读取企业服务总线生成的日志文件，并采集相应的日志文件信息；(2)日志解析器模块将采集到的信息提交给日志解析器进行日志解析，并提取出用户自定义的报文信息；(3)日志持久化模块对获取到的明细日志和统计日志进行日志的持久化处理；(4)将已完成相应处理的交易日志进行汇总统计；(5)日志采集器模块将已经采集完的日志文件进行打包、备份和转移处理，整个流程被并通过采集器调度模块按照一定的时间策略进行调度。5.根据权利要求4所述的实现信创环境下基于企业服务总线的交易日志存储及报文信息提取汇总的方法，其特征在于，所述的步骤(1)包括，按照以下方式进行文件过滤处理：日志采集器在工作时，首先读取文件标记功能记录的上一次文件成功存储和解析后的最后一份文件的名称，再获取当前日志文件的列表，并按照文件名称进行排序，最后使用当前的标记进行过滤。6.根据权利要求4所述的实现信创环境下基于企业服务总线的交易日志存储及报文信
息提取汇总的方法，其特征在于，所述的步骤(1)还包括，按照以下方式进行文件备份处理：当文件解析完成或者在文件过滤时发现存在未备份的日志...

【专利技术属性】
技术研发人员：韩峻哲，顾伟，
申请(专利权)人：普元信息技术股份有限公司，
类型：发明
国别省市：