【技术实现步骤摘要】
本专利技术涉及数据处理，具体涉及一种业务日志传输及有序存储方法和系统。
技术介绍
1、随着互联网技术的不断发展，线上业务系统的架构也在不断演进。在大流量和高并发的场景下，业务系统通常需要采用集群化部署，将应用程序部署在多个节点上。然而，在这种分布式环境下，各个节点产生的应用日志需要被收集和统一存储，以便进行后续的分析和查询。
2、当前主流的日志服务架构设计通常包括五个层次：收集层、传输层、处理层、存储层和访问层，其中，收集层负责读取各类业务日志，通常通过各种代理(agent)实现。这些代理随着业务应用的部署而分布在集群的各个节点上，按照规则读取业务日志并发送到传输层；传输层通常由各种消息中间件实现，起到异步和削峰填谷的作用。传输层接收来自收集层的日志数据，并将其传输到处理层；处理层接收传输层的日志数据，进行必要的处理和转换，并将其存储到各类存储设备中，然而，在这个过程中，由于不同节点的日志被写入不同的日志文件，并由不同的代理发送出来，因此无法保证日志的有序性，这种无序性给日志的上下文检索带来了极大的不便。
3、因此，如何保证集群中日志的准确有序存储为本领域技术人员亟待解决的技术问题。
技术实现思路
1、针对现有技术中的缺陷，本专利技术提供一种业务日志传输及有序存储方法和系统，以解决现有技术中日志无法准确有序存储的问题。
2、一方面，本专利技术提供一种业务日志传输及有序存储方法，包括：
3、应用节点向注册控制中心发送注册请求，所述注册请
4、注册控制中心根据所述节点配置信息获取与所述应用节点对应的目标中间件信息，将所述目标中间件信息返回给所述应用节点，并根据所述目标中间件信息在存储系统中建立目标日志数据库；
5、与所述目标中间件信息对应的目标中间件将应用节点监听到的日志数据发送至存储系统；
6、存储系统将所述日志数据存储至目标日志数据库中。
7、优选的，所述节点配置信息包括节点ip、节点名称、节点所属环境、应用名称、日志文件路径。
8、优选的，所述目标中间件信息包括传输中介以及所述传输中介对应的物理分区，所述目标日志数据库包括库表；一个应用节点对应一个物理分区，一个物理分区对应一张库表。
9、优选的，注册控制中心根据所述节点配置信息获取与所述应用节点对应的目标中间件信息，包括：
10、对所述节点配置信息进行哈希计算，得到节点哈希值；
11、根据所述节点哈希值从注册节点映射表中确定出目标中间件信息。
12、优选的，所述注册节点映射表用于存储节点哈希值与中间件信息对应的映射关系。
13、优选的，根据所述节点哈希值从注册节点映射表中确定出目标中间件信息，包括：
14、判断注册节点映射表中是否存在所述节点哈希值；
15、若是，从注册节点映射表中读取与所述节点哈希值对应的中间件信息，将读取的中间件信息作为目标中间件信息；
16、若否，则根据所述节点配置信息中的节点名称创建传输中介，根据所述哈希值创建传输中间对应的物理分区，将创建的传输中介和物理分区作为目标中间件信息。
17、优选的，还包括：通过用户界面获取用户输入的查询请求，根据所述查询请求从目标日志数据库中获取目标日志数据。
18、另一方面，本专利技术提供一种业务日志传输及有序存储系统，包括：
19、应用节点，用于向注册控制中心发送注册请求，所述注册请求包括节点配置信息，还用于监听日志数据；
20、注册控制中心，用于根据所述节点配置信息获取与所述应用节点对应的目标中间件信息，将所述目标中间件信息返回给所述应用节点，并根据所述目标中间件信息在存储系统中建立目标日志数据库；
21、与所述中间件信息对应的目标中间件，用于将应用节点将监听到的日志数据发送给对应的存储系统；
22、存储系统，用于将监听到的日志数据存储至对应的目标日志数据库。
23、本专利技术的有益效果体现在：一种业务日志传输及有序存储方法和系统，能够实现应用节点的注册、日志数据的传输和存储，保证了日志数据的顺序性、一致性和可靠性，方便后续的日志数据分析和处理。
本文档来自技高网...【技术保护点】
1.一种业务日志传输及有序存储方法，其特征在于，包括：
2.根据权利要求1所述的一种业务日志传输及有序存储方法，其特征在于，所述节点配置信息包括节点IP、节点名称、节点所属环境、应用名称、日志文件路径。
3.根据权利要求1所述的一种业务日志传输及有序存储方法，其特征在于，所述目标中间件信息包括传输中介以及所述传输中介对应的物理分区，所述目标日志数据库包括库表；一个应用节点对应一个物理分区，一个物理分区对应一张库表。
4.根据权利要求2所述的一种业务日志传输及有序存储方法，其特征在于，注册控制中心根据所述节点配置信息获取与所述应用节点对应的目标中间件信息，包括：
5.根据权利要求4所述的一种业务日志传输及有序存储方法，其特征在于，所述注册节点映射表用于存储节点哈希值与中间件信息对应的映射关系。
6.根据权利要求5所述的一种业务日志传输及有序存储方法，其特征在于，根据所述节点哈希值从注册节点映射表中确定出目标中间件信息，包括：
7.根据权利要求1所述的一种业务日志传输及有序存储方法，其特征在于，还包括：通过用户界
8.一种业务日志传输及有序存储系统，其特征在于，包括：
...【技术特征摘要】
1.一种业务日志传输及有序存储方法，其特征在于，包括：
2.根据权利要求1所述的一种业务日志传输及有序存储方法，其特征在于，所述节点配置信息包括节点ip、节点名称、节点所属环境、应用名称、日志文件路径。
3.根据权利要求1所述的一种业务日志传输及有序存储方法，其特征在于，所述目标中间件信息包括传输中介以及所述传输中介对应的物理分区，所述目标日志数据库包括库表；一个应用节点对应一个物理分区，一个物理分区对应一张库表。
4.根据权利要求2所述的一种业务日志传输及有序存储方法，其特征在于，注册控制中心根据所述节点配置信息获取与所述应用...
【专利技术属性】
技术研发人员：覃开游，金彪，杨东，
申请(专利权)人：浙江绿色慧联有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。