数据处理方法、装置、服务器、介质及产品制造方法及图纸

本申请属于分布式技术领域，具体提供一种数据处理方法、装置、服务器、介质及产品，该方法包括：获取数据库服务器待存储的消息数据对应的预设消息类别；根据所述预设消息类别和预设消费限制量从消息队列消费对应目标消息数据；将所述目标消息数据发送至所述数据库服务器，以使所述数据库服务器存储所述目标消息数据。本申请的方法，通过ClickHouse系统中的数据传输中间件消费消息队列数据，同时，将消费的消息数据存储到ClickHouse的数据库服务器中，相比从消息队列引擎消费数据，稳定性更高，从而使得数据传输的质量和效率更高。此外，还可以根据预设消费限制量限制目标消息数据的数据量，避免产生数据量过大所导致的数据消费性能降低的问题。性能降低的问题。性能降低的问题。

【技术实现步骤摘要】
数据处理方法、装置、服务器、介质及产品


[0001]本申请涉及分布式
，尤其涉及一种数据处理方法、装置、服务器、介质及产品。

技术介绍

[0002]ClickHouse是一个完备的列式数据库管理系统，允许在运行时创建表和数据库、加载数据以及运行查询。消息队列如常用的Kafka分布式发布订阅消息系统是在消息的传输过程中保存消息的容器。
[0003]ClickHouse一般从消息队列中消费数据，并将消费的数据进行存储。消费数据一般指消费服务器读取数据的过程。在ClickHouse从消息队列消费数据时，主要通过ClickHouse原生的消息队列引擎直接消费数据，其中，消息队列引擎与消息队列相匹配。目前，ClickHouse原生的消息队列引擎的稳定性较差，导致数据传输的质量和效率较差。

技术实现思路

[0004]本申请提供一种数据处理方法、装置、服务器、介质及产品，用以解决ClickHouse原生的消息队列引擎的稳定性较差，导致数据传输的质量和效率较差的问题。
[0005]本申请第一方面提供一种数据处理方法，应用于ClickHouse系统中的数据传输中间件，所述ClickHouse系统还包括数据库服务器，所述方法包括：
[0006]获取数据库服务器待存储的消息数据对应的预设消息类别；
[0007]根据所述预设消息类别和预设消费限制量从消息队列消费对应目标消息数据；
[0008]将所述目标消息数据发送至所述数据库服务器，以使所述数据库服务器存储所述目标消息数据。r/>[0009]进一步地，如上所述的方法，所述数据传输中间件包括：所述数据库服务器对应的第一配置文件；
[0010]所述获取数据库服务器待存储的消息数据对应的预设消息类别，包括：
[0011]从所述第一配置文件中确定待存储的消息数据对应的所述预设消息类别。
[0012]进一步地，如上所述的方法，所述数据传输中间件还包括：所述消息队列对应的第二配置文件；
[0013]所述根据所述预设消息类别和预设消费限制量从消息队列消费对应目标消息数据，包括：
[0014]根据所述预设消息类别从所述第二配置文件中确定消息队列对应服务器集群的网络地址信息；所述服务器集群存储有待消费目标消息数据；
[0015]根据所述网络地址信息从对应服务器集群消费对应目标消息数据；
[0016]根据预设消费限制量控制目标消息数据实际消费的数据量。
[0017]进一步地，如上所述的方法，所述根据所述网络地址信息从对应服务器集群消费对应目标消息数据，包括：
[0018]根据所述网络地址信息向对应服务器集群发送数据消费请求；
[0019]接收对应服务器集群反馈的允许消费信息；
[0020]根据所述允许消费信息从对应服务器集群消费对应目标消息数据。
[0021]进一步地，如上所述的方法，所述根据预设消费限制量控制目标消息数据实际消费的数据量，包括：
[0022]监控目标消息数据实际消费的数据量是否大于预设消费限制量；
[0023]若确定实际消费的数据量大于预设消费限制量，则使所述实际消费的数据量等于预设消费限制量。
[0024]进一步地，如上所述的方法，所述第一配置文件还包括：数据库服务器的互联网协议地址；
[0025]所述将所述目标消息数据发送至所述数据库服务器，以使所述数据库服务器存储所述目标消息数据，包括：
[0026]从所述第一配置文件中确定数据库服务器对应的互联网协议地址；
[0027]按照所述互联网协议地址将所述目标消息数据发送至所述数据库服务器，以使所述数据库服务器存储所述目标消息数据。
[0028]进一步地，如上所述的方法，所述数据库服务器采用双副本机制；所述数据库服务器包括主副本节点服务器和次副本节点服务器；
[0029]所述按照所述互联网协议地址将所述目标消息数据发送至所述数据库服务器，以使所述数据库服务器存储所述目标消息数据，包括：
[0030]按照所述互联网协议地址将所述目标消息数据发送至主副本节点服务器，以使主副本节点服务器存储所述目标消息数据，次副本节点服务器同步所述目标消息数据。
[0031]进一步地，如上所述的方法，所述获取数据库服务器中待存储消息数据对应的预设消息类别之前，还包括：
[0032]获取数据库服务器对应的预设消息类别和互联网协议地址；
[0033]根据数据库服务器对应的预设消息类别和互联网协议地址生成第一配置文件；
[0034]获取服务器集群的网络地址信息和服务器集群标识；
[0035]根据服务器集群的网络地址信息和服务器集群标识生成第二配置文件。
[0036]本申请第二方面提供一种数据处理装置，位于ClickHouse系统中的数据传输中间件，所述ClickHouse系统还包括数据库服务器，所述装置包括：
[0037]获取模块，用于获取数据库服务器中待存储消息数据对应的预设消息类别；
[0038]处理模块，用于根据所述预设消息类别和预设消费限制量从消息队列消费对应目标消息数据；
[0039]发送模块，用于将所述目标消息数据发送至所述数据库服务器，以使所述数据库服务器存储所述目标消息数据。
[0040]进一步地，如上所述的装置，所述数据传输中间件包括：所述数据库服务器对应的第一配置文件；
[0041]所述获取模块，具体用于：
[0042]从所述第一配置文件中确定待存储的消息数据对应的所述预设消息类别。
[0043]进一步地，如上所述的装置，所述数据传输中间件还包括：所述消息队列对应的第
二配置文件；
[0044]所述处理模块，具体用于：
[0045]根据所述预设消息类别从所述第二配置文件中确定消息队列对应服务器集群的网络地址信息；所述服务器集群存储有待消费目标消息数据；根据所述网络地址信息从对应服务器集群消费对应目标消息数据；根据预设消费限制量控制目标消息数据实际消费的数据量。
[0046]进一步地，如上所述的装置，所述处理模块在根据所述网络地址信息从对应服务器集群消费对应目标消息数据时，具体用于：
[0047]根据所述网络地址信息向对应服务器集群发送数据消费请求；接收对应服务器集群反馈的允许消费信息；根据所述允许消费信息从对应服务器集群消费对应目标消息数据。
[0048]进一步地，如上所述的装置，所述处理模块在根据预设消费限制量控制目标消息数据实际消费的数据量时，具体用于：
[0049]监控目标消息数据实际消费的数据量是否大于预设消费限制量；若确定实际消费的数据量大于预设消费限制量，则使所述实际消费的数据量等于预设消费限制量。
[0050]进一步地，如上所述的装置，所述第一配置文件还包括：数据库服务器的互联网协议地址；
[0051]所述发送模块，具体用于：
[0052]从所述第一配置文件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于ClickHouse系统中的数据传输中间件，所述ClickHouse系统还包括数据库服务器，所述方法包括：获取数据库服务器待存储的消息数据对应的预设消息类别；根据所述预设消息类别和预设消费限制量从消息队列消费对应目标消息数据；将所述目标消息数据发送至所述数据库服务器，以使所述数据库服务器存储所述目标消息数据。2.根据权利要求1所述的方法，其特征在于，所述数据传输中间件包括：所述数据库服务器对应的第一配置文件；所述获取数据库服务器待存储的消息数据对应的预设消息类别，包括：从所述第一配置文件中确定待存储的消息数据对应的所述预设消息类别。3.根据权利要求2所述的方法，其特征在于，所述数据传输中间件还包括：所述消息队列对应的第二配置文件；所述根据所述预设消息类别和预设消费限制量从消息队列消费对应目标消息数据，包括：根据所述预设消息类别从所述第二配置文件中确定消息队列对应服务器集群的网络地址信息；所述服务器集群存储有待消费目标消息数据；根据所述网络地址信息从对应服务器集群消费对应目标消息数据；根据预设消费限制量控制目标消息数据实际消费的数据量。4.根据权利要求3所述的方法，其特征在于，所述根据所述网络地址信息从对应服务器集群消费对应目标消息数据，包括：根据所述网络地址信息向对应服务器集群发送数据消费请求；接收对应服务器集群反馈的允许消费信息；根据所述允许消费信息从对应服务器集群消费对应目标消息数据。5.根据权利要求3所述的方法，其特征在于，所述根据预设消费限制量控制目标消息数据实际消费的数据量，包括：监控目标消息数据实际消费的数据量是否大于预设消费限制量；若确定实际消费的数据量大于预设消费限制量，则使所述实际消费的数据量等于预设消费限制量。6.根据权利要求5所述的方法，其特征在于，所述第一配置文件还包括：数据库服务器的互联网协议地址；所述将所述目标消息数据发送至所述数据库服务器，以使所述数据库服务器存储所述目标消息数据，包括：从所述第一配置文件中确定数据库服务器对应的互联网协议地址；按照所述互联网协议地址将所述目标...

【专利技术属性】
技术研发人员：邵飞飞，王泽洋，易辛悦，张丹枫，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：