应用数据读写分离方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种应用数据读写分离方法、装置、计算机设备和存储介质。所述方法包括：主集群通过所述分布式消息中间件接收对外部数据的写入请求，根据所述写入请求将所述外部数据同步发送给应用；所述应用用于根据所述外部数据进行相应的数据处理，得到所述目标写入数据；从集群通过分布式消息中间件接收数据请求端发送的查询请求，并根据所述查询请求读取所述外部数据，得到对应的查询结果，将所述查询结果通过所述分布式消息中间件发送给所述数据请求端。采用本方法能够在一定程度上能够提高应用数据读写效率。高应用数据读写效率。高应用数据读写效率。

【技术实现步骤摘要】
应用数据读写分离方法、装置、计算机设备和存储介质


[0001]本申请涉及应用数据处理
，特别是涉及一种应用数据读写分离方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着应用数据处理的发展，为了使应用数据在读和写的过程中不会彼此受牵制，因而出现了应用数据读写分离技术。
[0003]传统技术中，应用的读写分离功能借助数据库的主从复制功能实现，应用通过SQL向主数据库写入数据，从数据库将主数据库执行完成的SQL记录文件同步完成后，再次按同样的顺序，本地执行SQL，将数据再次写入从数据库，供应用查询。
[0004]然而，传统方法，整个过程涉及多次文件的读写操作，并且同步周期较长，当存在多个数据库备节点时，需要进行多次网络传输，在一定程度上降低了应用数据读写的效率。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够提高应用数据读写效率的应用数据读写分离方法、装置、计算机设备和存储介质。
[0006]一种应用数据读写分离方法，所述方法包括：
[0007]主集群通过所述分布式消息中间件接收对外部数据的写入请求，根据所述写入请求将所述外部数据同步发送给应用；所述应用用于根据所述外部数据进行相应的数据处理，得到所述目标写入数据；
[0008]从集群通过分布式消息中间件接收数据请求端发送的查询请求，并根据所述查询请求读取所述外部数据，得到对应的查询结果，将所述查询结果通过所述分布式消息中间件发送给所述数据请求端。
[0009]在其中一个实施例中，主集群包括一个第一主节点，从集群包括至少一个第一从节点；所述第一主节点和所述第一从节点为运行在各服务器上的进程实例；
[0010]在所述第一主节点接收到所述外部数据时，所述第一主节点根据所述外部数据，生成全局消息顺序；
[0011]根据所述全局消息顺序，由所述第一主节点将所述外部数据同步到各所述从集群的第一从节点。
[0012]在其中一个实施例中，所述主集群还包括至少两个第一备节点，所述第一主节点和各所述第一备节点使用同一软件程序，在所述第一主节点接收到所述外部数据时，所述第一主节点根据所述外部数据，生成全局消息顺序之后，还包括：
[0013]根据所述全局消息顺序，由所述第一主节点将所述外部数据同步到各所述第一备节点。
[0014]在其中一个实施例中，所述方法还包括：
[0015]当检测到所述第一主节点和所述第一从节点之间的连接异常时，将任意一个第一
备节点作为备用主节点；
[0016]所备用主节点与第一从节点通信连接。
[0017]在其中一个实施例中，根据所述写入请求将所述外部数据同步发送给应用，包括：
[0018]根据所述写入请求，按照主集群对各所述外部数据的接收顺序，依次对各所述主集群接收的外部数据进行连续递增编号，得到各带有编号的外部数据；
[0019]通过消息确认机制，使各所述带编号的外部数据按照编号顺序，同步递交给所述应用。
[0020]在其中一个实施例中，将任意一个第一备节点作为备用主节点，包括：
[0021]获取各所述第一备节点的名称顺序，将名称顺序与所述第一主节点的名称顺序最接近的第一备节点，作为所述备用主节点。
[0022]一种应用数据读写分离装置，所述装置包括：
[0023]目标写入数据获取模块，用于主集群通过所述分布式消息中间件接收对外部数据的写入请求，根据所述写入请求将所述外部数据同步发送给应用；所述应用用于根据所述外部数据进行相应的数据处理，得到所述目标写入数据；
[0024]查询结果读取模块，用于从集群通过分布式消息中间件接收数据请求端发送的查询请求，并根据所述查询请求读取所述外部数据，得到对应的查询结果，将所述查询结果通过所述分布式消息中间件发送给所述数据请求端。
[0025]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0026]主集群通过所述分布式消息中间件接收对外部数据的写入请求，根据所述写入请求将所述外部数据同步发送给应用；所述应用用于根据所述外部数据进行相应的数据处理，得到所述目标写入数据；
[0027]从集群通过分布式消息中间件接收数据请求端发送的查询请求，并根据所述查询请求读取所述外部数据，得到对应的查询结果，将所述查询结果通过所述分布式消息中间件发送给所述数据请求端。
[0028]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0029]主集群通过所述分布式消息中间件接收对外部数据的写入请求，根据所述写入请求将所述外部数据同步发送给应用；所述应用用于根据所述外部数据进行相应的数据处理，得到所述目标写入数据；
[0030]从集群通过分布式消息中间件接收数据请求端发送的查询请求，并根据所述查询请求读取所述外部数据，得到对应的查询结果，将所述查询结果通过所述分布式消息中间件发送给所述数据请求端。
[0031]上述应用数据读写分离方法、装置、计算机设备和存储介质，“写”的过程主要是，主集群通过分布式消息中间件接收外部数据，将外部数据同步发送给应用。由应用根据外部数据的内容进行相应的数据处理，从而得到目标写入数据。应用将该目标写入数据给到数据接收端。“读”的过程主要是，系统获取数据请求端发送的查询消息；从集群通过分布式消息中间件接收该查询消息，并根据该查询消息读取目标写入数据，从目标写入数据中得到对应的查询结果，最后通过分布式消息中间件向数据请求端输出该查询结果。在整个过
程中，“读”和“写”均是在应用的内存中进行计算，而没有用到数据库，不需要借助数据库即可完成主从集群的同步。不需要进行多次网络传输，即可实现应用数据的快速读/写。因而本申请在一定程度上能够提高应用数据读写效率。
附图说明
[0032]图1为一个实施例中应用数据读写分离方法的应用环境图；
[0033]图2为一个实施例中应用数据读写分离方法的流程示意图；
[0034]图3为一个实施例中应用数据读写分离装置的结构框图；
[0035]图4为一个实施例中计算机设备的内部结构图。
具体实施方式
[0036]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0037]本申请提供的应用数据读写分离方法，可以应用于如图1所示的应用环境中。包括数据发送端102、主从集群104和数据请求端106，数据发送端102向主从集群104发送外部数据和写入请求，数据请求端106通过主从集群102获得查询结果。其中，一组相关的主从集群104中包括一个惟一的主集群和多个从集群。主从集104群均包括多个节点，通过节点部署在多台服务器上，彼此通过网络互联。其中，节点是运行在服务器上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用数据读写分离方法，其特征在于，所述方法包括：主集群通过所述分布式消息中间件接收对外部数据的写入请求，根据所述写入请求将所述外部数据同步发送给应用；所述应用用于根据所述外部数据进行相应的数据处理，得到所述目标写入数据；从集群通过分布式消息中间件接收数据请求端发送的查询请求，并根据所述查询请求读取所述外部数据，得到对应的查询结果，将所述查询结果通过所述分布式消息中间件发送给所述数据请求端。2.根据权利要求1所述的应用数据读写分离方法，其特征在于，主集群包括一个第一主节点，从集群包括至少一个第一从节点；所述第一主节点和所述第一从节点为运行在各服务器上的进程实例；所述方法还包括：在所述第一主节点接收到所述外部数据时，所述第一主节点根据所述外部数据，生成全局消息顺序；根据所述全局消息顺序，由所述第一主节点将所述外部数据同步到各所述从集群的第一从节点。3.根据权利要求2所述的应用数据读写分离方法，其特征在于，所述主集群还包括至少两个第一备节点，所述第一主节点和各所述第一备节点使用同一软件程序，在所述第一主节点接收到所述外部数据时，所述第一主节点根据所述外部数据，生成全局消息顺序之后，还包括：根据所述全局消息顺序，由所述第一主节点将所述外部数据同步到各所述第一备节点。4.根据权利要求3所述的应用数据读写分离方法，其特征在于，所述方法还包括：当检测到所述第一主节点和所述第一从节点之间的连接异常时，将任意一个第一备节点作为备用主节点；所述备用主节点与第一从节点通信连接。5.根据权利要求1所述的应用数据读写分离方法，其特征在于，根据所述写入请求将所述外部数据同步发送给应用，包括：根据所述写入请求，按照主集群对各所述外部数据的...

【专利技术属性】
技术研发人员：李杰，赵楠，宿旭升，
申请(专利权)人：深圳华锐金融技术股份有限公司，
类型：发明
国别省市：