本发明专利技术实施例公开了一种实时数据更新方法、装置、电子设备及存储介质，其中，应用于数据处理服务器的实时数据更新方法包括：根据缓存队列数据标志轮询目标队列，以顺序获取实时数据更新操作对应的全局事务编号下各局部事务编号的分布式事务处理数据；其中，所述目标队列包括消息队列和/或缓存队列；将顺序获取的所述分布式事务处理数据按照事务处理顺序同步更新至聚合数据库。本发明专利技术实施例的技术方案能够保持实时数据更新的时序性，从而提高实时数据更新的准确性和可靠性。时数据更新的准确性和可靠性。时数据更新的准确性和可靠性。
【技术实现步骤摘要】
一种实时数据更新方法、装置、电子设备及存储介质
[0001]本专利技术实施例涉及数据处理
，尤其涉及一种实时数据更新方法、装置、电子设备及存储介质。
技术介绍
[0002]随着互联网应用的高速发展，其海量数据、大流量以及高并发等特征也越发突出和明显，传统的“主从”式的数据库架构无法满足互联网应用业务的高速发展。为了提高系统的性能，很多IT(Internet Technology，互联网技术)系统架构设计中采用数据分片的架构。所谓数据分片即根据分片键(如金融领域的客户号或机构号)对数据进行分片，对不同分片的数据独立存储，如每个分片数据存储在一个数据库中。
[0003]在上述数据处理架构中，在处理数据查询请求时，对于可归属到同一分片上的数据查询非常高效，但对于跨数据分片的联合查询实现较为困难，查询效率低下。相关技术中，为提高跨数据分片的数据查询效率，提出的解决方案为通过将所有的分片数据库数据进行转换处理，然后将处理后的数据同步至供连表查询的聚合数据库，该聚合数据库可以采用大数据存储技术来实现。
[0004]专利技术人在实现本专利技术的过程中，发现现有技术存在如下缺陷：在聚合数据库的数据同步更新过程中，由于聚合数据库是同步不同源分片数据的数据更新，因此即使聚合数据库对源分片数据库具备全局事务的控制功能，也无法按照源分片数据库的局部事务提交顺序进行数据更新。也即，聚合数据库无法保持源数据库更新的有序性。
技术实现思路
[0005]本专利技术实施例提供一种实时数据更新方法、装置、电子设备及存储介质，能够保持实时数据更新的时序性，从而提高实时数据更新的准确性和可靠性。
[0006]根据本专利技术的一方面，提供了一种实时数据更新方法，应用于数据处理服务器，包括：
[0007]根据缓存队列数据标志轮询目标队列，以顺序获取实时数据更新操作对应的全局事务编号下各局部事务编号的分布式事务处理数据；其中，所述目标队列包括消息队列和/或缓存队列；
[0008]将顺序获取的所述分布式事务处理数据按照事务处理顺序同步更新至聚合数据库。
[0009]根据本专利技术的另一方面，提供了一种实时数据更新方法，应用于局部事务处理器，包括：
[0010]获取全局事务处理器根据实时数据更新操作下发的局部事务编号；
[0011]根据所述局部事务编号执行分布式事务，得到分布式事务处理数据；
[0012]将所述分布式事务处理数据推送至消息队列进行存储；
[0013]其中，所述分布式事务处理数据用于数据处理服务器按事务处理顺序同步更新至
聚合服务器。
[0014]根据本专利技术的另一方面，提供了一种实时数据更新方法，应用于全局事务处理器，包括：
[0015]响应于实时数据更新操作，生成所述实时数据更新操作对应的全局事务编号和局部事务编号；
[0016]将所述实时数据更新操作对应的全局事务编号和局部事务编号发送至数据处理服务器；
[0017]接收所述数据处理服务器反馈的事务编号关联信息，并在确定所述事务编号关联信息通过校验的情况下，将所述局部事务编号推送至局部事务处理器，以通过所述局部事务处理器根据所述局部事务编号执行分布式事务，得到分布式事务处理数据；
[0018]其中，所述分布式事务处理数据用于数据处理服务器按事务处理顺序同步更新至聚合服务器。
[0019]根据本专利技术的另一方面，提供了一种实时数据更新方法，包括：
[0020]通过全局事务处理器响应于实时数据更新操作，生成所述实时数据更新操作对应的全局事务编号和局部事务编号，将所述实时数据更新操作对应的全局事务编号和局部事务编号发送至数据处理服务器；接收所述数据处理服务器反馈的事务编号关联信息，并在确定所述事务编号关联信息通过校验的情况下，将所述局部事务编号推送至局部事务处理器；
[0021]通过局部事务处理器获取全局事务处理器根据实时数据更新操作下发的局部事务编号，根据所述局部事务编号执行分布式事务，得到分布式事务处理数据，将所述分布式事务处理数据推送至消息队列进行存储；
[0022]通过数据处理服务器根据缓存队列数据标志轮询目标队列，以顺序获取实时数据更新操作对应的全局事务编号下各局部事务编号的分布式事务处理数据；其中，所述目标队列包括消息队列和/或缓存队列；将顺序获取的所述分布式事务处理数据按照事务处理顺序同步更新至聚合数据库。
[0023]根据本专利技术的另一方面，提供了一种实时数据更新系统，包括全局事务处理器、局部事务处理器以及数据处理服务器，所述全局事务处理器与所述局部事务处理器通信连接，所述全局事务处理器还与所述数据处理服务器通信连接，其中：
[0024]所述全局事务处理器用于：响应于实时数据更新操作，生成所述实时数据更新操作对应的全局事务编号和局部事务编号，将所述实时数据更新操作对应的全局事务编号和局部事务编号发送至数据处理服务器；接收所述数据处理服务器反馈的事务编号关联信息，并在确定所述事务编号关联信息通过校验的情况下，将所述局部事务编号推送至局部事务处理器；
[0025]所述局部事务处理器用于：获取全局事务处理器根据实时数据更新操作下发的局部事务编号，根据所述局部事务编号执行分布式事务，得到分布式事务处理数据，将所述分布式事务处理数据推送至消息队列进行存储；
[0026]所述数据处理服务器用于：根据缓存队列数据标志轮询目标队列，以顺序获取实时数据更新操作对应的全局事务编号下各局部事务编号的分布式事务处理数据；其中，所述目标队列包括消息队列和/或缓存队列；将顺序获取的所述分布式事务处理数据按照事
务处理顺序同步更新至聚合数据库。
[0027]根据本专利技术的另一方面，提供了一种实时数据更新装置，配置于数据处理服务器，包括：
[0028]分布式事务处理数据获取模块，用于根据缓存队列数据标志轮询目标队列，以顺序获取实时数据更新操作对应的全局事务编号下各局部事务编号的分布式事务处理数据；其中，所述目标队列包括消息队列和/或缓存队列；
[0029]分布式事务处理数据更新模块，用于将顺序获取的所述分布式事务处理数据按照事务处理顺序同步更新至聚合数据库。
[0030]根据本专利技术的另一方面，提供了一种实时数据更新装置，置于局部事务处理器，包括：
[0031]局部事务编号获取模块，用于获取全局事务处理器根据实时数据更新操作下发的局部事务编号；
[0032]分布式事务处理数据生成模块，用于根据所述局部事务编号执行分布式事务，得到分布式事务处理数据；
[0033]分布式事务处理数据推送模块，用于将所述分布式事务处理数据推送至消息队列进行存储；
[0034]其中，所述分布式事务处理数据用于数据处理服务器按事务处理顺序同步更新至聚合服务器。
[0035]根据本专利技术的另一方面，提供了一种实时数据更新装置，配置于全局事务处理器，包括：
[0036]事务编号生成模块，用于响应于实时数据更新操作，生成本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种实时数据更新方法，其特征在于，应用于数据处理服务器，包括：根据缓存队列数据标志轮询目标队列，以顺序获取实时数据更新操作对应的全局事务编号下各局部事务编号的分布式事务处理数据；其中，所述目标队列包括消息队列和/或缓存队列；将顺序获取的所述分布式事务处理数据按照事务处理顺序同步更新至聚合数据库。2.根据权利要求1所述的方法，其特征在于，所述根据缓存队列数据标志轮询目标队列，以顺序获取实时数据更新操作对应的全局事务编号下各局部事务编号的分布式事务处理数据，包括：在确定所述缓存队列数据标志的标志数据为第一标志数据的情况下，轮询所述消息队列，以按照所述事务处理顺序获取当前目标局部事务编号的分布式事务处理数据；在确定所述缓存队列数据标志的标志数据为第二标志数据的情况下，轮询所述消息队列和所述缓存队列，以按照所述事务处理顺序获取所述当前目标局部事务编号的分布式事务处理数据；其中，在轮询所述目标队列获取到的当前局部事务编号的分布式事务处理数据不为所述当前目标局部事务编号的分布式事务处理数据的情况下，所述当前局部事务编号的分布式事务处理数据用于缓存至所述缓存队列中。3.根据权利要求2所述的方法，其特征在于，在所述将顺序获取的所述分布式事务处理数据按照事务处理顺序同步更新至聚合数据库之后，还包括：将所述缓存队列数据标志的标志数据重置为所述第一标志数据。4.一种实时数据更新方法，其特征在于，应用于局部事务处理器，包括：获取全局事务处理器根据实时数据更新操作下发的局部事务编号；根据所述局部事务编号执行分布式事务，得到分布式事务处理数据；将所述分布式事务处理数据推送至消息队列进行存储；其中，所述分布式事务处理数据用于数据处理服务器按事务处理顺序同步更新至聚合服务器。5.一种实时数据更新方法，其特征在于，应用于全局事务处理器，包括：响应于实时数据更新操作，生成所述实时数据更新操作对应的全局事务编号和局部事务编号；将所述实时数据更新操作对应的全局事务编号和局部事务编号发送至数据处理服务器；接收所述数据处理服务器反馈的事务编号关联信息，并在确定所述事务编号关联信息通过校验的情况下，将所述局部事务编号推送至局部事务处理器，以通过所述局部事务处理器根据所述局部事务编号执行分布式事务，得到分布式事务处理数据；其中，所述分布式事务处理数据用于数据...
【专利技术属性】
技术研发人员：古毅伟，竹记，林雯，
申请(专利权)人：上海浦东发展银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。