一种数据处理方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种数据处理装置，包括：响应于集群内第一节点的目标数据查询请求；确认所述集群的分布式缓存中是否存储所述目标数据查询请求对应的目标数据；若所述分布式缓存中未存储所述目标数据，则在所述第一节点对应的本地缓存中查询所述目标数据；其中，所述集群内各节点的本地缓存以第一时间周期进行数据同步；存储于所述分布式缓存中的数据具备数据有效时间；所述目标数据存储于所述分布式缓存中的数据有效时间大于所述第一时间周期；本申请还提供一种数据处理装置、电子设备和存储介质。介质。介质。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]在云计算环境下，海量数据的存储和处理请求对传统数据库结构造成了较大压力，传统数据库面临的支撑大量数据访问的性能瓶颈问题。

技术实现思路

[0003]本申请提供一种数据处理方法、装置、电子设备及存储介质，以至少解决现有技术中存在的以上技术问题。
[0004]本申请第一方面提供一种数据处理方法，包括：
[0005]响应于集群内第一节点的目标数据查询请求；
[0006]确认所述集群的分布式缓存中是否存储所述目标数据查询请求对应的目标数据；
[0007]若所述分布式缓存中未存储所述目标数据，则在所述第一节点对应的本地缓存中查询所述目标数据；
[0008]其中，集群内各节点新增数据在数据有效时间内存储于分布式缓存中，且所述新增数据以第一时间周期同步至各节点本地缓存；所述数据有效时间大于所述第一时间周期。
[0009]上述方案中，所述数据有效时间的长度为所述第一时间周期的2倍。
[0010]上述方案中，所述新增数据以第一时间周期同步至各节点本地缓存包括：
[0011]所述集群中各节点的本地缓存基于GuavaCache异步缓存策略，以所述第一时间周期进行数据同步。
[0012]上述方案中，若所述分布式缓存中存储所述目标数据，则发送所述目标数据。
[0013]本申请第二方面提供一种数据处理装置，包括：
[0014]响应单元，用于响应于所述集群内第一节点的目标数据查询请求；
[0015]确认单元，用于确认所述集群的分布式缓存中是否存储所述目标数据查询请求对应的目标数据；
[0016]查询单元，用于若所述分布式缓存中未存储所述目标数据，则在所述第一节点对应的本地缓存中查询所述目标数据；
[0017]其中，集群内各节点新增数据在数据有效时间内存储于分布式缓存中，且所述新增数据以第一时间周期同步至各节点本地缓存；所述数据有效时间大于所述第一时间周期。
[0018]上述方案中，所述数据有效时间的长度为所述第一时间周期的2倍。
[0019]上述方案中，所述装置还包括：
[0020]同步单元，用于基于GuavaCache异步缓存策略，使得所述集群中各节点的本地缓
存以所述第一时间周期进行数据同步。
[0021]上述方案中，所述装置还包括：
[0022]发送单元，用于若所述分布式缓存中存储所述目标数据，则发送所述目标数据。
[0023]本申请第三方面提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述数据处理方法所述的方法步骤。
[0024]本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述数据处理方法所述的方法步骤。
[0025]本申请提供的数据处理方法，响应于集群内第一节点的目标数据查询请求；确认所述集群的分布式缓存中是否存储所述目标数据查询请求对应的目标数据；若所述分布式缓存中未存储所述目标数据，则在所述第一节点对应的本地缓存中查询所述目标数据；其中，其中，集群内各节点新增数据在数据有效时间内存储于分布式缓存中，且所述新增数据以第一时间周期同步至各节点本地缓存；所述数据有效时间大于所述第一时间周期。本专利技术提出的数据处理方法，有效减缓内存压力，提高系统性能。
附图说明
[0026]图1示出了本申请实施例提供的数据处理方法的一种可选流程示意图；
[0027]图2示出了本申请实施例提供的数据处理方法的另一种可选流程示意图；
[0028]图3示出了本申请实施例提供的数据处理装置的一种可选结构示意图；
[0029]图4示出了本申请实施例提供的电子设备的硬件组成结构示意图。
具体实施方式
[0030]为使本申请的目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0031]云计算环境下，数据库中的缓存机制至少包括集群中各节点本地缓存和集群中分布式缓存。本地缓存为集群内各节点对应的缓存，各节点的本地缓存按照一定的时间周期进行集群内广播，完成数据同步。而分布式缓存为集群共享。
[0032]基于集群中各本地节点缓存数据的方案可能发生节点A新增数据a 后，集群并还未来得及将相应的同步数据的信息广播至集群中其他节点，节点B就接收到了针对数据a的数据查询请求，因此在节点B的本地缓存中无法查询到，导致集群中各节点之间的数据存在不对称的问题。
[0033]分布式缓存虽然能很好的解决这一问题，但在各节点的新增数据体量大时，会对分布缓存造成压力，造成内存泄漏的问题。
[0034]针对现有技术中数据的存储和获取中存在的缺陷，本申请提供一种数据处理方法，可以至少解决上述部分或全部技术问题。
[0035]图1示出了本申请实施例提供的数据处理方法的一种可选流程示意图，将根据各
个步骤进行说明。
[0036]步骤S101，响应于集群内第一节点的目标数据查询请求。
[0037]所述集群包括至少一个节点，所述第一节点可以是所述集群包括的任一节点。
[0038]在一些实施例中，数据处理装置(以下简称装置)响应于集群内第一节点的目标数据查询请求，执行步骤S102。
[0039]步骤S102，确认所述集群的分布式缓存中是否存储所述目标数据查询请求对应的目标数据。
[0040]在一些实施例中，所述装置确认所述集群的分布式缓存中是否存储所述目标数据查询请求对应的目标数据；若所述集群的分布式缓存中存储所述目标数据，则发送所述目标数据；或者，若所述集群的分布式缓存中未存储所述目标数据，则执行步骤S103。
[0041]其中，集群内任一节点的新增数据在数据有效时间内存储于分布式缓存中，且所述新增数据以第一时间周期同步至各节点本地缓存；所述数据有效时间大于所述第一时间周期。
[0042]在一些实施例中，所述集群内任意节点新增数据时，将新增的数据存储至集群的数据库和分布式缓存中；所述集群内各节点的本地缓存以第一时间周期与数据库进行数据同步，进而完成了集群内所有节点的数据同步。
[0043]在一些可选实施例中，所述数据有效时间的长度为所述第一时间周期的2倍；可选的，所述数据有效时间的长度与所述第一时间周期之间的商还可以是其他大于1的数值，本申请不做具体限制。
[0044]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：响应于集群内第一节点的目标数据查询请求，确认所述集群的分布式缓存中是否存储所述目标数据查询请求对应的目标数据；若所述分布式缓存中未存储所述目标数据，则在所述第一节点对应的本地缓存中查询所述目标数据；其中，集群内任一节点的新增数据在数据有效时间内存储于分布式缓存中，且所述新增数据以第一时间周期同步至各节点本地缓存；所述数据有效时间大于所述第一时间周期。2.根据权利要求1所述的方法，其特征在于，所述数据有效时间为所述第一时间周期的2倍。3.根据权利要求1所述的方法，其特征在于，所述新增数据以第一时间周期同步至各节点本地缓存，包括：所述集群中各节点的本地缓存基于GuavaCache异步缓存策略进行数据同步。4.根据权利要求1所述的方法，其特征在于，若所述分布式缓存中存储所述目标数据，则发送所述目标数据。5.一种数据处理装置，其特征在于，所述装置包括：响应单元，用于响应于所述集群内第一节点的目标数据查询请求；确认单元，用于确认所述集群的分布式缓存中是否存储所述目标数据查询请求对应的目标数据；查询单元，用于若所述分布式缓存中未存储所述目标数据，则在所述第一节点...

【专利技术属性】
技术研发人员：闫保林，范富强，李世杰，
申请(专利权)人：车主邦北京科技有限公司，
类型：发明
国别省市：