数据处理方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术实施例提供一种数据处理方法、装置、设备及计算机可读存储介质，设置不同处理节点组对应不同的数据可视权限，各处理节点组中的处理节点根据配置的数据可视权限仅缓存自身具有处理权限的那部分数据，因此可尽量避免数据的重复缓存，提升缓存资源的利用率并降低成本；在此基础上，当接收到数据查询请求时，根据该数据查询请求携带的权限判断信息以及处理节点组与数据可视权限的对应关系，可直接确定出对应的目标处理节点组，从而直接向该目标处理节点组发起数据查询，避免采用数据盲查的方式进行数据查询，查询的数据范围更小，查询也更为快速和精准，可进一步提升资源利用率。率。率。

【技术实现步骤摘要】
数据处理方法、装置、设备及计算机可读存储介质


[0001]本专利技术实施例涉及通信领域，尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]随着5G(5th-Generation，第五代移动通信技术)网络的不断发展，网络规模越来越巨大，网络管理软件面临着海量的数据处理。而随着微服务架构的大量应用，软件的客户端不断趋于简单，服务端承担的计算任务不断加重。软件的普遍行为模式为类似WEB浏览器的瘦客户端发起REST(Representational State Transfer，表述性状态传递，一种针对网络应用的设计和开发方式)请求，服务器收到请求后进行复杂计算，将结果返回。当涉及到海量数据与客户端高并发访问时，服务器要及时响应请求并返回结果面临的压力非常大。
[0003]互联网企业最先面临瘦客户端(比如B/S架构的程序)、海量数据、高并发访问的场景，采用的解决方案通常是多服务节点请求分发、基于超大容量内存的缓存架构配合来应对。这种解决方案把缓存分为多层，每一层缓存由部署在多个服务器节点的分布式缓存集群构成。举例来说，假设数据库中有一亿条原始数据，多用户高并发查询数据库无法满足效率要求，那么加上三层分布式缓存，每层由多个服务器节点组成。当用户发起查询时，首先分流到第一层缓存的服务器节点进行数据盲查，如果数据命中，则返回；否则将该数据查询请求发到(即穿透到)第二层缓存的服务器节点进行盲查，以此类推。在这种数据处理架构中，存在查询准确率、效率的问题；同时各层缓存所缓存的数据重复度高，导致缓存资源利用率，数据处理成本高的问题。

技术实现思路

[0004]本专利技术实施例主要提供的一种数据处理方法、装置、设备及计算机可读存储介质，旨在解决相关技术的数据处理架构存在缓存的数据重复度高，资源利用率低、数据处理成本高，且数据查询准确率及效率低的问题。
[0005]为解决上述技术问题，本专利技术实施例提供了一种数据处理装置，包括：
[0006]处理节点组，一个所述处理节点组中包括至少一个处理节点，不同所述处理节点组对应不同的数据可视权限；每一所述处理节点组从数据总线接收数据流，并根据自身对应的数据可视权限以及所述数据流携带的第一权限判断信息确定自身有权限处理接收到的数据流时，将该数据流中的数据进行缓存处理；所述数据可视权限包括表征对哪些数据有权进行处理的配置信息；
[0007]节点管理器，用于在接收到数据查询请求时，根据该数据查询请求携带的第二权限判断信息确定对应的目标数据可视权限，根据处理节点组与数据可视权限的对应关系以及所述目标数据可视权限，确定出所述目标数据可视权限对应的目标处理节点组，基于所述数据查询请求向所述目标处理节点组发起数据查询。
[0008]为解决上述技术问题，本专利技术实施例还提供了一种数据处理方法，包括：
[0009]配置处理节点组，一个所述处理节点组中包括至少一个处理节点，不同所述处理节点组对应不同的数据可视权限；每一所述处理节点组从数据总线接收数据流，并根据自身对应的数据可视权限以及所述数据流携带的第一权限判断信息确定自身有权限处理接收到的数据流时，将该数据流中的数据进行缓存处理；所述数据可视权限包括表征对哪些数据有权进行处理的配置信息；
[0010]在接收到数据查询请求时，根据该数据查询请求携带的第二权限判断信息确定对应的目标数据可视权限，根据处理节点组与数据可视权限的对应关系以及所述目标数据可视权限，确定出所述目标数据可视权限对应的目标处理节点组，基于所述数据查询请求向所述目标处理节点组发起数据查询。
[0011]为解决上述技术问题，本专利技术实施例还提供了一种数据处理设备，包括处理器、存储器和连接所述处理器和存储器的通信总线；
[0012]所述存储器存储有计算机程序，所述计算机程序可被所述处理器执行，以实现如上所述的数据处理方法的步骤。
[0013]为解决上述技术问题，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被处理节点执行，以实现如上所述的数据处理方法的步骤。
[0014]本专利技术实施例提供的数据处理方法、装置、设备及计算机可读存储介质，配置有处理节点组，不同处理节点组对应不同的数据可视权限；每一处理节点组可从数据总线接收数据流，并根据自身对应的数据可视权限以及数据流携带的第一权限判断信息确定自身有权限处理接收到的数据流时，将该数据流中的数据进行缓存处理；也即各处理节点组中的处理节点仅缓存自身具有处理权限的那部分数据，因此可尽量避免数据的重复缓存，提升缓存资源的利用率并降低成本；在此基础上，当接收到数据查询请求时，根据该数据查询请求携带的第二权限判断信息以及处理节点组与数据可视权限的对应关系，可直接确定出对应的目标处理节点组，从而直接向该目标处理节点组发起数据查询，避免采用数据盲查的方式进行数据查询，查询的数据范围更小，查询也更为快速和精准，可进一步提升资源利用率。
[0015]本专利技术其他特征和相应的有益效果在说明书的后面部分进行阐述说明，且应当理解，至少部分有益效果从本专利技术说明书中的记载变的显而易见。
附图说明
[0016]图1为本专利技术实施例一提供的数据处理装置结构示意图；
[0017]图2为本专利技术实施例一提供的处理节点级联示意图；
[0018]图3为本专利技术实施例一提供的数据流处理流程示意图；
[0019]图4为本专利技术实施例一提供的寻址信息处理流程示意图；
[0020]图5为本专利技术实施例一提供的数据删除任务处理流程示意图；
[0021]图6为本专利技术实施例一提供的寻址信息删除通知下发流程示意图；
[0022]图7为本专利技术实施例一提供的寻址信息删除通知处理流程示意图；
[0023]图8为本专利技术实施例一提供的数据迁移处理流程示意图；
[0024]图9为本专利技术实施例一提供的数据可视权限增加处理流程示意图；
[0025]图10为本专利技术实施例一提供的数据查询处理流程示意图；
[0026]图11为本专利技术实施例二提供的数据处理装置结构示意图；
[0027]图12为本专利技术实施例二提供的数据流D1处理示意图；
[0028]图13为本专利技术实施例二提供的数据流D2处理示意图；
[0029]图14为本专利技术实施例二提供的数据流D3处理示意图；
[0030]图15为本专利技术实施例二提供的数据查询处理示意图；
[0031]图16为本专利技术实施例二提供的数据处理设备结构示意图。
具体实施方式
[0032]为了使本专利技术的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本专利技术实施例作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0033]实施例一：
[0034]下面结合附图和实施实例，对本专利技术的具体实施方式作进一步详细描述。
[0035]针对相关技术中数据处理架构存在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理装置，其特征在于，包括：处理节点组，一个所述处理节点组中包括至少一个处理节点，不同所述处理节点组对应不同的数据可视权限；每一所述处理节点组从数据总线接收数据流，并根据自身对应的数据可视权限以及所述数据流携带的第一权限判断信息确定自身有权限处理接收到的数据流时，将该数据流中的数据进行缓存处理；所述数据可视权限包括表征对哪些数据有权进行处理的配置信息；节点管理器，用于在接收到数据查询请求时，根据该数据查询请求携带的第二权限判断信息确定对应的目标数据可视权限，根据处理节点组与数据可视权限的对应关系以及所述目标数据可视权限，确定出所述目标数据可视权限对应的目标处理节点组，基于所述数据查询请求向所述目标处理节点组发起数据查询。2.如权利要求1所述的数据处理装置，其特征在于，某一所述处理节点组包括至少两个处理节点时，所述至少两个处理节点依次级联形成流式拓扑链，该处理节点组中对应的数据可视权限包括至少两个子数据可视权限，一个处理节点对应一个子数据可视权限，且不同处理节点对应的子数据可视权限不同；所述流式拓扑链中的处理节点接收到所述数据流后，根据自身对应的子数据可视权限以及所述数据流携带的第一权限判断信息确定自身有权限处理接收到的数据流时，将该数据流中的数据在自身对应的缓存空间内进行缓存处理，并生成及缓存该数据对应的寻址信息；否则，在确定自身不是流式拓扑链中最后一级处理节点时，将所述数据流发送给下一级处理节点。3.如权利要求2所述的数据处理装置，其特征在于，所述流式拓扑链的至少两个处理节点中，存在某一部分处理节点的子数据可视权限比另一部分处理节点大时，子数据可视权限越大的处理节点在所述流式拓扑链中的级联位置越靠后。4.如权利要求3所述的数据处理装置，其特征在于，所述处理节点将所述数据流中的数据在自身对应的缓存空间内进行缓存处理，并生成该数据对应的寻址信息时，生成的寻址信息中包括该处理节点自身的子数据可视权限；所述处理节点在生成所述寻址信息后，在确定自身不是流式拓扑链中最后一级处理节点时，将所述寻址信息发送给下一级处理节点；所述流式拓扑链中的处理节点接收到其前一级处理节点发送的寻址信息后，在确定自身不是流式拓扑链中最后一级处理节点时将所述寻址信息发送给下一级处理节点，并根据自身的子数据可视权限以及所述寻址信息中包括的子数据可视权限，确定自身有权限处理该寻址信息对应的数据时，将该寻址信息在自身对应的缓存空间内进行缓存。5.如权利要求2-4任一项所述的数据处理装置，其特征在于，所述流式拓扑链中的处理节点接收到数据流删除任务时，在确定自身的缓存空间中有缓存该数据流删除任务对应的待删除数据时，将从自身的缓存空间中将对应的待删除数据删除；否则，在确定自身不是流式拓扑链中最后一级处理节点时，将所述数据流删除任务发送给下一级处理节点。6.如权利要求2-4任一项所述的数据处理装置，其特征在于，所述流式拓扑链中的处理节点接收到数据可视权限删减通知时，在自身的缓存空间中，将所述数据可视权限删减通知中指示的待删除子数据可视权限对应的目标数据和目标寻址信息删除，并向流式拓扑链中其他处理节点发送包括所述目标寻址信息的寻址信息删...

【专利技术属性】
技术研发人员：陈熙，刘学生，易明，张强，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：