一种分布式节点的数据处理方法及网关设备技术

本发明专利技术实施例公开了一种分布式节点的数据处理方法，包括：当接收到客户端发送的数据聚合操作请求时，根据所述请求确定至少两个待处理节点；根据所述数据聚合操作请求生成聚合操作指令，并向所有所述待处理节点发送所述数据聚合操作指令；当接收到所有所述待处理节点返回的聚合结果时，对所有所述聚合结果进行聚合处理获得聚合数据，并将所述聚合数据返回给所述客户端。本发明专利技术实施例还公开了一种网关设备。采用本发明专利技术，这使得网关设备可让每个节点对其存储的待聚合数据进行聚合处理，并将聚合结果返回给网关设备，网关设备再对各个节点返回的聚合结果进行最后的聚合，从而避免大量数据进行传输，有效节省资源，并提高传输效率。

【技术实现步骤摘要】

本专利技术涉及通信领域，尤其涉及一种分布式节点的数据处理方法及网关设备。
技术介绍
数据库一般通过数据表来存储数据，但数据量不一定是可控的，随着时间和业务的发展，数据库中的数据表会越开越多，数据表中的数据量也会越来越大。另外，一台服务器的硬件资源也是有限的，最终数据库所能承载的数据量、数据处理能力都讲遭遇硬件资源的瓶颈，因此需进行分库分表。即是原本把存储于一个服务器的数据库的数据分块存储于多个服务器的多个数据数据库中，把原本存储于一个数据表中的数据分块存储到多个数据表，或多个服务器的数据库中，可称为节点。但是，进行分库分表后，由于数据原本集中存储于一个数据表中或一个节点中，现在分布在多个数据表甚至多个节点中，故网关设备常需对来自多个节点的数据进行聚合汇总的操作。而目前对数据进行聚合汇总的方案中，大多是采用网关从各个数据库获取所需聚合的数据，再在网关上根据聚合指令进行聚合的方案，但是，当网关是采用大量数据进行聚合时，网关与节点间需进行大量的数据传输，这不仅浪费了资源，也影响了其他数据的传输，造成传输效率过低。
技术实现思路
本专利技术实施例所要解决的技术问题在于，提供一种分布式节点的数据处理方法及设备。可这使得网关设备可让每个节点对其存储的待聚合数据进行聚合处理，并将聚合结果返回给网关设备，网关设备再对各个节点返回的聚合结果进行最后的聚合，从而避免大量数据进行传输，有效节省资源，并提高传输效率。为了解决上述技术问题，本专利技术实施例提供了一种分布式节点的数据处理方法，包括:当接收到客户端发送的数据聚合操作请求时，根据所述请求确定至少两个个待处理节点，其中，所述待处理节点为需进行数据聚合的节点；根据所述数据聚合操作请求生成聚合操作指令，并向所有所述待处理节点发送所述数据聚合操作指令，其中，所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据，并对所述待聚合数据进行聚合获得聚合结果的指令；接收所有所述待处理节点返回的聚合结果，对所有所述聚合结果进行聚合处理获得聚合数据，并将所述聚合数据返回给所述客户端。其中，所述数据聚合操作请求携带聚合函数；所述根据所述数据聚合操作请求生成聚合操作指令包括:根据所述数据聚合操作请求生成携带所述聚合函数的聚合操作指令。其中，所述方法还包括:当接收到与网关设备连接的节点发送的数据包时，判断是否需对所述数据包进行操作处理；当确定不需对所述数据包进行操作处理时，将所述数据包进行传输处理。其中，所述数据包包括所述聚合结果；所述当接收到与网关设备连接的节点发送的数据包时，判断是否需对所述数据包进行操作处理包括:当接收到任意一个所述待处理节点返回的所述聚合结果时，判断是否需对所述聚合结果进行操作处理；所述当确定不需对所述数据包进行操作处理时，将所述数据包进行传输处理包括:当确定不需对所述聚合结果进行操作处理时，将所述聚合结果返回给所述客户端。其中，当接收到客户端发送的数据聚合操作请求时，根据所述请求确定至少两个个待处理节点之前包括:建立与网关设备连接的所有节点的数据映射的逻辑表，所述逻辑表包括所有所述节点的数据以及所述节点的数据的索引值。相应地，本专利技术实施例还提供了一种网关设备，包括:确定单元，用于当接收到客户端发送的数据聚合操作请求时，根据所述请求确定至少两个个待处理节点，其中，所述待处理节点为需进行数据聚合的节点；生成传输单元，用于根据所述数据聚合操作请求生成聚合操作指令，并向所有所述待处理节点发送所述数据聚合操作指令，其中，所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据，并对所述待聚合数据进行聚合获得聚合结果的指令；处理传输单元，用于接收所有所述待处理节点返回的聚合结果，对所有所述聚合结果进行聚合处理获得聚合数据，并将所述聚合数据返回给所述客户端。其中所述数据聚合操作请求携带聚合函数；所述生成传输单元具体用于:根据所述数据聚合操作请求生成携带所述聚合函数的聚合操作指令。其中，所述方法还包括:判断单元，用于当接收到与网关设备连接的节点发送的数据包时，判断是否需对所述数据包进行操作处理；传输单元，用于当确定不需对所述数据包进行操作处理时，将所述数据包进行传输处理。其中，所述判断单元具体用于:当接收到任意一个所述待处理节点返回的所述聚合结果时，判断是否需对所述聚合结果进行操作处理；、所述传输单元具体用于:当确定不需对所述聚合结果进行操作处理时，将所述聚合结果返回给所述客户端。其中，当设备包括:建立与网关设备连接的节点的数据映射的逻辑表，所述逻辑表包括所述节点的数据以及所述节点的数据的索引值。实施本专利技术实施例，具有如下有益效果:在本专利技术实施例中，当网关设备接收到客户端发送的数据聚合操作请求时，网关设备可根据数据聚合操作请求生成聚合操作指令，并向所有所述待处理节点发送所述数据聚合操作指令，其中，所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据，并对所述待聚合数据进行聚合获得聚合结果的指令；当接收到所有所述待处理节点返回的聚合结果时，可对所有聚合结果进行聚合处理，获得聚合数据，并将所述聚合数据返回给所述客户端，这使得网关设备可让每个节点对其存储的待聚合数据进行聚合，并将聚合结果返回给网关设备，网关设备再对各个节点返回的聚合结果进行最后的聚合，从而避免大量数据进行传输，有效节省资源，并提高传输效率。【附图说明】为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一种分布式节点的数据处理方法的第一实施例流程示意图；图2是本专利技术一种分布式节点的数据处理方法的第二实施例流程示意图；图3是本专利技术一种网关设备的第一实施结构图；图4是本专利技术一种网关设备的第二实施结构图；【具体实施方式】下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参见图1，为本专利技术一种分布式节点的数据当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种分布式节点的数据处理方法，其特征在于，所述方法包括：当接收到客户端发送的数据聚合操作请求时，根据所述请求确定至少两个个待处理节点，其中，所述待处理节点为需进行数据聚合的节点；根据所述数据聚合操作请求生成聚合操作指令，并向所有所述待处理节点发送所述数据聚合操作指令，其中，所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据，并对所述待聚合数据进行聚合获得聚合结果的指令；当接收到所有所述待处理节点返回的聚合结果时，对所有所述聚合结果进行聚合处理获得聚合数据，并将所述聚合数据返回给所述客户端。

【技术特征摘要】

【专利技术属性】
技术研发人员：李雪冰，袁清，吕明阳，蓝应志，
申请(专利权)人：深圳市创梦天地科技有限公司，
类型：发明
国别省市：广东;44