数据分配的方法、系统、控制服务器及节点客户端技术方案

本申请提供一种数据分配的方法、系统、控制服务器及节点客户端，其中，所述方法包括：控制服务器接收节点客户端发来的数据分配请求；响应于所述数据分配请求，确定与所述节点客户端对应的数据集，所述数据集中包括至少一个数据块；按照预设调度算法从所述数据集中确定目标数据块，并将所述目标数据块发送至所述节点客户端。本申请提供的一种数据分配的方法、系统、控制服务器及节点服务器，能够提高数据分配以及后续数据处理的效率。

【技术实现步骤摘要】

本申请涉及数据处理
，特别涉及一种数据分配的方法、系统、控制服务器及节点客户端。
技术介绍
随着信息技术的不断发展，需要处理的数据也在日益增多。现有技术中可以采用集中式计算的方法对数据进行处理。集中式计算的系统架构往往包括一台大型的计算机以及多个与该大型的计算机相连接的终端设备。终端设备处产生的数据可以传输至所述大型的计算机，从而由所述大型的计算机进行处理。随着数据量的不断增加，如果采用集中式计算的方法，将会耗费相当长的时间来完成数据处理的过程。因此，当前在进行数据处理时，通常可以采用分布式计算的方法。分布式计算的系统架构可以包括由多个物理机构成的节点网络，每个物理机均可以作为网络中的一个节点。在所述分布式计算的系统架构中还可以包括一个服务器，该服务器可以将待处理的数据划分为若干小的数据块，然后可以将这些小的数据块分发至不同的节点来进行处理，从而可以提高数据处理的速度。在现有技术中，服务器可以按照一定的时间周期来检测各个节点的工作状态，当检测到节点处于空闲状态时，便可以向节点分配需要处理的数据。然后，这种数据分配的方法往往存在以下缺陷：服务器无法实时获取各个节点的工作状态，从而无法高效地完成数据分配的过程。如果为了实时地获取各个节点的工作状态而降低对节点进行检测的周期，那么会增加服务器的负载，从而也会影响数据分配的效率。此外，服务器在进行数据分配时，往往是随机挑选未处理的数据分配给空闲节点，然而由于不同数据对应的处理需求可能不同，从而导致空闲节点可能无法高效地处理分配到的数据。由上可见，现有技术中的数据分配过程，无法高效地完成数据分配和处理的过程，从而会造成分布式计算系统中资源的浪费。应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的
技术介绍
部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
技术实现思路
本申请实施方式的目的在于提供一种数据分配的方法、系统、控制服务器及节点服务器，能够提高数据分配以及后续数据处理的效率。为实现上述目的，本申请一方面提供一种分布式系统中数据分配的方法，所述分布式系统包括控制服务器和节点客户端，所述方法包括：所述控制服务器接收所述节点客户端发来的数据分配请求；响应于所述数据分配请求，确定与所述节点客户端对应的数据集，所述数据集中包括至少一个数据块；按照预设调度算法从所述数据集中确定目标数据块，并将所述目标数据块发送至所述节点客户端。为实现上述目的，本申请另一方面提供一种分布式系统中数据分配的方法，所述分布式系统包括控制服务器和节点客户端，所述方法包括：所述节点客户端检测自身的节点状态，当所述节点状态满足预设条件时，向所述控制服务器发送数据分配请求；接收所述控制服务器响应于所述数据分配请求发来的待处理数据。为实现上述目的，本申请另一方面提供一种数据分配系统，所述系统包括控制服务器和节点客户端，所述节点客户端用于检测自身的节点状态，当所述节点状态满足预设条件时，向所述控制服务器发送数据分配请求；接收所述控制服务器响应于所述数据分配请求发来的待处理数据；所述控制服务器用于接收所述节点客户端发来的数据分配请求；响应于所述数据分配请求，确定与所述节点客户端对应的数据集，所述数据集中包括至少一个数据块；按照预设调度算法从所述数据集中确定目标数据块，并将所述目标数据块发送至所述节点客户端。为实现上述目的，本申请另一方面提供一种数据分配的控制服务器，所述控制服务器包括：网络通信模块，用于进行网络数据通信；存储器，用于存储至少一个数据集；处理器，用于控制所述网络通信模块接收节点客户端发来的数据分配请求；响应于所述数据分配请求，从所述存储器中确定与所述节点客户端对应的数据集，所述数据集中包括至少一个数据块；按照预设调度算法从所述数据集中确定目标数据块，并控制所述网络通信模块将所述目标数据块发送至所述节点客户端。为实现上述目的，本申请另一方面提供一种数据分配的节点客户端，所述节点客户端包括：网络通信模块，用于进行网络数据通信；处理器，用于检测所述节点客户端自身的节点状态，当所述节点状态满足预设条件时，控制所述网络通信模块向控制服务器发送数据分配请求；控制所述网络通信模块接收所述控制服务器响应于所述数据分配请求发来的待处理数据。由以上本申请实施方式提供的技术方案可见，本申请通过节点客户端对自身的节点状态进行检测，一方面能够实时获取节点状态，另一方面还能减轻控制服务器的负载，以方便控制服务器高效地进行数据分配的过程。此外，所述控制服务器在分配数据时，可以为不同的节点客户端分配相对应的数据集中的目标数据块，使得节点客户端能够满足目标数据块的处理需求，从而能够提高后续数据处理的效率。参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。附图说明所包括的附图用来提供对本申请实施方式的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：图1为本申请一个实施方式提供的数据分配的方法流程图；图2为本申请另一个实施方式提供的数据分配的方法流程图；图3为本申请提供的一种控制服务器的结构示意图；图4为本申请提供的一种节点客户端的结构示意图。具体实施方式为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施方式，都应当属于本申请保护的范围。本申请提供一种分布式系统中数据分配的方法。在本申请中，所述分布式系统可以包括控制服务器和节点客户端。图1为本申请一个实施方式提供的数据分配的方法流程图。虽然下文描述流程包括以特定顺序出现的多个操作，但是应该清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。请参阅图1，所述方法可以包括以下步骤。步骤S1：所述控制服务器接收所述节点客户端发来的数据分配请求。在本实施方式中，所述控制服务器可以是具备数据存储和数据处理能力的计算机(包括台式电脑、笔记本电脑等)。所述节点客户端可以是虚拟的客户端。所述虚拟的客户端可以架设于物理机上，并且可以利用所述物理机的资源(例如CPU、内存等)。同一个物理机上可以架设多个虚拟的客户端，这些本文档来自技高网...

【技术保护点】
一种分布式系统中数据分配的方法，所述分布式系统包括控制服务器和节点客户端，其特征在于，所述方法包括：所述控制服务器接收所述节点客户端发来的数据分配请求；响应于所述数据分配请求，确定与所述节点客户端对应的数据集，所述数据集中包括至少一个数据块；按照预设调度算法从所述数据集中确定目标数据块，并将所述目标数据块发送至所述节点客户端。

【技术特征摘要】
1.一种分布式系统中数据分配的方法，所述分布式系统包括控制服务器和节点客户端，其特征在于，所述方法包括：所述控制服务器接收所述节点客户端发来的数据分配请求；响应于所述数据分配请求，确定与所述节点客户端对应的数据集，所述数据集中包括至少一个数据块；按照预设调度算法从所述数据集中确定目标数据块，并将所述目标数据块发送至所述节点客户端。2.根据权利要求1所述的方法，其特征在于，确定与所述节点客户端对应的数据集具体包括：预先将预设数量的节点客户端划分为多个节点池并建立各个节点池与数据集之间的关联关系，其中，各个所述节点池包括至少一个节点客户端；确定发来所述数据分配请求的节点客户端所处的节点池，并将与确定的节点池相关联的数据集确定为发来所述数据分配请求的节点客户端对应的数据集。3.根据权利要求1所述的方法，其特征在于，所述数据集中的数据块按照以下方式中的一种进行排列：按照生成时间从先到后的顺序进行排列；或者按照优先级从高到低的顺序进行排列，处于同一优先级的数据块按照生成时间从先到后的顺序进行排列；或者按照数据类型进行排列，处于同一数据类型中的数据块按照生成时间从先到后的顺序进行排列；相应地，按照预设调度算法从所述数据集中确定目标数据块具体包括：在所述数据集的未被处理的数据块中，将生成时间最早的数据块确定为所述目标数据块；或者在所述数据集的未被处理的数据块中确定优先级最高的至少一个数据块，并且将所述至少一个数据块中生成时间最早的数据块确定为所述目标数据块；或者统计所述数据集中各个数据类型对应的未被处理的数据块的数量，并在数量最大的数据类型中将生成时间最早的数据块确定为所述目标数据块。4.根据权利要求1所述的方法，其特征在于，所述数据分配请求中包括所述节点客户端的空闲资源量；相应地，按照预设调度算法从所述数据集中确定目标数据块具体包括：将所述数据集中数据量与所述空闲资源量相匹配的数据块确定为所述目标数据块。5.根据权利要求1至4所述的方法，其特征在于，所述数据分配请求为所述节点客户端处于空闲状态时向所述控制服务器发送的。6.一种分...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：苏州蓝海彤翔系统科技有限公司，
类型：发明
国别省市：江苏;32