数据处理方法及服务器技术

本申请涉及一种数据处理方法及服务器，数据处理方法执行于服务器集群中任一服务器，该方法包括：对待处理数据进行分片处理，得到多个目标分片数据；根据多个分片数据与多个批量执行器组之间的第一对应关系，确定各目标分片数据对应的目标批量执行器组；基于分配规则从服务器集群中确定各目标分片数据对应的目标服务器，并生成多个目标服务器与多个目标批量执行器组之间的第二对应关系，以由目标批量执行器组处理对应的目标服务器上存储的目标分片数据。本申请将批量执行器组与分片数据进行对应，能够避免数据处理错误的情况发生，实现了对数据进行高效以及准确的处理，同时达到了资源的合理利用的效果。资源的合理利用的效果。资源的合理利用的效果。

Data processing method and server

【技术实现步骤摘要】
数据处理方法及服务器


[0001]本申请涉及数据处理
，特别是涉及一种数据处理方法及服务器。

技术介绍

[0002]各个企业在进行日常业务的过程中会产生批量数据，当批量的数据存入文件服务器中后，会基于数据处理的需求通过挂载在文件服务器上的批量执行器对批量数据进行对应的处理，最终将批量的数据分类存储在对应的数据库中。但随着业务的发展使得各个企业的业务数据激增，为了保证数据处理的效率，需要对现有的文件服务器以及现有的批量执行器进行资源配置，以更好的利用当下的资源处理激增的业务数据，从而节约人力、物力以及财力。
[0003]但是，由于现有的文件服务器与批量执行器之间具有固定的映射关系，批量执行器只能从与之具有映射关系的文件服务器上进行数据的读取或者写入，以对文件服务器上的业务数据进行处理，所以重新进行资源配置后，会导致批量执行器不能处理对应文件服务器上的数据，导致数据处理错误的情况发生。

技术实现思路

[0004]本申请提供了一种数据处理方法，批量执行器组不再受限于与服务器之间的固定映射关系，批量执行器组只需要基于预先设置的批量执行器组与分片数据的对应关系确定需要处理的分片数据，并基于分片数据重新生成的批量执行器与服务器的对应关系从对应的服务器中读写分片数据对分片数据进行处理，从而避免了批量执行器只能处理具有固定映射关系的服务器上的数据，导致数据处理错误的情况发生。
[0005]第一方面，本申请提供了一种数据处理方法，该方法执行于服务器集群中的任一服务器，包括：
[0006]对待处理数据进行分片处理，得到多个目标分片数据；
[0007]根据第一对应关系，确定各目标分片数据对应的目标批量执行器组，第一对应关系包括多个分片数据与多个批量执行器组之间的对应关系，目标批量执行器组包括至少两个批量执行器，批量执行器中存储有处理数据的执行逻辑代码；
[0008]基于分配规则从服务器集群中确定各目标分片数据对应的目标服务器，并生成第二对应关系，以由目标批量执行器组处理对应的目标服务器上存储的目标分片数据，第二对应关系包括多个目标服务器与多个目标批量执行器组之间的对应关系。
[0009]第二方面，本申请还提供了一种服务器，该服务器包括：
[0010]处理模块，用于对待处理数据进行分片处理，得到多个目标分片数据；
[0011]确定模块，用于根据第一对应关系，确定各目标分片数据对应的目标批量执行器组，第一对应关系包括多个分片数据与多个批量执行器组之间的对应关系，目标批量执行器组包括至少两个批量执行器，批量执行器中存储有处理数据的执行逻辑代码；
[0012]确定生成模块，用于基于分配规则从服务器集群中确定各目标分片数据对应的目
标服务器，并生成第二对应关系，以由目标批量执行器组处理对应的目标服务器上存储的目标分片数据，第二对应关系包括多个目标服务器与多个目标批量执行器组之间的对应关系。
[0013]第三方面，本申请还提供了另一种服务器，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述任一项的方法的步骤。
[0014]第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项的方法的步骤。
[0015]第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一项的方法的步骤。
[0016]本申请提供了一种数据处理方法及服务器，数据处理方法执行于服务器集群中任一服务器，该方法包括：对待处理数据进行分片处理，得到多个目标分片数据；根据多个分片数据与多个批量执行器组之间的第一对应关系，确定各目标分片数据对应的目标批量执行器组；基于分配规则从服务器集群中确定各目标分片数据对应的目标服务器，并生成多个目标服务器与多个目标批量执行器组之间的第二对应关系，以由目标批量执行器组处理对应的目标服务器上存储的目标分片数据。本申请将批量执行器组与分片数据进行对应，以使批量执行器组在处理数据时，只对与之对应的分片数据进行处理，不会因为该目标分片数据未存储在与批量执行器组具有固定映射关系的服务器中，导致批量执行器组不能针对性的对目标分片数据进行处理的问题出现，能够避免数据处理错误的情况发生，实现了对数据进行高效以及准确的处理，同时达到了资源的合理利用的效果。
附图说明
[0017]图1为一个实施例中数据处理方法的应用环境图；
[0018]图2为一个实施例中数据处理方法的流程示意图；
[0019]图3为一个实施例中数据处理骤的流程示意图；
[0020]图4为另一个实施例中数据处理方法的流程示意图；
[0021]图5为另一个实施例中数据处理方法的流程示意图；
[0022]图6为另一个实施例中数据处理方法的流程示意图；
[0023]图7为另一个实施例中数据处理方法的流程示意图；
[0024]图8为另一个实施例中数据处理方法的流程示意图；
[0025]图9为一个实施例中服务器的结构框图；
[0026]图10为一个实施例中服务器的内部结构图。
具体实施方式
[0027]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0028]本申请实施例提供的数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数
据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102将待处理数据通过网络发送给服务器集群中的任一服务器104，服务器104对接收到的数据通过与之对应的批量执行器进行分片处理，得到多个目标分片数据，并基于分片数据与批量执行器的对应关系确定各分片数据对应的目标批量执行器组，同时基于分配规则确定各分片数据对应的目标服务器，以将各分片数据存储至对应的目标服务器上，批量执行器组不再受限于与服务器之间的固定映射关系，批量执行器组只需要基于预先设置的批量执行器组与分片数据的对应关系确定需要处理的分片数据，并基于分片数据重新生成的批量执行器与服务器的对应关系从对应的服务器中读写分片数据对分片数据进行处理，从而避免了批量执行器只能处理具有固定映射关系的服务器上的数据，导致数据处理错误的情况发生。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。服务器104可以用多个服务器组成的服务器集群来实现。
[0029]在一个实施例中，如图2所示，提供了一种数据处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
[0030]步骤S202，对待处理数据进行分片处理，得到多个目标分片数据。
[0031]其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法执行于服务器集群中的任一服务器，包括：对待处理数据进行分片处理，得到多个目标分片数据；根据第一对应关系，确定各所述目标分片数据对应的目标批量执行器组，所述第一对应关系包括多个分片数据与多个批量执行器组之间的对应关系，所述目标批量执行器组包括至少两个批量执行器，所述批量执行器中存储有处理数据的执行逻辑代码；基于分配规则从所述服务器集群中确定各所述目标分片数据对应的目标服务器，并生成第二对应关系，以由所述目标批量执行器组处理对应的所述目标服务器上存储的所述目标分片数据，所述第二对应关系包括多个目标服务器与多个目标批量执行器组之间的对应关系。2.根据权利要求1所述的方法，其特征在于，所述第一对应关系包括多个分片数据的序号与多个批量执行器组的序号之间的对应关系，所述根据第一对应关系，确定各所述目标分片数据对应的目标批量执行器组，包括：获取所述目标分片数据的序号；根据所述目标分片数据的序号从所述第一对应关系中确定与所述目标分片数据的序号对应的目标批量执行器组的序号；将与所述目标批量执行器组的序号对应的至少两个批量执行器确定为所述目标分片数据对应的目标批量执行器组。3.根据权利要求1所述的方法，其特征在于，所述基于分配规则从所述服务器集群中确定各所述目标分片数据对应的目标服务器，包括：获取各所述目标分片数据的数据大小以及所述服务器集群中各服务器的剩余空间大小；将各所述目标分片数据的数据大小和所述服务器集群中各服务器的剩余空间大小进行比对，得到比对结果；基于所述比对结果确定各所述目标分片数据对应的目标服务器。4.根据权利要求1所述的方法，其特征在于，所述基于分配规则从所述服务器集群中确定各所述目标分片数据对应的目标服务器，包括：获取所述目标分片数据的数量以及所述服务器集群中服务器的数量；对所述目标分片数据的数量和所述服务器集群中服务器的数量进行取模计算，得到取模计算结果；基于所述取模计算结果确定各所述目标分片数据对应的目标服务器。5.根据权利要求2所述的方法，其特征在于，所述基于分配规则从所述服务器集群中确定各所述...

【专利技术属性】
技术研发人员：朱晓洁，陈静国，刘轲，陈芷征，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：