数据处理的方法、装置、电子设备及介质制造方法及图纸

本申请公开了一种数据处理的方法、装置、电子设备及介质。通过应用本申请的技术方案，可以在每一批次的数据处理任务即将结束前，获取用于反映本次任务的性能负荷程度的数据处理指标，以及本次处理数据的属性信息，并以此针对性的选取出能够平衡系统中性能负荷程度的下一批次需要进行数据处理任务的数据。从而一方面避免了相关技术中存在的，按照固定的预配置进行数据处理的方式会存在有由于系统性能负荷严重而导致的数据处理效率不高的问题。另一方面通过选取属性信息不同的数据来作为下一批次的处理任务也能够保证全面的对待处理数据集合中的每一类型的数据进行处理。理数据集合中的每一类型的数据进行处理。理数据集合中的每一类型的数据进行处理。

【技术实现步骤摘要】
数据处理的方法、装置、电子设备及介质


[0001]本申请中涉及数据处理技术，尤其是一种数据处理的方法、装置、电子设备及介质。

技术介绍

[0002]相关技术中，由于数据库中存储的数据通常由多个业务系统抽取而来，这也导致不同的数据来源加上历史数据的堆积，难免会有问题数据的出现。
[0003]其中，为了避免问题数据的存在会出现影响业务处理进度的问题。通常需要由业务人员对这些问题数据进行一定的处理(例如修改、删除、转移等等)以确保数据库中的所有数据均合规。相关技术中，通常是由业务人员预先对要进行处理的数据进行诸如处理起始时间、结束时间、处理数据量等的配置化操作，从而实现自动进行数据处理的目的。
[0004]然而，按照固定的预配置进行数据处理的方式会存在有数据处理效率不高的问题，进而影响了业务平台的业务处理进度。

技术实现思路

[0005]本申请实施例提供一种数据处理的方法、装置、电子设备及介质。用以解决相关技术中存在的，按照固定的预配置进行数据处理的方式会存在有数据处理效率不高的问题。
[0006]其中，根据本申请实施例的一个方面，提供的一种数据处理的方法，包括：
[0007]确定第一数据处理任务即将处理完毕，所述第一数据处理任务用于对待处理数据集合中的第一批次数据进行数据处理；
[0008]基于所述第一数据处理任务的第一数据处理指标，以及所述第一批次数据对应的第一属性信息，从所述待处理数据集合的剩余数据中选取出第二批次数据，其中所述第二批次数据对应的第二属性信息与所述第一属性信息不同；
[0009]将第二数据处理任务作为所述第一数据处理任务之后的下一数据处理任务，所述第二数据处理任务用于对所述第二批次数据进行数据处理。
[0010]可选地，在基于本申请上述方法的另一个实施例中，在所述确定第一数据处理任务即将处理完毕之后，还包括：
[0011]获取所述第一数据处理任务对应的第一数据处理时长以及第一数据处理量，并将所述第一数据处理时长以及第一数据处理量作为所述第一数据处理指标；以及，
[0012]获取所述第一数据处理任务对应的数据生成对象与数据类型，并将所述数据生成对象与数据类型作为所述第一属性信息。
[0013]可选地，在基于本申请上述方法的另一个实施例中，在所述将所述数据对象、数据类型与数据生成时间作为所述第一属性信息之后，还包括：
[0014]基于所述第一数据处理指标所反映的性能负荷程度，生成由第二数据处理时长以及第二数据处理量所组成的第二数据处理指标；以及，基于所述第二数据处理指标与所述第一属性信息所反映的数据处理属性，确定第二属性信息；
[0015]基于所述第二数据处理指标与所述第二属性信息，从所述待处理数据集合的剩余数据中选取出第二批次数据。
[0016]可选地，在基于本申请上述方法的另一个实施例中，所述基于所述第二数据处理指标与所述第一属性信息所反映的数据处理属性，确定第二属性信息，包括：
[0017]从所述剩余数据中确定第一待筛选数据，所述第一待筛选数据的属性信息与所述第一属性信息不相同；
[0018]从所述第一待筛选数据中选取与所述第二数据处理时长相匹配的属性信息，并将与所述第二数据处理时长相匹配的属性信息作为所述第二属性信息；
[0019]其中，所述第二属性信息为能够在所述第二数据处理时长内处理完毕的属性信息。
[0020]可选地，在基于本申请上述方法的另一个实施例中，所述基于所述第二数据处理指标与所述第二属性信息，从所述待处理数据集合的剩余数据中选取出第二批次数据，包括：
[0021]从所述剩余数据中，确定与所述第二属性信息相同的第二待筛选数据；
[0022]从所述第二待筛选数据中，选取所述第二数据处理量的数据作为所述第二批次数据。
[0023]可选地，在基于本申请上述方法的另一个实施例中，所述基于所述第一数据处理指标所反映的性能负荷程度，生成由第二数据处理时长以及第二数据处理量所组成的第二数据处理指标，包括：
[0024]若确定所述第一数据处理指标对应于性能超载，生成由第二数据处理时长以及第二数据处理量所组成的第二数据处理指标；其中，所述第二数据处理时长小于所述第一数据处理时长，且所述第二数据处理量小于所述第一数据处理量；
[0025]或，
[0026]若确定所述第一数据处理指标未对应于所述性能超载，生成由第二数据处理时长以及第二数据处理量所组成的第二数据处理指标；其中，所述第二数据处理时长不小于所述第一数据处理时长，且所述第二数据处理量不小于第二数据处理量。
[0027]可选地，在基于本申请上述方法的另一个实施例中，在所述将第二数据处理任务作为所述第一数据处理任务之后的下一数据处理任务之后，还包括：
[0028]在处理所述第二数据处理任务之前，当检测到所述待处理数据集合中的变化数据数量大于预设数量时，重新从所述待处理数据集合的剩余数据中选取出第三批次数据；
[0029]将第三数据处理任务作为所述第一数据处理任务之后的下一数据处理任务，所述第三数据处理任务用于对所述第三批次数据进行数据处理。
[0030]其中，根据本申请实施例的又一个方面，提供的一种数据处理的装置，其特征在于，包括：
[0031]确定模块，被配置为确定第一数据处理任务即将处理完毕，所述第一数据处理任务用于对待处理数据集合中的第一批次数据进行数据处理；
[0032]选取模块，被配置为基于所述第一数据处理任务的第一数据处理指标，以及所述第一批次数据对应的第一属性信息，从所述待处理数据集合的剩余数据中选取出第二批次数据，其中所述第二批次数据对应的第二属性信息与所述第一属性信息不同；
[0033]生成模块，被配置为将第二数据处理任务作为所述第一数据处理任务之后的下一数据处理任务，所述第二数据处理任务用于对所述第二批次数据进行数据处理。
[0034]根据本申请实施例的又一个方面，提供的一种电子设备，包括：
[0035]存储器，用于存储可执行指令；以及
[0036]显示器，用于与所述存储器以执行所述可执行指令从而完成上述任一所述数据处理的方法的操作。
[0037]根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述数据处理的方法的操作。
[0038]本申请中，可以确定第一数据处理任务即将处理完毕，第一数据处理任务用于对待处理数据集合中的第一批次数据进行数据处理；基于第一数据处理任务的第一数据处理指标，以及第一批次数据对应的第一属性信息，从待处理数据集合的剩余数据中选取出第二批次数据，其中第二批次数据对应的第二属性信息与第一属性信息不同；将第二数据处理任务作为第一数据处理任务之后的下一数据处理任务，第二数据处理任务用于对第二批次数据进行数据处理。
[0039]通过应用本申请的技术方案，可以在每一批次的数据处理任务即本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：确定第一数据处理任务即将处理完毕，所述第一数据处理任务用于对待处理数据集合中的第一批次数据进行数据处理；基于所述第一数据处理任务的第一数据处理指标，以及所述第一批次数据对应的第一属性信息，从所述待处理数据集合的剩余数据中选取出第二批次数据，其中所述第二批次数据对应的第二属性信息与所述第一属性信息不同；将第二数据处理任务作为所述第一数据处理任务之后的下一数据处理任务，所述第二数据处理任务用于对所述第二批次数据进行数据处理。2.如权利要求1所述的方法，其特征在于，在所述确定第一数据处理任务即将处理完毕之后，还包括：获取所述第一数据处理任务对应的第一数据处理时长以及第一数据处理量，并将所述第一数据处理时长以及第一数据处理量作为所述第一数据处理指标；以及，获取所述第一数据处理任务对应的数据生成对象与数据类型，并将所述数据生成对象与数据类型作为所述第一属性信息。3.如权利要求2所述的方法，其特征在于，在所述将所述数据对象、数据类型与数据生成时间作为所述第一属性信息之后，还包括：基于所述第一数据处理指标所反映的性能负荷程度，生成由第二数据处理时长以及第二数据处理量所组成的第二数据处理指标；以及，基于所述第二数据处理指标与所述第一属性信息所反映的数据处理属性，确定第二属性信息；基于所述第二数据处理指标与所述第二属性信息，从所述待处理数据集合的剩余数据中选取出第二批次数据。4.如权利要求3所述的方法，其特征在于，所述基于所述第二数据处理指标与所述第一属性信息所反映的数据处理属性，确定第二属性信息，包括：从所述剩余数据中确定第一待筛选数据，所述第一待筛选数据的属性信息与所述第一属性信息不相同；从所述第一待筛选数据中选取与所述第二数据处理时长相匹配的属性信息，并将与所述第二数据处理时长相匹配的属性信息作为所述第二属性信息；其中，所述第二属性信息为能够在所述第二数据处理时长内处理完毕的属性信息。5.如权利要求3所述的方法，其特征在于，所述基于所述第二数据处理指标与所述第二属性信息，从所述待处理数据集合的剩余数据中选取出第二批次数据，包括：从所述剩余数据中，确定与所述第二属性信息相同的第二待筛选数据；从所述第二待筛选数据中，选取所述第二数据处理量的数据作...

【专利技术属性】
技术研发人员：李伟发，
申请(专利权)人：平安付科技服务有限公司，
类型：发明
国别省市：