一种批量数据处理的方法和装置制造方法及图纸

本申请公开了一种批量数据处理的方法和装置，可应用于计算机技术领域。批量数据处理的装置根据第一数据集合、系统层逻辑条件、应用层逻辑条件以及数据层逻辑条件，获得第四数据集合，所述第四数据集合中的数据满足所述系统层逻辑条件、应用层逻辑条件和数据层逻辑条件；从而，对所述第四数据集合中的数据进行状态转换，并按照转换结果为所述第四数据集合中的数据进行标记。如此，通过预设合理的、针对各种业务场景的三层逻辑条件，使得批量数据处理的装置能够自动按照三层逻辑条件批量对待处理的数据进行处理，实现待处理的数据的状态切换和根据切换结果为数据变换标记，提高了数据处理的效率和准确率。处理的效率和准确率。处理的效率和准确率。

【技术实现步骤摘要】
一种批量数据处理的方法和装置


[0001]本申请涉及计算机
，特别是涉及一种批量数据处理的方法和装置。

技术介绍

[0002]很多场景下，由于业务和用户数据庞大且复杂，需要处理的数据量是空前巨大的，数据处理的工作量往往是惊人的。例如，对于银行系统，业务庞杂，用户众多，待处理的数据是海量的，且每个数据有很多可能的状态(如开卡、正常、静默、结清、关户等)。目前，数据处理的方式通常是针对单个数据进行操作，但是，对于数据众多且数据状态较为复杂的场景，单个数据操作的数据处理方式显然无法满足需求。
[0003]基于此，亟待提供一种能够自动批量处理数据的方法，解决待处理的数据以及数据状态复杂繁多的场景中对数据处理的需求。

技术实现思路

[0004]本申请实施例提供了一种批量数据处理的方法和装置，能够自动批量处理待处理的数据，提高数据处理的效率和准确率，提高用户体验。
[0005]第一方面，本申请实施例提供了一种批量数据处理的方法，包括：
[0006]根据第一数据集合和系统层逻辑条件，获得第二数据集合，所述第二数据集合中的数据满足所述系统层逻辑条件，所述第二数据集合是所述第一数据集合的子集；
[0007]根据所述第二数据集合和应用层逻辑条件，获得第三数据集合，所述第三数据集合中的数据满足所述应用层逻辑条件，所述第三数据集合是所述第二数据集合的子集；
[0008]根据所述第三数据集合和数据层逻辑条件，获得第四数据集合，所述第四数据集合中的数据满足所述数据层逻辑条件，所述第四数据集合是所述第三数据集合的子集；
[0009]对所述第四数据集合中的数据进行状态转换，并按照转换结果为所述第四数据集合中的数据进行标记。
[0010]可选地，所述方法还包括：
[0011]从总数据集合中获取满足状态转换条件的所述第一数据集合，所述状态转换条件用于指示需要进行状态转换的数据，所述第一数据集合是所述总数据集合的子集。
[0012]可选地，所述方法还包括：
[0013]从总数据集合中获取满足所述拟状态转换条件的第五数据集合，所述拟状态转换条件用于指示只要目标指标得到满足就需要进行状态转换的数据，所述第五数据集合是所述总数据集合的子集。
[0014]可选地，所述方法还包括：
[0015]从所述第五数据集合中获取满足拟预处理条件的第六数据集合，所述拟预处理条件用于指示需要进行拟预处理的数据，所述拟预处理条件包括所述目标指标，所述第六数据集合是所述第五数据集合的子集；
[0016]为所述第六数据集合中的数据添加标识，所述标识用于指示所述第六数据集合中
的数据为拟预处理的数据；
[0017]生成拟预处理表，所述拟预处理表包括所述第六数据集合中的数据以及各数据的标识。
[0018]可选地，所述方法还包括：
[0019]根据所述第一数据集合和所述系统层逻辑条件，获得第七数据集合，所述第七数据集合中的数据不满足所述系统层逻辑条件，所述第七数据集合是所述第一数据集合的子集；
[0020]根据所述第二数据集合和所述应用层逻辑条件，获得第八数据集合，所述第八数据集合中的数据不满足所述应用层逻辑条件，所述第八数据集合是所述第二数据集合的子集；
[0021]根据所述第三数据集合和所述数据层逻辑条件，获得第九数据集合，所述第九数据集合中的数据不满足所述数据层逻辑条件，所述第九数据集合是所述第三数据集合的子集；
[0022]生成提示信息表，所述提示信息表包括所述第七数据集合中的数据、所述第八数据集合中的数据、所述第九数据集合中的数据以及各数据的相关信息，所述相关信息指示所述数据不满足对应条件的原因。
[0023]可选地，所述对所述第四数据集合中的数据进行状态转换，并按照转换结果为所述第四数据集合中的数据进行标记之后，所述方法还包括：
[0024]确定第十数据集合中的数据不满足所述系统层逻辑条件、所述应用层逻辑条件或所述数据层逻辑条件中的任意一个条件，对所述第十数据集合中的数据进行状态转换，并按照转换结果为所述第十数据集合中的数据进行标记，所述第十数据集合为所述第四数据集合的子集。
[0025]第二方面，本申请实施例还提供了一种批量数据处理的装置，包括：
[0026]第一获得单元，用于根据第一数据集合和系统层逻辑条件，获得第二数据集合，所述第二数据集合中的数据满足所述系统层逻辑条件，所述第二数据集合是所述第一数据集合的子集；
[0027]第二获得单元，用于根据所述第二数据集合和应用层逻辑条件，获得第三数据集合，所述第三数据集合中的数据满足所述应用层逻辑条件，所述第三数据集合是所述第二数据集合的子集；
[0028]第三获得单元，用于根据所述第三数据集合和数据层逻辑条件，获得第四数据集合，所述第四数据集合中的数据满足所述数据层逻辑条件，所述第四数据集合是所述第三数据集合的子集；
[0029]第一转换单元，用于对所述第四数据集合中的数据进行状态转换，并按照转换结果为所述第四数据集合中的数据进行标记。
[0030]可选地，所述装置还包括：
[0031]第四获得单元，用于从总数据集合中获取满足状态转换条件的所述第一数据集合，所述状态转换条件用于指示需要进行状态转换的数据，所述第一数据集合是所述总数据集合的子集。
[0032]可选地，所述装置还包括：
[0033]第五获得单元，用于从总数据集合中获取满足所述拟状态转换条件的第五数据集合，所述拟状态转换条件用于指示只要目标指标得到满足就需要进行状态转换的数据，所述第五数据集合是所述总数据集合的子集。
[0034]可选地，所述装置还包括：
[0035]第六获得单元，用于从所述第五数据集合中获取满足拟预处理条件的第六数据集合，所述拟预处理条件用于指示需要进行拟预处理的数据，所述拟预处理条件包括所述目标指标，所述第六数据集合是所述第五数据集合的子集；
[0036]添加单元，用于为所述第六数据集合中的数据添加标识，所述标识用于指示所述第六数据集合中的数据为拟预处理的数据；
[0037]第一生成单元，用于生成拟预处理表，所述拟预处理表包括所述第六数据集合中的数据以及各数据的标识。
[0038]可选地，所述装置还包括：
[0039]第七获得单元，用于根据所述第一数据集合和所述系统层逻辑条件，获得第七数据集合，所述第七数据集合中的数据不满足所述系统层逻辑条件，所述第七数据集合是所述第一数据集合的子集；
[0040]第八获得单元，用于根据所述第二数据集合和所述应用层逻辑条件，获得第八数据集合，所述第八数据集合中的数据不满足所述应用层逻辑条件，所述第八数据集合是所述第二数据集合的子集；
[0041]第九获得单元，用于根据所述第三数据集合和所述数据层逻辑条件，获得第九数据集合，所述第九数据集合中的数据不满足所述数据层逻辑条件，所述第九数据集合是所述第三数据集合的子集；...

【技术保护点】

【技术特征摘要】
1.一种批量数据处理的方法，其特征在于，包括：根据第一数据集合和系统层逻辑条件，获得第二数据集合，所述第二数据集合中的数据满足所述系统层逻辑条件，所述第二数据集合是所述第一数据集合的子集；根据所述第二数据集合和应用层逻辑条件，获得第三数据集合，所述第三数据集合中的数据满足所述应用层逻辑条件，所述第三数据集合是所述第二数据集合的子集；根据所述第三数据集合和数据层逻辑条件，获得第四数据集合，所述第四数据集合中的数据满足所述数据层逻辑条件，所述第四数据集合是所述第三数据集合的子集；对所述第四数据集合中的数据进行状态转换，并按照转换结果为所述第四数据集合中的数据进行标记。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：从总数据集合中获取满足状态转换条件的所述第一数据集合，所述状态转换条件用于指示需要进行状态转换的数据，所述第一数据集合是所述总数据集合的子集。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：从总数据集合中获取满足所述拟状态转换条件的第五数据集合，所述拟状态转换条件用于指示只要目标指标得到满足就需要进行状态转换的数据，所述第五数据集合是所述总数据集合的子集。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：从所述第五数据集合中获取满足拟预处理条件的第六数据集合，所述拟预处理条件用于指示需要进行拟预处理的数据，所述拟预处理条件包括所述目标指标，所述第六数据集合是所述第五数据集合的子集；为所述第六数据集合中的数据添加标识，所述标识用于指示所述第六数据集合中的数据为拟预处理的数据；生成拟预处理表，所述拟预处理表包括所述第六数据集合中的数据以及各数据的标识。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述方法还包括：根据所述第一数据集合和所述系统层逻辑条件，获得第七数据集合，所述第七数据集合中的数据不满足所述系统层逻辑条件，所述第七数据集合是所述第一数据集合的子集；根据所述第二数据集合和所述应用层逻辑条件，获得第八数据集合，所述第八数据集合中的数据不满足所述应用层逻辑条件，所述第八数据集合是所述第二数据集合的子集；根据所述第三数据集合和所述数据层逻辑条件，获得第九数据集合，所述第九数据集合中的数据不满足所述数据层逻辑条件，所述第九数据集合是所述第三数据集合的子集；生成提示信息表，所述提示信息表包括所述第七数据集合中的数据、所述第八数据集合中的数据、所述第九数据集合中的数据以及各数据的相关信息，所述相关信息指示所述数据不满足对应条件的原因。6.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述对所述第四数据集合中的数据进行状态转换，并按照转换结果为所述第四数据集合中的数据进行标记之后，所述方法还包括：确定第十数据集合中的数据不满足所述系统层逻辑条件、所述应用层逻辑条件或所述数据层逻辑条件中的任意一个条件，对所述第十数据集合中的数据进行状态转换，并按照
转换结果为所述第十数据集合中的数据进行标记，所述第十数据集合为所述第四数据集合的子集。7.一种批量数据处理的装置，其特征在于，包括：第一获得单元，用于根据第一数据集合和系统层逻辑条件，获得第二数据集合，所述第二数据集合中的数据满足所述系统层逻辑条件，所述第二数据集合是所述第一数据集合的子集；第二获得单元，用于根据所述第二数据集合和应用层逻辑条件，获得第三数据集合，所述第三数据集合中的数据满足所述应...

【专利技术属性】
技术研发人员：陈戈，谢炜琪，帅红波，黄显超，柯星宇，梁展瑞，郑凯帆，李俊华，周赞，彭建业，陈志鹏，邓亚丽，刘铁成，吴华东，陈芬，黄国军，何波，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：