本申请实施例提供一种数据生命周期管理方法及装置，方法包括：在核对业务表、中间表、本地历史表以及历史库历史表的数据字段和索引属性一致且判断所述本地历史表中无数据时，获取所述业务表中的待迁移数据；将所述业务表中的待迁移数据迁移至所述本地历史表中，并根据所述待迁移数据的时间字段确定对应的历史库历史表；将所述本地历史表中的待迁移数据迁移至所述历史库历史表中；本申请能够有效提升数据清理的效率和准确性。数据清理的效率和准确性。数据清理的效率和准确性。
【技术实现步骤摘要】
数据生命周期管理方法及装置
[0001]本申请涉及数据处理领域，也可用于金融领域，具体涉及一种数据生命周期管理方法及装置。
技术介绍
[0002]在系统上线运行过程中，随着时间的推移、业务的推广和用户的增长，需要存储的业务数据也随之增多。通常这部分数据会存储在数据库当中，并且核心系统多为关系型数据库。随着数据量的持续增长，关系型数据库的性能将会持续下降，用户使用系统也会感觉越来越慢。同时需要存储数据的磁盘也将越来越大，因此数据库服务器需要持续扩容，不仅磁盘需要扩容，还需要对CPU和内存资源进行扩容，才能满足系统正常运行的要求。但是单台服务器存在扩容上限，当超过一定的规模后，再也无法继续扩容，此时系统将面临很大的危险。
[0003]专利技术人发现，在现有技术中一些系统数据清理必须通过Delete命令执行，无法进行按日分表，这部分数据的特点是仅能根据状态码进行删除指定日期的部分数据。这类数据表创建分表需要同步改造应用系统，有些系统改造难度非常大，代价非常高，因此这类数据表将不进行按日创建分表的操作，而采用Delete的方式，基于日期删除指定时间的数据。这种情况下，由于Delete删除数据将占用大量的服务器资源，因此此时数据库提供服务的能力将受到影响，所以通常这类操作选择在业务低峰期，也就是凌晨执行。这类数据在删除前还需要进行备份，将数据导出，传输到归档数据库服务器，并执行导入操作。导入完成后需要进行数据量的核对，确保两边数据量一致后，才能执行删除操作。全流程都需要人工参与，随着运维系统的增加，人员成本也越来越高，而且效率极低。
技术实现思路
[0004]针对现有技术中的问题，本申请提供一种数据生命周期管理方法及装置，能够有效提升数据清理的效率和准确性。
[0005]为了解决上述问题中的至少一个，本申请提供以下技术方案：
[0006]第一方面，本申请提供一种数据生命周期管理方法，包括：
[0007]在核对业务表、中间表、本地历史表以及历史库历史表的数据字段和索引属性一致且判断所述本地历史表中无数据时，获取所述业务表中的待迁移数据；
[0008]将所述业务表中的待迁移数据迁移至所述本地历史表中，并根据所述待迁移数据的时间字段确定对应的历史库历史表；
[0009]将所述本地历史表中的待迁移数据迁移至所述历史库历史表中。
[0010]进一步地，在所述核对业务表、中间、本地历史表以及历史库历史表的数据字段和索引属性一致后，包括：
[0011]判断所述业务表是否为分区表；
[0012]若是，则根据所述分区表的分区字段和迁移日期判断所述分区表中是否存在历史
数据，若存在，则将所述历史数据迁移至所述历史库历史表中。
[0013]进一步地，所述获取所述业务表中的待迁移数据，包括：
[0014]判断所述中间表是否为空，若是，则根据待迁移数据的时间字段确定所述分区表的分区名；
[0015]根据所述分区名确定所述待迁移数据的数据量并获取所述待迁移数据。
[0016]进一步地，所述将所述业务表中的待迁移数据迁移至所述本地历史表中，包括：
[0017]根据预设交换分区命令，通过包含所述待迁移数据的分区表与所述中间表进行分区交换操作将所述待迁移数据迁移至所述中间表中，并删除所述分区表；
[0018]通过所述中间表与所述本地历史表进行分区交换操作将所述待迁移数据迁移至所述本地历史表中。
[0019]第二方面，本申请提供一种数据生命周期管理装置，包括：
[0020]待迁移数据获取模块，用于在核对业务表、中间表、本地历史表以及历史库历史表的数据字段和索引属性一致且判断所述本地历史表中无数据时，获取所述业务表中的待迁移数据；
[0021]本地迁移模块，用于将所述业务表中的待迁移数据迁移至所述本地历史表中，并根据所述待迁移数据的时间字段确定对应的历史库历史表；
[0022]历史库迁移模块，用于将所述本地历史表中的待迁移数据迁移至所述历史库历史表中。
[0023]进一步地，所述待迁移数据获取模块还包括：
[0024]分区表判断单元，用于判断所述业务表是否为分区表；
[0025]分区历史数据处理单元，用于若判断所述业务表为分区表，则根据所述分区表的分区字段和迁移日期判断所述分区表中是否存在历史数据，若存在，则将所述历史数据迁移至所述历史库历史表中。
[0026]进一步地，所述待迁移数据获取模块还包括：
[0027]分区名确定单元，用于判断所述中间表是否为空，若是，则根据待迁移数据的时间字段确定所述分区表的分区名；
[0028]分区待迁移数据确定单元，用于根据所述分区名确定所述待迁移数据的数据量并获取所述待迁移数据。
[0029]进一步地，所述本地迁移模块包括：
[0030]中间表交换单元，用于根据预设交换分区命令，通过包含所述待迁移数据的分区表与所述中间表进行分区交换操作将所述待迁移数据迁移至所述中间表中，并删除所述分区表；
[0031]本地历史表交换单元，用于通过所述中间表与所述本地历史表进行分区交换操作将所述待迁移数据迁移至所述本地历史表中。
[0032]第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的数据生命周期管理方法的步骤。
[0033]第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的数据生命周期管理方法的步骤。
[0034]由上述技术方案可知，本申请提供一种数据生命周期管理方法及装置，通过在核对业务表、中间表、本地历史表以及历史库历史表的数据字段和索引属性一致且判断所述本地历史表中无数据时，获取所述业务表中的待迁移数据，将所述业务表中的待迁移数据迁移至所述本地历史表中，并根据所述待迁移数据的时间字段确定对应的历史库历史表，将所述本地历史表中的待迁移数据迁移至所述历史库历史表中，由此自动将不再被使用的数据从业务数据库中迁移到历史数据库，通常能使数据库磁盘的使用量保持稳定，也节省了备份所需的磁盘空间，在数据量恒定的情况下，数据库所需要的CPU和内存资源同通常也较为稳定，同时也避免了随着数据量的增长而导致的性能问题，能够有效提升数据清理的效率和准确性。
附图说明
[0035]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1为本申请实施例中的数据生命周期管理方法的流程示意图之一；
[0037]图2为本申请实施例中的数据生命周期管理方法的流程示意图之二；
[0038]图3为本申请实施例中的数据生命周期管理方法的流程示意图之三；
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据生命周期管理方法，其特征在于，所述方法包括：在核对业务表、中间表、本地历史表以及历史库历史表的数据字段和索引属性一致且判断所述本地历史表中无数据时，获取所述业务表中的待迁移数据；将所述业务表中的待迁移数据迁移至所述本地历史表中，并根据所述待迁移数据的时间字段确定对应的历史库历史表；将所述本地历史表中的待迁移数据迁移至所述历史库历史表中。2.根据权利要求1所述的数据生命周期管理方法，其特征在于，在所述核对业务表、中间、本地历史表以及历史库历史表的数据字段和索引属性一致后，包括：判断所述业务表是否为分区表；若是，则根据所述分区表的分区字段和迁移日期判断所述分区表中是否存在历史数据，若存在，则将所述历史数据迁移至所述历史库历史表中。3.根据权利要求2所述的数据生命周期管理方法，其特征在于，所述获取所述业务表中的待迁移数据，包括：判断所述中间表是否为空，若是，则根据待迁移数据的时间字段确定所述分区表的分区名；根据所述分区名确定所述待迁移数据的数据量并获取所述待迁移数据。4.根据权利要求2所述的数据生命周期管理方法，其特征在于，所述将所述业务表中的待迁移数据迁移至所述本地历史表中，包括：根据预设交换分区命令，通过包含所述待迁移数据的分区表与所述中间表进行分区交换操作将所述待迁移数据迁移至所述中间表中，并删除所述分区表；通过所述中间表与所述本地历史表进行分区交换操作将所述待迁移数据迁移至所述本地历史表中。5.一种数据生命周期管理装置，其特征在于，包括：待迁移数据获取模块，用于在核对业务表、中间表、本地历史表以及历史库历史表的数据字段和索引属性一致且判断所述本地历史表中无数据时，获取所述业务表中的待迁移数据；本地迁移模块，用于将所述业...
【专利技术属性】
技术研发人员：杨飞，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。