一种数据清理方法及终端技术

本发明专利技术公开一种数据清理方法及终端，获取每一源数据库的连接信息以及所述每一源数据库对应的结构表的描述信息；基于所述连接信息和所述描述信息生成每一所述结构表对应的源数据规划；基于所述源数据规划对所述每一源数据库中的每一所述结构表进行数据清理，由于连接信息能够用于判断源数据库是否连接成功，只有连接成功才可进行数据清理，而结构表的描述信息体现了数据库中数据表的数据存储情况，基于连接信息和描述信息生成每一结构表对应的源数据规划，基于源数据规划对每一源数据库中的结构表进行数据清理，能够针对数据库的多样化数据进行兼容性清理，且实现了大量数据的自动清理，从而有效、快速地清理大量数据。快速地清理大量数据。快速地清理大量数据。

【技术实现步骤摘要】
一种数据清理方法及终端


[0001]本专利技术涉及数据清理
，尤其涉及一种数据清理方法及终端。

技术介绍

[0002]随着业务系统数据量的不断增加，服务器中存储的数据表也越来越多，大量系统数据会随着时间推移占用越来越多的存储空间，影响服务器性能，因此，企业在完成数据分析和挖掘之后，都会定期对服务器中的数据进行清理。目前传统的数据清理大多是基于人工进行数据库SQL(Structured Query Language，结构化查询语言)脚本清理，从而达到数据清理的效果；但这种清理方式效率低且复杂度高，无法准确地清理不需要的数据，且难以满足不同数据库类型的数据处理要求及需求。
[0003]在数据清理的过程中，若需要将数据进行迁移备份，需要固定编码，运维成本较高，编码后还需要重启服务，容易影响业务系统的运行时效性，因此无法快速清理大量数据。

技术实现思路

[0004]本专利技术所要解决的技术问题是：提供一种数据清理方法及终端，能够有效、快速地清理大量数据。
[0005]为了解决上述技术问题，本专利技术采用的一种技术方案为：
[0006]一种数据清理方法，包括：
[0007]获取每一源数据库的连接信息以及所述每一源数据库对应的结构表的描述信息；
[0008]基于所述连接信息和所述描述信息生成每一所述结构表对应的源数据规划；
[0009]基于所述源数据规划对所述每一源数据库中的每一所述结构表进行数据清理。
[0010]为了解决上述技术问题，本专利技术采用的另一种技术方案为：
[0011]一种数据清理终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0012]获取每一源数据库的连接信息以及所述每一源数据库对应的结构表的描述信息；
[0013]基于所述连接信息和所述描述信息生成每一所述结构表对应的源数据规划；
[0014]基于所述源数据规划对所述每一源数据库中的每一所述结构表进行数据清理。
[0015]本专利技术的有益效果在于：获取每一源数据库的连接信息以及每一源数据库对应的结构表的描述信息，基于连接信息和描述信息生成每一结构表对应的源数据规划，最后基于源数据规划对每一源数据库中的每一结构表进行数据清理，不再像现有技术中通过人工清理的方式，由于连接信息能够用于判断源数据库是否连接成功，只有连接成功才可进行数据清理，而结构表的描述信息体现了数据库中数据表的数据存储情况，基于连接信息和描述信息生成每一结构表对应的源数据规划，基于源数据规划对每一源数据库中的结构表进行数据清理，能够针对数据库的多样化数据进行兼容性清理，且实现了大量数据的自动清理，从而有效、快速地清理大量数据。
附图说明
[0016]图1为本专利技术实施例的一种数据清理方法的步骤流程图；
[0017]图2为本专利技术实施例的一种数据清理终端的结构示意图；
[0018]图3为本专利技术实施例数据清理方法中生成源数据规划的流程图；
[0019]图4为本专利技术实施例数据清理方法中数据清理流程图；
[0020]图5为本专利技术实施例数据清理方法中数据清理及迁移流程图。
具体实施方式
[0021]为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。
[0022]请参照图1，本专利技术实施例提供了一种数据清理方法，包括：
[0023]获取每一源数据库的连接信息以及所述每一源数据库对应的结构表的描述信息；
[0024]基于所述连接信息和所述描述信息生成每一所述结构表对应的源数据规划；
[0025]基于所述源数据规划对所述每一源数据库中的每一所述结构表进行数据清理。
[0026]从上述描述可知，本专利技术的有益效果在于：获取每一源数据库的连接信息以及每一源数据库对应的结构表的描述信息，基于连接信息和描述信息生成每一结构表对应的源数据规划，最后基于源数据规划对每一源数据库中的每一结构表进行数据清理，不再像现有技术中通过人工清理的方式，由于连接信息能够用于判断源数据库是否连接成功，只有连接成功才可进行数据清理，而结构表的描述信息体现了数据库中数据表的数据存储情况，基于连接信息和描述信息生成每一结构表对应的源数据规划，基于源数据规划对每一源数据库中的结构表进行数据清理，能够针对数据库的多样化数据进行兼容性清理，且实现了大量数据的自动清理，从而有效、快速地清理大量数据。
[0027]进一步地，所述连接信息包括连接状态和连接配置信息；
[0028]所述基于所述连接信息和所述描述信息生成每一所述结构表对应的源数据规划包括：
[0029]判断所述连接信息的所述连接状态是否为连接正常，若是，则根据所述连接配置信息和所述描述信息生成每一所述结构表对应的源数据规划。
[0030]由上述描述可知，先判断数据库的连接状态是否连接正常，确保后续数据清理的稳定性，连接配置信息包含了数据库连接的相关信息，描述信息包含了结构表的数据存储量，根据连接配置信息和描述信息生成每一结构表对应的源数据规划，能够实现结构表的个性化数据清理，从而实现更有效地数据清理。
[0031]进一步地，所述源数据规划包括数据清理规则和数据清理及迁移规则；
[0032]所述基于所述源数据规划对所述每一源数据库中的每一所述结构表进行数据清理包括：
[0033]判断所述源数据规划的类型，若为所述数据清理规则，则基于所述数据清理规则对所述每一源数据库中的每一所述结构表进行数据清理，若为所述数据清理及迁移规则，则基于所述数据清理及迁移规则对所述每一源数据库中的每一所述结构表进行数据清理。
[0034]由上述描述可知，源数据规划的类型体现了结构表的清理规则，有的结构表只要进行数据清理，有的结构表需要数据迁移和清理，根据不同的源数据规划的类型对结构表
进行数据清理，能够准确地实现大量数据的自动清理。
[0035]进一步地，所述数据清理规则包括事前数据清理规则、事中数据清理规则和事后数据清理规则；
[0036]所述基于所述数据清理规则对所述每一源数据库中的每一所述结构表进行数据清理包括：
[0037]根据所述事中数据清理规则获取所述每一源数据库中的每一所述结构表的待清理数据；
[0038]判断所述待清理数据是否有匹配的所述事前数据清理规则，若是，则根据所述事前数据清理规则对所述结构表进行事前数据处理，并对所述事前数据处理后的结构表的所述待清理数据进行数据清理，得到数据清理后的结构表；
[0039]若否，对所述结构表的所述待清理数据进行数据清理，得到数据清理后的结构表；
[0040]判断所述待清理数据是否有匹配的所述事后数据清理规则，若是，则根据所述事后数据清理规则对所述数据清理后的结构表进行事后数据处理。
[0041]由上述描述可知，在数据清理时，根据事中数据清理规则获取每一源数据库中的每一结构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据清理方法，其特征在于，包括：获取每一源数据库的连接信息以及所述每一源数据库对应的结构表的描述信息；基于所述连接信息和所述描述信息生成每一所述结构表对应的源数据规划；基于所述源数据规划对所述每一源数据库中的每一所述结构表进行数据清理。2.根据权利要求1所述的一种数据清理方法，其特征在于，所述连接信息包括连接状态和连接配置信息；所述基于所述连接信息和所述描述信息生成每一所述结构表对应的源数据规划包括：判断所述连接信息的所述连接状态是否为连接正常，若是，则根据所述连接配置信息和所述描述信息生成每一所述结构表对应的源数据规划。3.根据权利要求1所述的一种数据清理方法，其特征在于，所述源数据规划包括数据清理规则和数据清理及迁移规则；所述基于所述源数据规划对所述每一源数据库中的每一所述结构表进行数据清理包括：判断所述源数据规划的类型，若为所述数据清理规则，则基于所述数据清理规则对所述每一源数据库中的每一所述结构表进行数据清理，若为所述数据清理及迁移规则，则基于所述数据清理及迁移规则对所述每一源数据库中的每一所述结构表进行数据清理。4.根据权利要求3所述的一种数据清理方法，其特征在于，所述数据清理规则包括事前数据清理规则、事中数据清理规则和事后数据清理规则；所述基于所述数据清理规则对所述每一源数据库中的每一所述结构表进行数据清理包括：根据所述事中数据清理规则获取所述每一源数据库中的每一所述结构表的待清理数据；判断所述待清理数据是否有匹配的所述事前数据清理规则，若是，则根据所述事前数据清理规则对所述结构表进行事前数据处理，并对所述事前数据处理后的结构表的所述待清理数据进行数据清理，得到数据清理后的结构表；若否，对所述结构表的所述待清理数据进行数据清理，得到数据清理后的结构表；判断所述待清理数据是否有匹配的所述事后数据清理规则，若是，则根据所述事后数据清理规则对所述数据清理后的结构表进行事后数据处理。5.根据权利要求2所述的一种数据清理方法，其特征在于，所述基于所述源数据规划对所述每一源数据库中的每一所述结构表进行数据清理包括：根据所述源数据规划中的所述连接配置信息确定每一源数据库对应的数据库类型；根据所述数据库类型动态插件式调用所述每一源数据库；根据所述源数据规划使用SQL解析工具生成所述每一源数据库的每一所述结构表对应的数据清理任务，并将所述数据清理任务打包发布至分布式定时系统中进行数据清理。6.一种数据清理终端，包括存储器、处理器及存储在存储器上并可在所述处...

【专利技术属性】
技术研发人员：刘柏良，徐晓文，高素华，李国庆，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：