基于大数据的生产库数据统一清理方法及相关设备技术

本发明专利技术涉及大数据技术领域，尤其涉及一种基于大数据的生产库数据统一清理方法及相关设备。该方法包括：接收用户发送的配置信息，将配置信息记录到配置数据表中；根据配置信息批量生成多个清理任务；开启多个子线程，通过子线程执行数据清理脚本。本发明专利技术统一管理所有数据清理任务，完成各个业务系统的数据清理工作，数据清理工作相对独立，数据清理脚本的维护更为简单方便。

Unified Cleaning Method and Related Equipment of Production Base Data Based on Big Data

【技术实现步骤摘要】
基于大数据的生产库数据统一清理方法及相关设备
本专利技术涉及大数据
，尤其涉及一种基于大数据的生产库数据统一清理方法及相关设备。
技术介绍
现有的一些项目，比如电话销售系统，由于历史需求设计纷繁，项目生产数据量日益增大，导致到表数据查询时，查询速度日渐变慢，因此对历史数据清理是一项重要的清理任务。而现有的业务系统目前自己的数据清理程序多设定在自己系统中，需要更改数据清理程序时，只能自行进行版本更新完成，不能达到即时即用的目的。
技术实现思路
有鉴于此，有必要针对一些系统的数据量大，查询数据速度缓慢，清理不便的问题，提供一种基于大数据的生产库数据统一清理方法及相关设备。一种基于大数据的生产库数据统一清理方法，包括：接收用户发送的配置信息，将所述配置信息记录到配置数据表中，所述配置信息包括业务系统编码、业务系统数据库连接池、清理任务定时时间、数据清理脚本；读取所述配置数据表，根据所述配置数据表中的配置信息批量生成多个清理任务，一个所述清理任务对应一项所述配置信息；开启多个子线程，通过所述子线程读取所述清理任务，根据所述清理任务中的清理任务定时时间，连接所述业务系统编码对应的业务系统，对所述业务系统数据库连接池中的数据执行所述数据清理脚本。一种可能的设计中，所述接收用户发送的配置信息，将所述配置信息记录到配置数据表中，所述配置信息包括业务系统编码、业务系统数据库连接池、清理任务定时时间、数据清理脚本，包括：接收用户发送的配置请求，展示登陆页面，通过所述登陆页面获取用户输入的账密信息；验证所述账密信息，若未通过验证，则返回错误提示，若通过验证，则判断所述账密信息对应的权限，若具有配置权限，则展示配置页面，否则返回错误提示；通过所述配置页面获取用户输入的配置信息，将所述配置信息记录到所述配置数据表中。一种可能的设计中，还包括：接收用户发送的更改请求，展示登陆页面，通过所述登陆页面获取用户输入的账密信息；验证所述账密信息，若未通过验证，则返回错误提示，若通过验证，则判断所述账密信息对应的权限，若具有更改权限，则展示更改页面，否则返回错误提示；通过所述更改页面获取用户输入的更改信息，所述更改信息包括执行更新时间、业务系统编码、及与所述业务系统编码对应的业务系统数据库连接池、清理任务定时时间或数据清理脚本中的至少一项，判断所述账密信息对应是否具有更改所述业务系统编码对应的业务系统的权限，若不具有更改权限，则返回错误提示；若具有更改权限，则将所述更改信息添加入所述配置数据表中所述业务系统编码对应的配置信息中。一种可能的设计中，所述若具有更改权限，则将所述更改信息添加入所述配置数据表中所述业务系统编码对应的配置信息中，包括：读取所述配置数据表中所述业务系统编码对应的配置信息中的清理任务定时时间，判断所述执行更新时间与所述清理任务定时时间之间的时间差是否超过预设的时间阈值，若不超过，则返回错误提示；若超过，则将所述更改信息添加入所述配置数据表中所述业务系统编码对应的配置信息中。一种可能的设计中，所述读取所述配置数据表，根据所述配置数据表中的配置信息批量生成多个清理任务，一个所述清理任务对应一项所述配置信息，包括：逐个读取所述配置数据表中的配置信息，获取所述配置信息中的所述业务系统编码、所述业务系统数据库连接池、所述清理任务定时时间和所述数据清理脚本；调用预设的任务模板，将所述配置信息中的所述业务系统编码、所述业务系统数据库连接池、所述清理任务定时时间和所述数据清理脚本分别赋值给所述任务模板中的变量，生成一个清理任务，将所述清理任务放入任务池中；遍历所述配置数据表，每个所述配置信息均生成一个对应的清理任务，并将生成的所述清理任务放入任务池中。一种可能的设计中，还包括：定时对所述配置数据表进行检索，依次获取每个更改信息，判断当前时间是否到达所述更改信息中的执行更新时间；若到达或超过，则读取所述配置信息对应的清理任务，根据更改信息更改所述清理任务中的所述业务系统数据库连接池、所述清理任务定时时间或所述数据清理脚本中的至少一项，生成一个新的清理任务，将所述清理任务放入任务池中；将所述配置数据表中的更改信息覆盖对应的配置信息后，删除更改信息。一种可能的设计中，所述开启多个子线程，通过所述子线程读取所述清理任务，根据所述清理任务中的清理任务定时时间，连接所述业务系统编码对应的业务系统，对所述业务系统数据库连接池中的数据执行所述数据清理脚本，包括：开启多个子线程，将多个子线程放入工作线程池；读取所述工作线程池中的一个子线程，读取所述任务池中的一个清理任务，将所述清理任务分配给所述子线程执行；通过所述子线程根据所述清理任务中的清理任务定时时间，定时连接所述业务系统编码对应的业务系统，对所述业务系统数据库连接池中的数据执行所述数据清理脚本；当所述子线程完成所述清理任务后，将所述子线程再次放入工作线程池中。一种基于大数据的生产库数据统一清理装置，包括：获取信息模块，用于接收用户发送的配置信息，将所述配置信息记录到配置数据表中，所述配置信息包括业务系统编码、业务系统数据库连接池、清理任务定时时间、数据清理脚本；生成清理任务模块，用于读取所述配置数据表，根据所述配置数据表中的配置信息批量生成多个清理任务，一个所述清理任务对应一项所述配置信息；清理数据模块，用于开启多个子线程，通过所述子线程读取所述清理任务，根据所述清理任务中的清理任务定时时间，连接所述业务系统编码对应的业务系统，对所述业务系统数据库连接池中的数据执行所述数据清理脚本。一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述基于大数据的生产库数据统一清理方法的步骤。一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述基于大数据的生产库数据统一清理方法的步骤。上述基于大数据的生产库数据统一清理方法及相关设备，包括接收用户发送的配置信息，将所述配置信息记录到配置数据表中，所述配置信息包括业务系统编码、业务系统数据库连接池、清理任务定时时间、数据清理脚本；读取所述配置数据表，根据所述配置数据表中的配置信息批量生成多个清理任务，一个所述清理任务对应一项所述配置信息；开启多个子线程，通过所述子线程读取所述清理任务，根据所述清理任务中的清理任务定时时间，连接所述业务系统编码对应的业务系统，对所述业务系统数据库连接池中的数据执行所述数据清理脚本。本专利技术统一管理所有数据清理任务，完成各个业务系统的数据清理工作，业务系统自身不进行数据的清理任务，若数据清理脚本发生更改，也无需进行业务系统的版本更新，只要更新对应清理任务的数据清理脚本即可，本专利技术的数据清理工作相对独立，数据清理脚本的维护更为简单方便。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。图1为本专利技术一个实施例中的基于大数据的生产库数据统一清理方法的流程图；图2为本专利技术一个实施例中基于大数据的生产库数据统一清理装置的结构图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结本文档来自技高网...

【技术保护点】
1.一种基于大数据的生产库数据统一清理方法，其特征在于，包括：接收用户发送的配置信息，将所述配置信息记录到配置数据表中，所述配置信息包括业务系统编码、业务系统数据库连接池、清理任务定时时间、数据清理脚本；读取所述配置数据表，根据所述配置数据表中的配置信息批量生成多个清理任务，一个所述清理任务对应一项所述配置信息；开启多个子线程，通过所述子线程读取所述清理任务，根据所述清理任务中的清理任务定时时间，连接所述业务系统编码对应的业务系统，对所述业务系统数据库连接池中的数据执行所述数据清理脚本。

【技术特征摘要】
1.一种基于大数据的生产库数据统一清理方法，其特征在于，包括：接收用户发送的配置信息，将所述配置信息记录到配置数据表中，所述配置信息包括业务系统编码、业务系统数据库连接池、清理任务定时时间、数据清理脚本；读取所述配置数据表，根据所述配置数据表中的配置信息批量生成多个清理任务，一个所述清理任务对应一项所述配置信息；开启多个子线程，通过所述子线程读取所述清理任务，根据所述清理任务中的清理任务定时时间，连接所述业务系统编码对应的业务系统，对所述业务系统数据库连接池中的数据执行所述数据清理脚本。2.根据权利要求1所述的基于大数据的生产库数据统一清理方法，其特征在于，所述接收用户发送的配置信息，将所述配置信息记录到配置数据表中，所述配置信息包括业务系统编码、业务系统数据库连接池、清理任务定时时间、数据清理脚本，包括：接收用户发送的配置请求，展示登陆页面，通过所述登陆页面获取用户输入的账密信息；验证所述账密信息，若未通过验证，则返回错误提示，若通过验证，则判断所述账密信息对应的权限，若具有配置权限，则展示配置页面，否则返回错误提示；通过所述配置页面获取用户输入的配置信息，将所述配置信息记录到所述配置数据表中。3.根据权利要求1所述的基于大数据的生产库数据统一清理方法，其特征在于，还包括：接收用户发送的更改请求，展示登陆页面，通过所述登陆页面获取用户输入的账密信息；验证所述账密信息，若未通过验证，则返回错误提示，若通过验证，则判断所述账密信息对应的权限，若具有更改权限，则展示更改页面，否则返回错误提示；通过所述更改页面获取用户输入的更改信息，所述更改信息包括执行更新时间、业务系统编码、及与所述业务系统编码对应的业务系统数据库连接池、清理任务定时时间或数据清理脚本中的至少一项，判断所述账密信息对应是否具有更改所述业务系统编码对应的业务系统的权限，若不具有更改权限，则返回错误提示；若具有更改权限，则将所述更改信息添加入所述配置数据表中所述业务系统编码对应的配置信息中。4.根据权利要求3所述的基于大数据的生产库数据统一清理方法，其特征在于，所述若具有更改权限，则将所述更改信息添加入所述配置数据表中所述业务系统编码对应的配置信息中，包括：读取所述配置数据表中所述业务系统编码对应的配置信息中的清理任务定时时间，判断所述执行更新时间与所述清理任务定时时间之间的时间差是否超过预设的时间阈值，若不超过，则返回错误提示；若超过，则将所述更改信息添加入所述配置数据表中所述业务系统编码对应的配置信息中。5.根据权利要求1所述的基于大数据的生产库数据统一清理方法，其特征在于，所述读取所述配置数据表，根据所述配置数据表中的配置信息批量生成多个清理任务，一个所述清理任务对应一项所述配置信息，包括：逐个读取所述配置数据表中的配置信息，获取所述配置信息中的所述业务系统编码、所述业务系统数据库连...

【专利技术属性】
技术研发人员：岳鹏昱，管贤武，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44