基于数据库的数据处理方法、装置、设备和存储介质制造方法及图纸

本申请涉及人工智能技术领域，提供一种基于数据库的数据处理方法、装置、计算机设备和存储介质，方法包括：获取与目标只读库具有对应关系的sql脚本；调用临时数据库，在临时数据库与目标只读库之间配置dblink链路；将sql脚本提交至临时数据库，在临时数据库内执行sql脚本得到执行结果数据；基于预设程序从执行结果数据中识别出新建临时表，并将新建临时表存储至临时数据库内；以及基于预设程序从执行结果数据中识别出业务表，并通过dblink链路将业务表存储至目标只读库内。本申请能够解决sql脚本无法在目标只读库内正常运行的问题，提高sql脚本处理的智能性。本申请还可以应用于区块链领域，上述执行结果数据可以存储于区块链上。上。上。

【技术实现步骤摘要】
基于数据库的数据处理方法、装置、设备和存储介质


[0001]本申请涉及人工智能
，具体涉及一种基于数据库的数据处理方法、装置、设备和存储介质。

技术介绍

[0002]当数据处理sql脚本所在运行的数据库要下线，即停止提供服务时，如果数据处理sql脚本需要迁移到新数据库并执行，但是该新数据库不支持DDL和DML操作，例如该新数据库为设置了所有用户都无权限执行建表和更新表数据sql的只读数据库。如果此时直接在新数据库中直接提交该数据处理sql脚本并运行，则新数据库只会返回报错信息，且无法正常得到数据结果。然而也不能为了适配新数据库而将数据处理sql脚本修改为不做DDL和DML操作。针对上述业务场景，当前亟需提供一种能够解决数据处理sql脚本无法在新数据库内正常运行的技术问题的处理手段。

技术实现思路

[0003]本申请的主要目的为提供一种基于数据库的数据处理方法、装置、计算机设备和存储介质，旨在解决现有缺乏一种能够实现数据处理sql脚本可以在新数据库内正常运行的处理手段的技术问题。
[0004]本申请提出一种基于数据库的数据处理方法，所述方法包括步骤：
[0005]获取与目标只读库具有对应关系的sql脚本；
[0006]调用预设的临时数据库，并在所述临时数据库与所述目标只读库之间配置dblink链路；其中，所述临时数据库为支持DDL和DML操作的数据库；
[0007]将所述sql脚本提交至所述临时数据库，在所述临时数据库内执行所述sql脚本得到对应的执行结果数据；其中，所述执行结果数据包括新建临时表与业务表；
[0008]基于预设程序从所述执行结果数据中识别出所述新建临时表，并将所述新建临时表存储至所述临时数据库内；以及，
[0009]基于所述预设程序从所述执行结果数据中识别出所述业务表，并通过所述dblink链路将所述业务表存储至所述目标只读库内。
[0010]可选地，所述将所述sql脚本提交至所述临时数据库，在所述临时数据库内执行所述sql脚本得到对应的执行结果数据的步骤之前，包括：
[0011]调用预先训练生成的脚本异常分析模型；
[0012]将所述sql脚本输入至所述脚本异常分析模型内，通过所述脚本异常分析模型对所述sql脚本进行异常分析得到对应的分析结果；其中，所述脚本异常分析模型为基于多个sql脚本样本，以及与所述sql脚本样本对应的异常标签结果进行训练生成的；
[0013]判断所述分析结果是否为不存在异常；
[0014]若为不存在异常，触发所述将所述sql脚本提交至所述临时数据库，在所述临时数据库内执行所述sql脚本得到对应的执行结果数据的步骤；
[0015]若为存在异常，生成与所述分析结果对应的预警信息，并展示所述预警信息。
[0016]可选地，所述将所述新建临时表存储至所述临时数据库内的步骤之后，包括：
[0017]运行预设的清理程序，判断与所述临时数据库内存储的所述新建临时表对应的指定数据是否满足预设条件；
[0018]若满足所述预设条件，获取所述临时数据库内包含的所有新建临时表，并从所有所述新建临时表中筛选出包含有预设的重要标识的指定临时表；
[0019]从预设的区块链中包含的所有存储区块中确定出指定存储区块；
[0020]将所述指定临时表存储于所述指定存储区块上；
[0021]在完成对于所述指定临时表的存储处理后，对所述临时数据库中的所有所述新建临时表进行清除处理。
[0022]可选地，所述从预设的区块链中包含的所有存储区块中确定出指定存储区块的步骤，包括：
[0023]获取所述指定临时表的内存占用值；
[0024]从所有所述存储区块中筛选出可用内存大于所述内存占用值的第一存储区块；
[0025]从所有所述第一存储区块中筛选出在预设时间周期内的区块使用次数大于预设次数阈值的第二存储区块；
[0026]获取各所述第二存储区块的当前可用内存、在所述预设时间周期内的区块使用次数、存储内存使用量以及数据清理指数，调用第一预设公式计算出各所述第二存储区块的存储分数值；
[0027]从所有所述存储分数值中筛选出数值最大的指定存储分数值；
[0028]从所有所述第二存储区块中获取与所述指定存储分数值对应的第三存储区块，并将所述第三存储区块作为所述指定存储区块。
[0029]可选地，所述获取各所述第二存储区块的当前可用内存、在所述预设时间周期内的区块使用次数、存储内存使用量以及数据清理指数的步骤之前，包括：
[0030]获取第四存储区块在所述预设时间周期内的数据清理频次；其中，所述第四存储区块为所有所述第二存储区块中的任意一个区块；
[0031]获取所述第四存储区块在所述预设时间周期内每一次的清理内存数值；
[0032]从所有所述清理内存数值中筛选出数值大于预设的清理内存阈值的指定清理内存数值；
[0033]获取所述指定清理内存数值的数量；
[0034]计算每一个所述指定清理内存数值与所述清理内存阈值之间的差值，并计算所有所述差值的和值得到内存超出总量；
[0035]获取与所述数据清理频次对应的第一权重，与所述指定清理内存数值对应的第二权重，以及与所述内存超出总量对应的第三权重；
[0036]基于所述第一权重、所述第二权重与所述第三权重，调用第二预设公式对所述数据清理频次、所述指定清理内存数值的数量以及所述内存超出总量进行计算处理得到对应的计算结果值；
[0037]将所述计算结果值作为所述第四存储区块的数据清理指数。
[0038]可选地，所述基于所述预设程序从所述执行结果数据中识别出所述业务表，并通
过所述dblink链路将所述业务表存储至所述目标只读库内的步骤之后，包括：
[0039]运行预设的表权限控制程序，获取预先创建的权限用户名单；
[0040]对于所述权限用户名单中的每一个用户，在所述临时数据库中为所述用户配置与所述临时数据库中存储的新建临时表对应的第一使用权限信息；以及，
[0041]对于所述权限用户名单中的每一个用户，在所述目标只读库中为所述用户配置与所述目标只读库中存储的业务表对应的第二使用权限信息。
[0042]可选地，所述基于数据库的数据处理方法还包括：
[0043]在所述临时数据库内执行所述sql脚本的过程中，获取所述临时数据库的资源消耗数据；其中，所述资源消耗数据至少包括CPU使用率、IO使用率、网络流量使用数据与内存使用数据；
[0044]获取与各所述资源消耗数据分别对应的资源消耗阈值；
[0045]判断每一个所述资源消耗数据是否均小于对应的资源消耗阈值；
[0046]若均小于对应的资源消耗阈值，生成与所述临时数据库对应的运行正常的第一运行状态结果，并展示所述第一运行状态结果；
[0047]若未均小于对应的资源消耗阈值，生成与所述临时数据库对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据库的数据处理方法，其特征在于，包括：获取与目标只读库具有对应关系的sql脚本；调用预设的临时数据库，并在所述临时数据库与所述目标只读库之间配置dblink链路；其中，所述临时数据库为支持DDL和DML操作的数据库；将所述sql脚本提交至所述临时数据库，在所述临时数据库内执行所述sql脚本得到对应的执行结果数据；其中，所述执行结果数据包括新建临时表与业务表；基于预设程序从所述执行结果数据中识别出所述新建临时表，并将所述新建临时表存储至所述临时数据库内；以及，基于所述预设程序从所述执行结果数据中识别出所述业务表，并通过所述dblink链路将所述业务表存储至所述目标只读库内。2.根据权利要求1所述的基于数据库的数据处理方法，其特征在于，所述将所述sql脚本提交至所述临时数据库，在所述临时数据库内执行所述sql脚本得到对应的执行结果数据的步骤之前，包括：调用预先训练生成的脚本异常分析模型；将所述sql脚本输入至所述脚本异常分析模型内，通过所述脚本异常分析模型对所述sql脚本进行异常分析得到对应的分析结果；其中，所述脚本异常分析模型为基于多个sql脚本样本，以及与所述sql脚本样本对应的异常标签结果进行训练生成的；判断所述分析结果是否为不存在异常；若为不存在异常，触发所述将所述sql脚本提交至所述临时数据库，在所述临时数据库内执行所述sql脚本得到对应的执行结果数据的步骤；若为存在异常，生成与所述分析结果对应的预警信息，并展示所述预警信息。3.根据权利要求1所述的基于数据库的数据处理方法，其特征在于，所述将所述新建临时表存储至所述临时数据库内的步骤之后，包括：运行预设的清理程序，判断与所述临时数据库内存储的所述新建临时表对应的指定数据是否满足预设条件；若满足所述预设条件，获取所述临时数据库内包含的所有新建临时表，并从所有所述新建临时表中筛选出包含有预设的重要标识的指定临时表；从预设的区块链中包含的所有存储区块中确定出指定存储区块；将所述指定临时表存储于所述指定存储区块上；在完成对于所述指定临时表的存储处理后，对所述临时数据库中的所有所述新建临时表进行清除处理。4.根据权利要求3所述的基于数据库的数据处理方法，其特征在于，所述从预设的区块链中包含的所有存储区块中确定出指定存储区块的步骤，包括：获取所述指定临时表的内存占用值；从所有所述存储区块中筛选出可用内存大于所述内存占用值的第一存储区块；从所有所述第一存储区块中筛选出在预设时间周期内的区块使用次数大于预设次数阈值的第二存储区块；获取各所述第二存储区块的当前可用内存、在所述预设时间周期内的区块使用次数、存储内存使用量以及数据清理指数，调用第一预设公式计算出各所述第二存储区块的存储
分数值；从所有所述存储分数值中筛选出数值最大的指定存储分数值；从所有所述第二存储区块中获取与所述指定存储分数值对应的第三存储区块，并将所述第三存储区块作为所述指定存储区块。5.根据权利要求4所述的基于数据库的数据处理方法，其特征在于，所述获取各所述第二存储区块的当前可用内存、在所述预设时间周期内的区块使用次数、存储内存使用量以及数据清理指数的步骤之前，包括：获取第四存储区块在所述预设时间周期内的数据清理频次；其中，所述第四存储区块为所有所述第二存储区块中的任...

【专利技术属性】
技术研发人员：刘雪，王富霖，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：