一种基于数据修改规则的数据修改方法、系统和存储介质技术方案

本发明专利技术涉及一种基于数据修改规则的数据修改方法、系统和存储介质，包括以下步骤：S1：建立数据修改规则库，用于存储数据修改规则，所述的数据修改规则通过采集的批量数据修改请求工单得到；S2：获取用户选择的数据修改规则和输入的参数，生成待执行的SQL语句；S3：根据待执行的SQL语句，利用数据修改工具执行数据修改操作；S4：记录数据修改日志，并通过对数据修改日志的分析处理，进行数据修改集中治理。与现有技术相比，本发明专利技术具有提高批量数据修改效率和准确率等优点。

【技术实现步骤摘要】
一种基于数据修改规则的数据修改方法、系统和存储介质
本专利技术涉及数据修改领域，尤其是涉及一种基于数据修改规则的数据修改方法、系统和存储介质。
技术介绍
大数据时代，平台和应用系统坐拥海量数据，但因系统建设不完善、用户操作失误、历史数据等问题，无可避免的造成大量的后台数据修改问题，而频繁的数据修改会加大系统运维和数据管控风险，造成数据质量较低，直接影响用户使用体验和整体数据服务能力。目前，较为常见的数据修改方式为数据库直接修改，直接对生产数据库进行操作，虽然可以满足用户需求，实现少量数据问题的快速修复，但仍存在以下不足：对于大批量的数据修改，修改风险较大；因运维人员技术水平的差异，造成SQL脚本质量差异，直接影响修改的准确性；数据修改操作前，需单独进行备份，处理效率低下；无法对数据库直接修改进行分析，造成系统问题积累，用户体验差；大量的数据修改，影响整体数据质量。中国专利CN201811114708.4公开了一种基于SQL语句的数据修改方法，该方法包括：接收用户提出的携带第一SQL语句的数据修改请求，分析所述第一SQL语句的具体信息；然后为第一SQL语句中的源表创建备份表；执行所述第一SQL语句，将所述源表中的待修改字段修改为所述目标数据，得到目标数据表，以提高数据修改的准确性及效率。但是该数据修改方法只适用于单独的数据修改请求，若用于批量的数据修改，其效率将会大大降低，无法解决大批量数据修改的问题。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种提高批量数据修改效率和准确率的基于数据修改规则的数据修改方法、系统和存储介质，并能够通过集中治理降低数据修改量，解决大批量数据修改的问题。本专利技术的目的可以通过以下技术方案来实现：一种基于数据修改规则的数据修改方法，包括以下步骤：S1：建立数据修改规则库，用于存储数据修改规则，所述的数据修改规则通过采集的批量数据修改请求工单得到；S2：获取用户选择的数据修改规则和输入的参数，生成待执行的SQL语句；S3：根据待执行的SQL语句，利用数据修改工具执行数据修改操作；S4：记录数据修改日志，并通过对数据修改日志的分析处理，进行数据修改集中治理。进一步地，所述的数据修改请求工单内记录工单信息，所述的工单信息包括SQL语句，所述的数据修改规则包括含有变量的SQL语句，并记录各SQL语句与变量的依赖关系，所述的变量的配置包括名称、类型、长度、默认值和是否选填。进一步地，所述的数据修改规则的生成步骤具体包括：S11：获取并记录用户提交的批量数据修改请求工单，并保存到至自动生成备份的数据库中；S12：获取该批量数据修改请求工单中的SQL语句；S13：对SQL语句进行分析处理，删去其中的特定应用场景信息，得到一条或多条含有变量的SQL语句，作为数据修改规则；S14：定义数据修改规则中变量的配置以及SQL语句与变量的依赖关系；S15：将数据修改规则存入数据修改规则库中。进一步地，所述的步骤S14中定义变量的配置具体包括：定义变量名称、类型、长度、默认值和是否选填。进一步地，所述的步骤S2具体包括：S21：获取用户选择的数据修改规则和输入的参数；S22：对用户输入的参数进行类型、长度和内容的安全校验；S23：将用户输入的参数作为变量，与用户选择的数据修改规则结合，生成完整的SQL语句，作为待执行的SQL语句。进一步地，所述的步骤S3具体包括：S31：对待执行的SQL语句进行语法校验；S32：根据SQL语句的语句类型，提取出语句中需要处理的表名、字段名和修改条件；S33：根据表名、字段名和修改条件，生成该SQL语句的查询影响行数语句、获取新旧值变化语句和备份语句；S34：执行查询影响行数语句，判断修改行数是否存在风险；S35：执行获取新旧值变化语句，将结果返回至用户进行确认；S36：获取用户确认信息；S37：执行备份语句，对原始数据进行备份，同时生成恢复语句；S38：执行待执行的SQL语句，对目标数据进行修改。进一步地，所述的数据修改日志内记录包括修改内容和所使用的数据修改规则，所述的对数据修改日志的分析处理具体包括：对数据修改日志中记录的各数据修改规则使用频率按照降序排序，并获取各数据修改规则的应用场景、产生原因和处理方法，得到数据修改情况。更进一步地，所述的进行数据修改集中治理具体包括：S41：获取设定治理阈值；S42：获取使用频率超过治理阈值的数据修改规则，并将该数据修改规则对应的应用场景纳入集中治理范围；S43：获取运维人员和研发人员共同对治理范围内数据修改规则分析得到的需求分析和需求实现办法；S44：根据不同需求实现办法，进行数据修改集中治理；所述的需求包括功能缺失类需求、功能不完善类需求和历史数据问题类需求；所述的功能缺失类需求的实现办法具体为：获取研发人员提供的开发任务书，通过版本变更的方式实现需求；所述的功能不完善类需求的实现办法具体为：获取研发人员提供的bug修复计划，通过发布bug版本进行变更的方式实现需求；所述的历史数据问题类需求的实现办法具体为：通过SQL语句，在工具中进行批量数据修复的方式实现需求。一种用于实现所述的基于数据修改规则的数据修改方法的系统，包括：数据层模块：用于采集批量的数据修改工单，并存入数据修改工具数据库中；修改层模块：用于获取数据修改工单信息，生成数据修改规则，并进行数据修改操作；分析层模块：用于利用数据修改操作的修改内容和所使用的数据修改规则，生成数据修改日志，并对数据修改日志进行分析处理，得到数据修改情况；治理层模块：用于接收数据修改情况，确认数据修改集中问题，并进行数据修改集中治理。一种计算机可读存储介质，该计算机可读存储介质中包括基于数据修改规则的数据修改程序，所述的基于数据修改规则的数据修改程序被处理器执行时，可实现所述的基于数据修改规则的数据修改方法的步骤。与现有技术相比，本专利技术具有以下优点：1)本专利技术对大批量的数据修改，建设数据修改规则库，通过预先根据特定应用场景定义的数据修改规则，在数据修改操作前，利用工具特有的自动备份和自动生成修改语句的功能，提升数据修改效率，大大降低数据修改风险，提高准确率；2)本专利技术通过建设数据修改规则库，避免了后续数据修改中手工编写SQL语句，降低了数据修改风险对于特定场景产生的问题形成规则化修改方法，根除因运维人员技术水平的差异，影响修改的准确性的问题；3)本专利技术通过统一的工具修改，完整记录数据修改日志，通过数据修改日志分析，找到使用频繁的数据修改规则，通过对其集中治理降低数据修改量，解决大批量数据修改的问题；4)本专利技术定期对数据修改进行分析，将修改量大的规则转化为需求任务书功能点，开发对应前台功能，以免系统问本文档来自技高网...

【技术保护点】
1.一种基于数据修改规则的数据修改方法，其特征在于，包括以下步骤：/nS1：建立数据修改规则库，用于存储数据修改规则，所述的数据修改规则通过采集的批量数据修改请求工单得到；/nS2：获取用户选择的数据修改规则和输入的参数，生成待执行的SQL语句；/nS3：根据待执行的SQL语句，利用数据修改工具执行数据修改操作；/nS4：记录数据修改日志，并通过对数据修改日志的分析处理，进行数据修改集中治理。/n

【技术特征摘要】
1.一种基于数据修改规则的数据修改方法，其特征在于，包括以下步骤：
S1：建立数据修改规则库，用于存储数据修改规则，所述的数据修改规则通过采集的批量数据修改请求工单得到；
S2：获取用户选择的数据修改规则和输入的参数，生成待执行的SQL语句；
S3：根据待执行的SQL语句，利用数据修改工具执行数据修改操作；
S4：记录数据修改日志，并通过对数据修改日志的分析处理，进行数据修改集中治理。


2.根据权利要求1所述的一种基于数据修改规则的数据修改方法，其特征在于，所述的数据修改请求工单内记录工单信息，所述的工单信息包括SQL语句，所述的数据修改规则包括含有变量的SQL语句，并记录各SQL语句与变量的依赖关系，所述的变量的配置包括名称、类型、长度、默认值和是否选填。


3.根据权利要求2所述的一种基于数据修改规则的数据修改方法，其特征在于，所述的数据修改规则的生成步骤具体包括：
S11：获取并记录用户提交的批量数据修改请求工单，并保存到至自动生成备份的数据库中；
S12：获取该批量数据修改请求工单中的SQL语句；
S13：对SQL语句进行分析处理，删去其中的特定应用场景信息，得到一条或多条含有变量的SQL语句，作为数据修改规则；
S14：定义数据修改规则中变量的配置以及SQL语句与变量的依赖关系；
S15：将数据修改规则存入数据修改规则库中。


4.根据权利要求3所述的一种基于数据修改规则的数据修改方法，其特征在于，所述的步骤S14中定义变量的配置具体包括：定义变量名称、类型、长度、默认值和是否选填。


5.根据权利要求2所述的一种基于数据修改规则的数据修改方法，其特征在于，所述的步骤S2具体包括：
S21：获取用户选择的数据修改规则和输入的参数；
S22：对用户输入的参数进行类型、长度和内容的安全校验；
S23：将用户输入的参数作为变量，与用户选择的数据修改规则结合，生成完整的SQL语句，作为待执行的SQL语句。


6.根据权利要求1所述的一种基于数据修改规则的数据修改方法，其特征在于，所述的步骤S3具体包括：
S31：对待执行的SQL语句进行语法校验；
S32：根据SQL语句的语句类型，提取出语句中需要处理的表名、字段名和修改条件；
S33：根据表名、字段名和修改条件，生成该SQL语句的查询影响行数语句、获取新旧值变化语句和备份语句；
S34：执行查询影响行...

【专利技术属性】
技术研发人员：吴倩，赵诚雅，叶立武，王东，王程皓，
申请(专利权)人：中国人寿保险股份有限公司上海数据中心，
类型：发明
国别省市：上海;31