【技术实现步骤摘要】
本申请实施例涉及数据库，尤其涉及一种数据一致性检测与修复方法、装置及电子设备。
技术介绍
1、铁路办公系统是铁路管理部门用于管理和运营的信息化系统，包含多个异构数据库以及大量的数据，其中，涉及到不同的数据类型、数据格式和数据结构，在异构数据库中，由于数据来源不同，经常产生数据一致性问题，而数据一致性问题可能会导致信息不准确，业务错误甚至安全隐患。
2、常规的数据一致性检测方法依赖大量的人工介入，导致耗时较长、效率低下。此外，现有的数据一致性检测方法无法检测全部的数据一致性问题，精度不高，且修复效果不理想。
技术实现思路
1、本申请实施例提供了一种数据一致性检测与修复方法、装置及电子设备，能够解决现有的数据一致性检测效率低精度差的问题。
2、第一方面，本申请实施例提供了一种数据一致性检测与修复方法，所述方法包括：采集原始文件特征信息和备份文件特征信息，所述原始文件特征信息包括：原始文件行数量和原始文件损害系统时长，所述备份文件特征信息包括：备份文件预计损害系统时长和备份文件更新频率；
3、根据所述原始文件特征信息和所述备份文件特征信息建立数据分析模型，生成比对评估系数；
4、将所述比对评估系数与比对阈值进行比较，确定原始文件和备份文件比对的行数量；
5、对所述原始文件特征信息、所述备份文件特征信息和所述行数量进行处理，得到行频率比率和行特征相似度比率；
6、根据所述行频率比率和所述行特征相似度比率，制定模糊规则并
7、将所述对比行数据进行原始文件和备份文件比对，若结果不一致，则根据备份文件修复原始文件，并保存。
8、在一种可能的设计中，还包括：
9、设置读取器逐行读取原始文件，并记录已读取的行数，直到文件结束，得到所述原始文件行数量oli，其中，i是文件数量，i=1、2、3、……n，n为文件总数；
10、记录原始文件损害系统的起始时间和系统恢复正常的时间，计算损害系统的时长得到所述原始文件损害系统时长oti。
11、在一种可能的设计中，还包括：
12、获取历史备份文件损害系统时长数据，建立预测模型，得到所述备份文件预计损害系统时长dti，其中，第i个原始文件对应着第i个备份文件；
13、记录多次备份文件更新时间间隔，计算总备份次数减一与总备份时间的比率，得到所述备份文件更新频率ufi。
14、在一种可能的设计中，所述根据所述原始文件特征信息和所述备份文件特征信息建立数据分析模型，生成比对评估系数的公式为：
15、
16、其中，sli为所述比对评估系数，、以及分别为预设的比例系数，且、以及均大于0。
17、在一种可能的设计中，还包括：
18、若所述比对评估系数小于所述比对阈值，则将当前一组对应的原始文件和备份文件标记为单行数据比对，并生成单行信号；
19、若所述比对评估系数大于等于所述比对阈值，则将当前一组对应的原始文件和备份文件标记为多行数据比对，并生成多行信号；
20、统计大于等于所述比对阈值的比对评估系数数量以及数值，并按照数值从小到大排列，得到一组序列，其中，所述数量为g，g=1、2、3、4、……m，m为大于等于所述比对阈值的比对评估系数总数；
21、对序列进行分组，并根据分组确定当前一组对应的原始文件和备份文件比对的行数量。
22、在一种可能的设计中，还包括：
23、计算备份文件中每一行出现的频率与原始文件中对应行出现的频率的比率，得到行频率比率ra（bv）；
24、计算原始文件中每一行和备份文件中对应行的余弦相似度，计算原始文件中每一行和备份文件中每一行的相似度，并获取最大相似度，计算余弦相似度和最大相似度的比值，得到行特征相似度比率rs（bv）。
25、在一种可能的设计中，还包括：
26、制定模糊规则，描绘所述行频率比率和所述行特征相似度比率对所述对比行数据的影响，确定对比行数据。
27、第二方面，本申请实施例提供了一种数据一致性检测与修复装置，所述装置包括：
28、采集模块，用于采集原始文件特征信息和备份文件特征信息，所述原始文件特征信息包括：原始文件行数量和原始文件损害系统时长，所述备份文件特征信息包括：备份文件预计损害系统时长和备份文件更新频率；
29、处理模块，用于根据所述原始文件特征信息和所述备份文件特征信息建立数据分析模型，生成比对评估系数；将所述比对评估系数与比对阈值进行比较，确定原始文件和备份文件比对的行数量；对所述原始文件特征信息、所述备份文件特征信息和所述行数量进行处理，得到行频率比率和行特征相似度比率；根据所述行频率比率和所述行特征相似度比率，制定模糊规则并进行模糊推理，确定对比行数据；将所述对比行数据进行原始文件和备份文件比对，若结果不一致，则根据备份文件修复原始文件，并保存。
30、第三方面，本申请实施例提供了一种电子设备，所述电子设备包括存储器和一个或多个处理器；其中，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述计算机指令被所述处理器执行时，使得所述电子设备执行第一方面或第一方面各种可能的实现方式中的方法的部分或全部步骤。
31、第四方面，本申请实施例提供了一种计算机存储介质，该计算机存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行第一方面或第一方面各种可能的实现方式中的方法的部分或全部步骤。
32、本申请提供了一种数据一致性检测与修复方法，包括：采集原始文件特征信息和备份文件特征信息，所述原始文件特征信息包括：原始文件行数量和原始文件损害系统时长，所述备份文件特征信息包括：备份文件预计损害系统时长和备份文件更新频率；根据所述原始文件特征信息和所述备份文件特征信息建立数据分析模型，生成比对评估系数；将所述比对评估系数与比对阈值进行比较，确定原始文件和备份文件比对的行数量；对所述原始文件特征信息、所述备份文件特征信息和所述行数量进行处理，得到行频率比率和行特征相似度比率；根据所述行频率比率和所述行特征相似度比率，制定模糊规则并进行模糊推理，确定对比行数据；将所述对比行数据进行原始文件和备份文件比对，若结果不一致，则根据备份文件修复原始文件，并保存。通过比对评估系数确定原始文件和备份文件进行一致性检测的行数量，通过行频率比率和行特征相似度比率确定一致性检测的对比行数据，通过选择具体单行或多行数据进行一致性检测，节约系统资源，提高了一致性检测的效率；通过模糊推理确定具体一致性检测的行数据，规避了传统一致性检测的数据片面性，提高了检测效率和一致性检测的正确率，保障系统的运作完善。
本文档来自技高网...【技术保护点】
1.一种数据一致性检测与修复方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，还包括：
3.如权利要求1所述的方法，其特征在于，还包括：
4.如权利要求2或3所述的方法，其特征在于，所述根据所述原始文件特征信息和所述备份文件特征信息建立数据分析模型，生成比对评估系数的公式为：
5.如权利要求4所述的方法，其特征在于，还包括：
6.如权利要求1所述的方法，其特征在于，还包括：
7.如权利要求1所述的方法，其特征在于，还包括：
8.一种数据一致性检测与修复装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，所述电子设备包括存储器和一个或多个处理器；其中，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述计算机指令被所述处理器执行时，使得所述电子设备执行如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，包括计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至7中任一
...【技术特征摘要】
1.一种数据一致性检测与修复方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，还包括：
3.如权利要求1所述的方法，其特征在于，还包括：
4.如权利要求2或3所述的方法，其特征在于，所述根据所述原始文件特征信息和所述备份文件特征信息建立数据分析模型，生成比对评估系数的公式为：
5.如权利要求4所述的方法，其特征在于，还包括：
6.如权利要求1所述的方法，其特征在于，还包括：
7.如权利要求1所述的方法，其...
【专利技术属性】
技术研发人员：刘承亮，王伟萌，朱韦桥，麻磊，孙晶，张轩铭，张向阳，曲左阳，春意，解辰辉，蔡宇晶，杨扬，
申请(专利权)人：中国铁道科学研究院集团有限公司电子计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。