一种多级平台间数据清洗与同步方法及系统技术方案

本发明专利技术公开了一种多级平台间数据清洗与同步方法及系统，该方法包括：S1、下级平台的数据库发生变更后，触发下级平台的数据清洗服务及数据同步服务；S2、判断下级平台数据是否有脏数据，若无脏数据，则启动数据同步服务；若有脏数据，则对脏数据进行数据清理，再启动数据同步服务；S3、检测下级平台和上级平台的在线状态，若两平台均为正常在线状态，则进行数据同步；S4、将清洗后的下级平台数据传输至上级平台，上级平台将上传的数据写入数据库，完成两级平台间的数据清洗与同步。本发明专利技术能确保数据的可靠有效性，避免下级平台脏数据对上级平台影响；利用数据同步补偿机制，降低网络不通，数据同步失败造成的影响，提高数据同步的时效性和准确性。

【技术实现步骤摘要】
一种多级平台间数据清洗与同步方法及系统
本专利技术涉及数据同步领域，尤其涉及一种多级平台间数据清洗与同步方法及系统。
技术介绍
随着物联网、互联网、大数据、云计算等新兴技术的发展，各领域的安全监测手段逐渐由单一的系统变为多个系统。然而大大增加了人力运维的成本，同时多个系统间是独立运行的，数据无法共享。为解决数据共享问题，多级平台成为目前常用的方案，相较于开放性的云平台，多级平台的每级平台均可以独立运行，有效降低了整个系统瘫痪的风险。但是数据同步为多级平台运行的一个关键难题。为解决多级平台间的数据同步问题，本专利技术通过对下级平台数据的清洗，确保数据源真实有效，然后对清洗后的数据同步至上级平台，保障上级平台数据与下级数据的一致性。
技术实现思路
本专利技术要解决的技术问题在于针对现有技术中的缺陷，提供一种多级平台间数据清洗与同步方法及系统。本专利技术解决其技术问题所采用的技术方案是：本专利技术提供一种多级平台间数据清洗与同步方法，用于对下级平台和上级平台之间的数据进行清洗与同步，该方法包括以下步骤：S1、对存储在下级平台的数据增加平台的唯一标识编号，并按照设定的数据字段形式进行存储；下级平台的数据库发生变更后，触发下级平台的数据清洗服务及数据同步服务；S2、数据清理服务：根据下级平台数据的唯一标识编号，并通过数据各字段及对应权重计算数据的完整有效性值，判断下级平台数据是否有脏数据，若无脏数据，则启动数据同步服务；若有脏数据，则对脏数据进行数据清理，再启动数据同步服务；S3、数据同步服务：检测下级平台和上级平台的在线状态，若两平台均为正常在线状态，则进行数据同步；S4、将清洗后的下级平台数据传输至上级平台，上级平台将上传的数据写入数据库，完成两级平台间的数据清洗与同步。进一步地，本专利技术的步骤S1的具体方法为：在下级平台运行过程中，数据库出现新增、删除、修改、查询的变更操作时，触发本级平台的数据清洗和同步服务，该数据同步服务向上级平台发送同步数据请求，数据清洗服务推送清洗指令给本级平台。进一步地，本专利技术的步骤S1中按照设定的数据形式进行存储的具体方法为：对于物联接入的下级平台的数据表字段包含：设备编号、设备位置、设备状态、设备管理部门、设备有效期、设备新增时间、设备编辑时间、设备编辑人；对每个字段进行编号，分别为1，……8，其中编号排序是根据每个字段的重要程度进行编号，所有字段的必要性权重之和为1。进一步地，本专利技术的步骤S2的具体方法为：通过对数据增加平台的唯一标识编号，进行脏数据初步识别，识别出不是来自下级平台的数据作为脏数据；对于相同唯一标识编号的数据，即同一个设备数据存在多条时，只保留一条有效数据，其具体方法为：通过利用冒泡比较法对多条相同唯一标识编号的数据进行比较，在多条相同唯一标识编号的数据中根据数据的字段内容找到包含信息最全面的N条数据；使用者根据实际情况定义每个字段必要性权重，在N条数据中根据每个字段的必要性权重，得到每条数据的有效性值，找到有效性值最大的一条数据，该条数据即为有效数据，除有效性值最大的数据外的其它数据均为脏数据；对脏数据自动执行删除清洗；脏数据还包括信息不完整、操作时间异常的数据；然后将数据库数据进行打包，准备传送至上级平台。进一步地，本专利技术的步骤S2中的冒泡比较法具体为：当上级平台中查找到的相同唯一标识编号的多条数据：Data1、Data2、Data3、……、Datan时，对多条数据进行内容完整性比较；内容完整性比较过程：用一条数据Datax＝{x1，x2，x3，……，x8}的每个字段，与其它所有条数据Data1，……Datax-1，Datax+1，Datan的每个字段进行比较，获取Datax字段xi与其它所有数据Datay字段yi相同的数量，其中x＝1，……n；i＝1，……，8；y＝1，……，x-1，x+1，……n；定义一条数据的完整性值Numx计算公式为：Numx＝Nx1+Nx2+……+Nx8其中，Nx1，……Nx8是Datax中每个字段与其它条数据对应字段内容相同次数，Nxj计算方式为：其中，j＝1，……，8；y＝1，……，x-1，x+1，……n；com(xi,yj)表示比较两个字段是否相同，相同为1，不相同为0。进一步地，本专利技术的步骤S2中有效性值的具体计算过程为：使用者根据实际情况定义每个字段必要性权重，在N条数据中根据每个字段的必要性权重，得到每条数据的有效性值，找到有效性值最大的一条数据，该条数据即为有效数据，除有效性值最大的数据外的其它数据均为脏数据。获取每条数据的完整性值Num后，即n条数据的Num，对比n个Num，根据需要，设定阈值N，取其中最大的N条数据作为备选数据；然后根据自定义的每个字段的必要性权重，针对N个备选数据的每条数据，进行完整有效性值计算，计算方式为：True＝W1*Nx1+……+W8*Nx8获取True1，……，TrueN；W1…W8是各字段对应权重，将最大的True对应的一条数据作为完整有效的数据，保留下来，其它数据作为脏数据进行删除。进一步地，本专利技术的步骤S3的具体方法为：S31、同步服务对两级平台的服务器在离线状态、平台的所有服务在离线状态进行获取，当两级平台的服务器状态及所有服务状态均为在线正常工作时，同步服务才能够正常启动；否则同步服务启动失败，提示检测失败的原因；S32、当下级平台进行修改操作时，上级平台数据库中存在一条数据，其主键与下级平台上传的数据主键一样，用下级平台的数据覆盖上级平台已有的数据；当下级平台进行新增操作时，上级平台中不存在上传的数据时，在上级平台数据库直接新增一条数据；当下级平台进行删除操作时，在上级平台中查找与下级删除数据主键一样的数据，并进行删除。进一步地，本专利技术的步骤S4的具体方法为：上级平台接收到数据同步服务后，开启本级平台的数据同步服务，建立两级平台间数据传输的连接，将下级平台已打包的数据库进行传输，本级平台接收到打包数据后，对本级平台的对应数据库进行重写，重写完成后，即实现两级平台间的数据同步。本专利技术提供一种多级平台间数据清洗与同步系统，该系统包括：下级平台、数据清理模块、数据同步模块以及上级平台，其中：下级平台，用于对存储在下级平台的数据增加平台的唯一标识编号，并按照设定的数据字段形式进行存储；下级平台的数据库发生变更后，触发下级平台的数据清洗服务及数据同步服务；数据清理模块，用于根据下级平台数据的唯一标识编号，并通过数据各字段及对应权重计算数据的完整有效性值，判断下级平台数据是否有脏数据，若无脏数据，则启动数据同步服务；若有脏数据，则对脏数据进行数据清理，再启动数据同步服务；数据同步服务，用于检测下级平台和上级平台的在线状态，若两平台均为正常在线状态，则进行数据同步；上级平台，用于接收清洗后的下级平台数据，上级平台将上传的数据写入本文档来自技高网...

【技术保护点】
1.一种多级平台间数据清洗与同步方法，其特征在于，用于对下级平台和上级平台之间的数据进行清洗与同步，该方法包括以下步骤：/nS1、对存储在下级平台的数据增加平台的唯一标识编号，并按照设定的数据字段形式进行存储；下级平台的数据库发生变更后，触发下级平台的数据清洗服务及数据同步服务；/nS2、数据清理服务：根据下级平台数据的唯一标识编号，并通过数据各字段及对应权重计算数据的完整有效性值，判断下级平台数据是否有脏数据，若无脏数据，则启动数据同步服务；若有脏数据，则对脏数据进行数据清理，再启动数据同步服务；/nS3、数据同步服务：检测下级平台和上级平台的在线状态，若两平台均为正常在线状态，则进行数据同步；/nS4、将清洗后的下级平台数据传输至上级平台，上级平台将上传的数据写入数据库，完成两级平台间的数据清洗与同步。/n

【技术特征摘要】
1.一种多级平台间数据清洗与同步方法，其特征在于，用于对下级平台和上级平台之间的数据进行清洗与同步，该方法包括以下步骤：
S1、对存储在下级平台的数据增加平台的唯一标识编号，并按照设定的数据字段形式进行存储；下级平台的数据库发生变更后，触发下级平台的数据清洗服务及数据同步服务；
S2、数据清理服务：根据下级平台数据的唯一标识编号，并通过数据各字段及对应权重计算数据的完整有效性值，判断下级平台数据是否有脏数据，若无脏数据，则启动数据同步服务；若有脏数据，则对脏数据进行数据清理，再启动数据同步服务；
S3、数据同步服务：检测下级平台和上级平台的在线状态，若两平台均为正常在线状态，则进行数据同步；
S4、将清洗后的下级平台数据传输至上级平台，上级平台将上传的数据写入数据库，完成两级平台间的数据清洗与同步。


2.根据权利要求1所述的多级平台间数据清洗与同步方法，其特征在于，步骤S1的具体方法为：
在下级平台运行过程中，数据库出现新增、删除、修改、查询的变更操作时，触发本级平台的数据清洗和同步服务，该数据同步服务向上级平台发送同步数据请求，数据清洗服务推送清洗指令给本级平台。


3.根据权利要求1所述的多级平台间数据清洗与同步方法，其特征在于，步骤S1中按照设定的数据形式进行存储的具体方法为：
对于物联接入的下级平台的数据表字段包含：设备编号、设备位置、设备状态、设备管理部门、设备有效期、设备新增时间、设备编辑时间、设备编辑人；对每个字段进行编号，分别为1，……8，其中编号排序是根据每个字段的重要程度进行编号，所有字段的必要性权重之和为1。


4.根据权利要求3所述的多级平台间数据清洗与同步方法，其特征在于，步骤S2的具体方法为：
通过对数据增加平台的唯一标识编号，进行脏数据初步识别，识别出不是来自下级平台的数据作为脏数据；
对于相同唯一标识编号的数据，即同一个设备数据存在多条时，只保留一条有效数据，其具体方法为：
通过利用冒泡比较法对多条相同唯一标识编号的数据进行比较，在多条相同唯一标识编号的数据中根据数据的字段内容找到包含信息最全面的N条数据；使用者根据实际情况定义每个字段必要性权重，在N条数据中根据每个字段的必要性权重，得到每条数据的有效性值，找到有效性值最大的一条数据，该条数据即为有效数据，除有效性值最大的数据外的其它数据均为脏数据；
对脏数据自动执行删除清洗；脏数据还包括信息不完整、操作时间异常的数据；然后将数据库数据进行打包，准备传送至上级平台。


5.根据权利要求4所述的多级平台间数据清洗与同步方法，其特征在于，步骤S2中的冒泡比较法具体为：
当上级平台中查找到的相同唯一标识编号的多条数据：Data1、Data2、Data3、……、Datan时，对多条数据进行内容完整性比较；内容完整性比较过程：
用一条数据Datax＝{x1，x2，x3，……，x8}的每个字段，与其它所有条数据Data1，……Datax-1，Datax+1，Datan的每个字段进行比较，获取Datax字段xi与其它所有数据Datay字段yi相同的数量，其中x＝1，……n；i＝1，……，8；y＝1，……，x-1，x+1，……n；定义一条数据的完整性值Numx计算公式...

【专利技术属性】
技术研发人员：冯晓磊，董志勇，李俊，邱琳，刘之海，纪扬，
申请(专利权)人：武汉理工光科股份有限公司，
类型：发明
国别省市：湖北;42