数据比对方法技术

本发明专利技术涉及一种数据比对方法，它包括以下步骤：步骤1：设置用于进行数据比对的配置表，所述配置表包括数据比对控制流程信息、数据比对内容的地址信息和数据差异量阀值信息；步骤2：按照配置表中的数据比对控制流程信息先将要稽核的数据从数据库中取出，并按照同一个字段排序，所述字段包括索引字段和属性字段；步骤:3：按照配置表中数据比对规则信息对数据进行比对；步骤4：判断数据的差异量是否超过配置表中设定的数据差异量阀值，如超过则记录数据的比对结果，如没有超过则继续进行比对；步骤:5：比对结束后根据数据的属性判断是否需要进行第二次比对，如果不需要则将保存比对结果，如需要则返回步骤3。本发明专利技术的有益效果是：通过配置表对数据比对进行统一管理，比对速度快，复用度高。

【技术实现步骤摘要】

本专利技术涉及一种。
技术介绍
在各电信运营商，BOSS内部，BOSS和全网业务平台，HLR交换机和BOSS及智能网平台等，由于人工误操作，网络接口异常，及系统BUG等存在大量的稽核需求；通过分析稽核需求，发现有一类稽核需求非常相似，完全可以抽离出来形成一个公共的稽核引擎。这一类稽核需求即为两个数据源，比对这两个数据源的记录是否一致(即记录是否存在或者按照某个基准字段为弓I，所有的字段是否一致)，现有的稽核没有统一的管理功能，比对速度较慢。
技术实现思路
为解决上述问题，本专利技术提供了一种。本专利技术解决上述技术问题的技术方案如下一种，它包括以下步骤步骤1 设置用于进行数据比对的配置表，所述配置表包括数据比对控制流程信息、数据比对内容的地址信息和数据差异量阀值信息；步骤2 按照配置表中的数据比对控制流程信息先将要稽核的数据从数据库中取出，并按照同一个字段排序，所述字段包括索引字段和属性字段；步骤3:对数据进行比对；步骤4 判断数据的差异量是否超过配置表中设定的数据差异量阀值，如超过则记录数据的比对结果，如没有超过则继续进行比对；步骤5 比对结束后根据数据的属性判断是否需要进行第二次比对，如果不需要则将保存比对结果，如需要则返回步骤3。进一步的，所述数据的属性包括动态和静态，所述动态为数据随着时间的变化变动频繁，所述静态为数据随着时间的变化基本不变。进一步的，所述比对结果包括差异量和差异内容。进一步的，所述步骤3中数据比对为单线程比对。进一步的，所述步骤3中数据比对为多线程比对，具体为，根据数据比对控制流程信息内的分区设置信息，将数据放入数据库中设置的分区表，一个分区一个线程，同时进行数据比对。本专利技术的有益效果是通过配置表对数据比对进行统一管理，比对速度快，复用度尚ο附图说明图1为本专利技术流程图。具体实施例方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。如图1所示，一种，其特征在于，它包括以下步骤步骤1 设置用于进行数据比对的配置表，所述配置表包括数据比对控制流程信息、数据比对内容的地址信息和数据差异量阀值信息等；差异量阀值信息指配置表中设定的数据的差异数量值；数据比对内容的地址信息为配置表设置的分区字段或服务区的数据地址信息，所述服务区是按照地域的不同划分的。步骤2 按照配置表中的数据比对控制流程信息先将要稽核的数据从数据库中取出，并按照同一个字段排序，所述字段包括索引字段和属性字段；步骤3:对数据进行比对；步骤4 判断数据的差异量是否超过配置表中设定的数据差异量阀值，如超过则记录数据的比对结果，如没有超过则继续进行比对；步骤5 比对结束后根据数据的属性判断是否需要进行第二次比对，如果不需要则将保存比对结果，如需要则返回步骤3。所述数据的属性包括动态和静态，所述动态为数据随着时间的变化变动频繁，所述静态为数据随着时间的变化基本不变。数据的属性为动态的需要进行第二次比对，数据属性是静态的则不需要进行第二次比对。所述比对结果包括差异量和差异内容。差异量即数据存在的差异的数量，差异内容即数据的具体的不同之处。数据比对为单线程比对，即将要稽核比对的数据依次进行比对。当数据比对的数据比较多时，为了提高比对速度，将要比对的数据进行多线程比对，具体为，根据数据比对控制流程信息内的分区设置信息，将要稽核比对的数据进行分区，一个分区一个线程，同时进行数据比对。具体实例为从数据库中取出4组数据进行比对，如果进行单线程比对，则4组数据依次进行比对；如果进行多线程比对，则根据数据比对控制流程信息内的分区设置信息， 将4组数据进行分区设置，一个分区一个线程，4组数据同时进行比对。本专利技术具体数据比对实例如下例如取出要比对的数据，没个结果集的每条记录有两个字段，第一个是索引字段，第二个是属性字段。Resultsetl rstl Resultset2 rst2A, 1A,1B,2 B，0C, 3 D，4D，4 E，5F,6那么比对算法是这样进行的，rstl, rst2获取第一行发现无差异，都往下进行；获取第二行，发现索引字段一样但是属性字段值不一样，则把索引值B和属性字段值2和0都记录下来，从结果集里边再取第三行，发现索引值不一样；接着再取第四行，发现rstl第四行的索引值与rst2的索引值一样，则确定rstl的第三行是比rst2多出的数据，记录rstl 第三行的所有值，接着比对rstl第四行的属性字段值与rst2的属性字段值，发现属性值一样；接着两个结果集往下取，rstl的索引值段值F与rst2的索引字段值E不等，接着往下走，发现rst2已经游标到头了，所以就把rstl以后所有的数据记录下来，这些是rstl多出的，再记录rst2最后的数据，是rst2多出的数据。以上数据比对的结果为差异量为4，差异内容为属性字段值分别为2和0 ；索引值 C和F对应的数据是多出来的；索引值E对应的数据是多出来的。这列举出了其中的一种比较普遍的情况。2、数据提取采用缓存方式，用 JDBC(Java Data Base Connectivity, java 数据库连接)的批量提取功能。3、多线程采用线程池，大数据量按照配置表分区设置同时进行稽核比对。4、数据库连接采用数据库连接池，并使用封装后的结果集可以同时配置多个数据库连接。稽核组件配置表部分字段及说明。本文档来自技高网...

【技术保护点】
１．一种数据比对方法，其特征在于，它包括以下步骤：步骤１：设置用于进行数据比对的配置表，所述配置表包括数据比对控制流程信息、数据比对内容的地址信息和数据差异量阀值信息；步骤２：按照配置表中的数据比对控制流程信息先将要稽核的数据从数据库中取出，并按照同一个字段排序，所述字段包括索引字段和属性字段；步骤：３：对数据进行比对；步骤４：判断数据的差异量是否超过配置表中设定的数据差异量阀值，如超过则记录数据的比对结果，如没有超过则继续进行比对；步骤：５：比对结束后根据数据的属性判断是否需要进行第二次比对，如果不需要则将保存比对结果，如需要则返回步骤３。

【技术特征摘要】
1.一种数据比对方法，其特征在于，它包括以下步骤步骤1 设置用于进行数据比对的配置表，所述配置表包括数据比对控制流程信息、数据比对内容的地址信息和数据差异量阀值信息；步骤2 按照配置表中的数据比对控制流程信息先将要稽核的数据从数据库中取出， 并按照同一个字段排序，所述字段包括索引字段和属性字段；步骤3:对数据进行比对；步骤4:判断数据的差异量是否超过配置表中设定的数据差异量阀值，如超过则记录数据的比对结果，如没有超过则继续进行比对；步骤5 比对结束后根据数据的属性判断是否需要进行第二次比对，如果不需要则将保存比对结果，如需要则返回步...

【专利技术属性】
技术研发人员：杨澜，
申请(专利权)人：北京神州数码思特奇信息技术股份有限公司，
类型：发明
国别省市：11