异常数据分拣方法、装置、计算设备及计算机存储介质制造方法及图纸

本发明专利技术实施例涉及移动通信技术领域，公开了一种异常数据分拣方法、装置、计算设备及计算机存储介质，该方法包括：获取历史稽核数据并根据所述历史稽核数据进行离线对比获取历史主键数据；根据所述历史主键数据获取实时参数模型；根据所述历史主键数据以及所述实时参数模型获取实时数据；对所述实时数据进行一致性分析，并获取异常数据。通过上述方式，本发明专利技术实施例能够弥补现有的比对的不实时性和不准确性，可以有效的稽核出真实差异数据，避免产生多余的异常数据。

【技术实现步骤摘要】
异常数据分拣方法、装置、计算设备及计算机存储介质
本专利技术实施例涉及移动通信
，具体涉及一种异常数据分拣方法、装置、计算设备及计算机存储介质。
技术介绍
在移动通信领域，用户的信息、资料、账户金额，根据配置的公共稽核规则和业务稽核模板对数据进行稽核比对后，由于会随着一些业务的订购或者一些其他业务的变更导致一些数据的变化，需要将一些信息记录下来，在后续包含产品订购、资金充值、网络使用、计费出账、销账欠费、结算酬金到入账等操作后数据是否一致，需要与之前的数据进行稽核校验，分拣出真实的异常差异数据进行修复。对于生产系统内部数据，如果直接去比对，首先移动通信领域的生产数据极其庞大且在实时变化，进行全量数据实时稽核会对生产系统产生较大压力，数据获取上也会比较耗时且稽核效率比较低下。稽核平台首先采用的是采集+稽核的方式进行批量稽核，通过采集前一天的数据到稽核数据库然后进行比对，这样首先会稽核出一批异常的数据，经过对差异数据分析后，会过滤掉一些差异数据，剩下的数据需要进行修复，但是由于数据可能是前一天的数据采集过来的，所以在修复和采集之间有很长的一段时间，数据可能被人工修复或发生其他变化。现有稽核比对存在如下缺陷：数据是采集过来的，实时性不强，比对出来的数据可能与生产系统当前数据已存在误差，误判率较高。当数据和生产实时数据存在误差时，以此份数据对生产系统进行数据修复时容易造成生产数据更不准确。
技术实现思路
鉴于上述问题，本专利技术实施例提供了一种异常数据分拣方法、装置、计算设备及计算机存储介质，克服了上述问题或者至少部分地解决了上述问题。根据本专利技术实施例的一个方面，提供了一种异常数据分拣方法，所述方法包括：获取历史稽核数据并根据所述历史稽核数据进行离线对比获取历史主键数据；根据所述历史主键数据获取实时参数模型；根据所述历史主键数据以及所述实时参数模型获取实时数据；对所述实时数据进行一致性分析，并获取异常数据。在一种可选的方式中，所述获取历史稽核数据并根据所历史稽核数据进行离线对比获取历史主键数据，包括：获取所述历史稽核数据并建立包括多个稽核节点的稽核流程；根据所述稽核流程收集主键字段；根据所述主键字段对所述历史稽核数据进行离线对比获取所述历史主键数据。在一种可选的方式中，所述根据所述历史主键数据获取实时参数模型，包括：根据所述历史主键数据对所述主键字段进行业务分析，获取属性字段以及关联字段信息；根据所述属性字段、所述关联字段信息以及预设的在线规则获取所述实时参数模型。在一种可选的方式中，所述根据所述历史主键数据以及所述实时参数模型获取实时数据，包括：以所述实时参数模型作为输入参数根据所述历史主键数据应用http协议接口、webservice协议接口、跨数据库访问获取实时数据。在一种可选的方式中，所述对所述实时数据进行一致性分析，并获取异常数据，包括：依次对进行一致性分析的第一方数据和第二方数据的主键、字符串以及属性字段判断是否一致；获取不一致的异常数据，其中，所述异常数据包括差异结果索引表和差异结果明细表。在一种可选的方式中，所述依次对进行一致性分析的第一方数据和第二方数据的主键、字符串以及属性字段判断是否一致，包括：判断所述第一方数据和所述第二方数据的主键是否一致；如果所述第一方数据的主键大于所述第二方数据的主键，则将所述第一方数据记为空，所述第二数据继续向下取数据；如果所述第一方数据的主键小于所述第二方数据的主键，则将所述第二方数据记为空，所述第一数据继续向下取数据；如果主键一致，则判断所述第一方数据和所述第二方数据的字符串是否一致；如果一致，则确定所述第一方数据与所述第二方数据一致；如果字符串不一致，则判断所述第一方数据和所述第二方数据的每一个属性字段是否相等；如果是，则确定所述第一方数据与所述第二方数据一致。在一种可选的方式中，所述对所述实时数据进行一致性分析，并获取异常数据，还包括：统计所述异常数据的差异数、一致数以及一致率，其中，所述差异数为所述地市的差异数据的总和，所述一致数为所述地市的一致数据的总和，所述一致率为所有地市一致数据的占比情况，所述一致率为所述一致数/(所述一致数+所述差异数)。根据本专利技术实施例的另一个方面，提供了一种异常数据分拣装置，所述装置包括：离线对比单元，用于获取历史稽核数据并根据所述历史稽核数据进行离线对比获取历史主键数据；参数获取单元，用于根据所述历史主键数据获取实时参数模型；实时数据获取单元，用于根据所述历史主键数据以及所述实时参数模型获取实时数据；分析单元，用于对所述实时数据进行一致性分析，并获取异常数据。根据本专利技术实施例的另一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述异常数据分拣方法的步骤。根据本专利技术实施例的又一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使所述处理器执行上述异常数据分拣方法的步骤。本专利技术实施例通过获取历史稽核数据并根据所述历史稽核数据进行离线对比获取历史主键数据；根据所述历史主键数据获取实时参数模型；根据所述历史主键数据以及所述实时参数模型获取实时数据；对所述实时数据进行一致性分析，并获取异常数据，能够弥补现有的比对的不实时性和不准确性，可以有效的稽核出真实差异数据，避免产生多余的异常数据。上述说明仅是本专利技术实施例技术方案的概述，为了能够更清楚了解本专利技术实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本专利技术实施例提供的异常数据分拣方法的流程示意图；图2示出了本专利技术实施例提供的异常数据分拣方法的步骤S11的流程示意图；图3示出了本专利技术实施例提供的异常数据分拣方法的实时数据获取示意图；图4示出了本专利技术实施例提供的异常数据分拣装置的结构示意图；图5示出了本专利技术实施例提供的计算设备的结构示意图。具体实施方式下面将参照附图更详细地描述本专利技术的示例性实施例。虽然附图中显示了本专利技术的示例性实施例，然而应当理解，可以以各种形式实现本专利技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本专利技术，并且能够将本专利技术的范围完整的传达给本领域的技术人员。图1示出了本专利技术实施例提供的异常数据分拣方法的流程示意图。如图1所示，异常数据分拣方法包括：步骤S11：获取历史稽核数据并根据所述历史稽核数据进行离线对比获取历史主键数据。在步本文档来自技高网...

【技术保护点】
1.一种异常数据分拣方法，其特征在于，所述方法包括：/n获取历史稽核数据并根据所述历史稽核数据进行离线对比获取历史主键数据；/n根据所述历史主键数据获取实时参数模型；/n根据所述历史主键数据以及所述实时参数模型获取实时数据；/n对所述实时数据进行一致性分析，并获取异常数据。/n

【技术特征摘要】
1.一种异常数据分拣方法，其特征在于，所述方法包括：
获取历史稽核数据并根据所述历史稽核数据进行离线对比获取历史主键数据；
根据所述历史主键数据获取实时参数模型；
根据所述历史主键数据以及所述实时参数模型获取实时数据；
对所述实时数据进行一致性分析，并获取异常数据。


2.根据权利要求1所述的方法，其特征在于，所述获取历史稽核数据并根据所历史稽核数据进行离线对比获取历史主键数据，包括：
获取所述历史稽核数据并建立包括多个稽核节点的稽核流程；
根据所述稽核流程收集主键字段；
根据所述主键字段对所述历史稽核数据进行离线对比获取所述历史主键数据。


3.根据权利要求1所述的方法，其特征在于，所述根据所述历史主键数据获取实时参数模型，包括：
根据所述历史主键数据对所述主键字段进行业务分析，获取属性字段以及关联字段信息；
根据所述属性字段、所述关联字段信息以及预设的在线规则获取所述实时参数模型。


4.根据权利要求1所述的方法，其特征在于，所述根据所述历史主键数据以及所述实时参数模型获取实时数据，包括：
以所述实时参数模型作为输入参数根据所述历史主键数据应用http协议接口、webservice协议接口、跨数据库访问获取实时数据。


5.根据权利要求1所述的方法，其特征在于，所述对所述实时数据进行一致性分析，并获取异常数据，包括：
依次对进行一致性分析的第一方数据和第二方数据的主键、字符串以及属性字段判断是否一致；
获取不一致的异常数据，其中，所述异常数据包括差异结果索引表和差异结果明细表。


6.根据权利要求5所述的方法，其特征在于，所述依次对进行一致性分析的第一方数据和第二方数据的主键、字符串以及属性字段判断是否一致，包括：
判断所述第一方数据和所述第二方数据的主键是...

【专利技术属性】
技术研发人员：陆丹杭，
申请(专利权)人：中国移动通信集团浙江有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：浙江;33