本申请实施例提出了一种数据核查方法、装置、设备和存储介质，所述方法包括：在数据流转的核查过程中，从第一数据处理端上获取第一待核查数据和对应的第一核查规则；按照所述第一核查规则对所述第一待核查数据进行核查，得到第一核查结果；在所述第一核查结果为不通过，且确定所述第一数据处理端不为数据核查方向上的最后一个数据处理端的情况下，按照所述数据核查方向获取第二数据处理端的第二待核查数据和对应的第二核查规则；按照所述第二核查规则对所述第二待核查数据进行核查，得到第二核查结果。由于数据核查是按照数据流转的反方向进行的，因此，可以准确且全面地确定出待核查数据中的质量问题。查数据中的质量问题。查数据中的质量问题。
【技术实现步骤摘要】
数据核查方法、装置、设备及可读存储介质
[0001]本申请涉及数据核查技术，尤其涉及一种数据核查方法、装置、设备及计算机可读存储介质。
技术介绍
[0002]相关技术中，提升数据质量的方法主要包括：基于数据仓库技术(Extract
‑
Transform
‑
Load，ETL)的流程，其主要在ETL流程中的节点对数据进行核查。但是，由于该方法只考虑到ETL流程中的数据质量，可能会导致核查结果不准确。
技术实现思路
[0003]本申请实施例期望提供一种数据核查方法、装置、数据核查设备和计算机存储介质。
[0004]第一方面，本申请实施例提供了一种数据核查方法，所述方法包括：在数据流转的核查过程中，从第一数据处理端获取第一待核查数据和对应的第一核查规则；按照所述第一核查规则对所述第一待核查数据进行核查，得到第一核查结果；在所述第一核查结果为不通过，且确定所述第一数据处理端不为数据核查方向上的最后一个数据处理端的情况下，按照所述数据核查方向获取第二数据处理端的第二待核查数据和对应的第二核查规则；所述数据核查方向与数据流转的方向相反；所述第二数据处理端为所述第一数据处理端的下一数据处理端；按照所述第二核查规则对所述第二待核查数据进行核查，得到第二核查结果。
[0005]第二方面，本申请实施例提供了一种数据核查装置，所述装置包括：第一获取模块，用于在数据流转的核查过程中，从第一数据处理端获取第一待核查数据和对应的第一核查规则；第一核查模块，用于按照所述第一核查规则对所述第一待核查数据进行核查，得到第一核查结果；第二获取模块，用于在所述第一核查结果为不通过，且确定所述第一数据处理端不为数据核查方向上的最后一个数据处理端的情况下，按照所述数据核查方向获取第二数据处理端的第二待核查数据和对应的第二核查规则；所述数据核查方向与数据流转的方向相反；所述第二数据处理端为所述第一数据处理端的下一数据处理端；第二核查模块，用于按照所述第二核查规则对所述第二待核查数据进行核查，得到第二核查结果。
[0006]第三方面，本申请公开实施例还提供了一种数据核查设备，包括：存储器和处理器，所述存储器，用于存储可执行指令；所述处理器，用于执行所述存储器中存储的可执行指令时，实现上述任一项所述的数据核查方法。
[0007]第四方面，本申请实施例还提供了一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现上述任一项所述的数据核查方法。
[0008]在本申请实施例中，数据核查是按照数据流转的反方向进行的，只有在所述第一核查结果为不通过，且确定所述第一数据处理端不为数据核查方向上的最后一个数据处理端的情况下，才进行第二数据处理端的待核查数据的核查，因此，可以准确且全面地确定出
待核查数据中的质量问题；同时，由于所述数据的流转方向上的数据处理端依次可以包括源数据端、数据库端、数据接口端和前端页面端，所述数据核查方向上的数据处理端依次包括前端页面端、数据接口端、数据库端和源数据端，因此，可以实现从前端页面端到数据源端的端到端的数据质量提升，相对于现有技术所核查的数据更加全面，避免了由于某些数据遗漏核查而导致核查结果不准确。
附图说明
[0009]图1为本申请实施例的数据流转方向示意图；
[0010]图2为本申请实施例的一种数据核查方法的流程示意图；
[0011]图3为本申请实施例的又一种数据核查方法的流程示意图；
[0012]图4为本申请实施例的另一种数据核查方法的流程示意图；
[0013]图5为本申请实施例的再一种数据核查方法的流程示意图；
[0014]图6为本申请实施例的还一种数据核查方法的流程示意图；
[0015]图7为本申请实施例的其它一种数据核查方法的流程示意图；
[0016]图8为本申请实施例的一种对于应用A在T时刻的数据核查方法的流程示意图；
[0017]图9为本申请实施例的数据核查装置的组成结构示意图；
[0018]图10为本申请实施例的一种数据核查设备的结构示意图。
具体实施方式
[0019]以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本申请，并不用于限定本申请。另外，以下所提供的实施例是用于实施本申请的部分实施例，而非提供实施本申请的全部实施例，在不冲突的情况下，本申请实施例记载的技术方案可以任意组合的方式实施。
[0020]由于互联网时代和大数据时代的到来，人们通过网络进行通信交流，产生了海量的无线、经分、故障等数据，运营商通过对这些数据进行采集、处理、分析，形成关键业务指标(Key Performance Indicators，KQI)，并通过前端页面对KPI进行展示，从而，可以对网络和端到端业务的关键指标进行监控，及时发现并呈现质差问题。
[0021]因数据采集方式多样、数据来源不一致，同时也因存在不同时间粒度的数据，存在实时与非实时的数据，数据库内采用不同的方法对入库数据进行处理。因此，前端页面出现缺数、指标范围不符合业务逻辑、展示数据延迟、不同页面相同含义数据不一致等数据质量问题。同时，这些问题也无法得到快速定位与及时解决。因此，为了提高前端页面的数据的及时性、完整性、合法性、准确性和一致性，并对前端页面产生的数据质量问题进行快速定位并及时解决，对前端页面的端到端数据质量进行提升势在必行。
[0022]图1为本申请实施例的数据流转方向示意图，如图1所示，按照数据流转方向进行数据流转的过程中依次所经历的数据处理端包括：源数据端101、数据库端102、数据接口端103和前端页面端104，其中，源数据端101获取通信数据，并将获取的通信数据发送给数据库端102，数据库端102将所述通信数据进行数据处理，并将处理后的数据发送给数据接口端103，数据接口端103接收数据库端发送的数据，并将接收的数据发送给前端页面端104，前端页面端104对接收的数据进行展示。
[0023]相关技术中，提升数据质量的方法，主要有以下两种：方法1：基于ETL的流程，在每个核查节点进行相应的规则核查并生成核查结果，核查结果满足阈值范围则生成告警详单，告警详单在数据库中进行汇总和呈现。方法2：对相关数据先进行数据清洗，对数据清洗中发现的问题派发到相关数据提交人处进行问题解决，实现数据质量的可持续化管理。
[0024]可以看出，方法1是主要针对ETL流程进行数据质量提升，ETL仅是数据库对数据进行处理的其中一个工具，只考虑到ETL流程的数据质量，针对数据库对数据进行处理的其它工具，会包括其它处理过程，例如，汇总过程，因此，没有考虑到数据库对数据进行其他处理过程的数据质量。方法2，仅对数据库无法通过数据清洗的数据进行核查，没有考虑到数据转换、数据汇总等情况，更没有对数据接口和前端页面的数据进行核查。
[0025]针对上述技术问题，在本申请的一些实施例中，提出了一种数据核查方法。
[0026]图2本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据核查方法，其特征在于，所述方法包括：在数据流转的核查过程中，从第一数据处理端上获取第一待核查数据和对应的第一核查规则；按照所述第一核查规则对所述第一待核查数据进行核查，得到第一核查结果；在所述第一核查结果为不通过，且确定所述第一数据处理端不为数据核查方向上的最后一个数据处理端的情况下，按照所述数据核查方向获取第二数据处理端的第二待核查数据和对应的第二核查规则；所述数据核查方向与数据流转的方向相反；所述第二数据处理端为所述第一数据处理端的下一数据处理端；按照所述第二核查规则对所述第二待核查数据进行核查，得到第二核查结果。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述第一核查结果为通过的情况下，确定所述第一数据处理端是否为所述数据核查方向上的首个数据处理端；在确定所述第一数据处理端为所述数据核查方向上的首个数据处理端的情况下，确定整个所述数据流转过程中的数据无质量问题。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在所述第一核查结果为通过，且确定所述第一数据处理端不为所述数据核查方向上的首个数据处理端的情况下，确定所述第一待核查数据无质量问题，并输出告警信息；其中，所述告警信息用于表征所述第一数据处理端未向第三数据处理端提供符合第一核查规则的数据，以使得所述第三数据处理端重新从所述第一数据处理端获取数据以重新进行数据流转；所述第三数据处理端为数据核查方向上所述第一数据处理端的上一数据处理端。4.根据权利要求3所述的方法，其特征在于，在输出告警信息后，所述方法还包括：获取所述首个数据处理端上的首个待核查数据和对应的首个核查规则；其中，所述首个待核查数据是数据重新流转到所述首个数据处理端上的待核查数据；按照所述首个核查规则对所述首个待核查数据进行核查，得到首个核查结果。5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：在所述第一核查结果为不通过，且确定所述第一数据处理端为数据核查方向上的最后一个数据处理端的情况下，将所述第一核查结果确定为所述第一待核查数据存在质量问题；将所述第一待核查数据存在质量问题的第一核查结果反馈给源数据方。6.根据权利要求1至4任一项所述的方法，其特征在于，所述数据的流转方向上的数据处理端依次包括源数据端、数据库端、数据接口端和前端页面端，所述数据核查方向上的数据处理端依次包括前端页面端、数据接口端、数据库端和源数据端...
【专利技术属性】
技术研发人员：唐丽雯，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。