一种数据自动校验方法、系统和设备技术方案

本发明专利技术实施例公开了一种数据自动校验方法，该方法包括以下步骤：上级数据质量校验系统接收来自下级数据质量校验系统的统计数据；所述上级数据质量校验系统对所述统计数据进行完整性检查；当完整性检查结果为统计数据完整时，所述上级数据质量校验系统对所述统计数据进行合理性检查；当合理性检查结果为统计数据合理时，所述上级数据质量校验系统确定所述统计数据为正常数据。本发明专利技术中，通过对统计数据进行完整性检查和合理性检查，使得数据质量的校验粒度更细，实现了数据的准确性校验，而且数据质量校验结果的反馈加及时、方便。

【技术实现步骤摘要】

本专利技术涉及通信
，特别是涉及一种数据自动校验方法、系统和设备。
技术介绍
随着电信企业的不断发展，电信行业的竞争越来越激烈，一方面，客户可以选择的 电信业务及电信企业越来越多，电信企业对客户的争夺愈演愈烈，由于客户的离网，或重新 入网，造成了客户的大规模流失，使得电信企业的业务收入下降、客户发展的效率低，成本 高；另一方面，由于电信客户的高速增长，形成了需求差异很大的客户群，适用于不同人群 的各种新业务不断推出，电信企业需要通过分析市场、客户群，将最合适的业务推荐给最需 要的客户，从而实现业务和客户的最佳匹配。其中，在上述激烈的竞争情况下，为了提高经 济效益，需要运用科学的经营分析方法，实现精细化的管理和营销，用高质量的服务来吸引 和留住客户，扩大市场占有率，并在竞争中占据有利位置。为了解决上述问题，电信运营商 都建立了以经营分析系统为核心的企业决策支持体系，通过对日常经营数据的分析、挖掘， 为公司决策者、各级管理者提供经营决策依据，以实现精细化营销。通过使用上述经营分析系统，各电信企业都建立了面向企业运营的统一数据信息 平台，为全网业务、客户服务、市场营销、经营决策、业务实施等工作提供了有效的支撑，例 如，通过经营分析系统对来自下一级别的数据文件进行校验，使得各电信运营商根据该校 验结果进行数据的统计和分析，从而为各级管理者提供了经营决策依据，进一步支持了对 各省(下一级别)市场经营活动的管理和指导，为精细化运营提供了基础。现有技术中，经营分析等大型系统中，在对数据文件进行校验时是以数据文件为 最小粒度进行及时性和完整性校验，而校验的结果通常是以日志的形式记录的。此外，在一种电信管理网中进行上下层网管数据一致性的处理方法中，下层网管 向上层网管上报数据变化，上层网管根据电信业务配置的情况对变化的数据进行冲突校， 对于校验结果为非冲突的数据，上层网管直接进行入库处理；对于校验结果为冲突的数据， 上层网管根据同步规则对冲突数据进行一致性处理，使数据达到一致。从而实现了对网管 数据进行细粒度的数据校验方法，使网管数据冲突的范围影响最小。在实现本专利技术的过程中，专利技术人发现现有技术中存在以下问题在以数据文件为最小粒度进行及时性和完整性校验时，只能实现对数据文件本身 进行及时性和完整性的校验，而数据文件内部实际数据记录和字段是否完整、格式是否正 确无法校验，校验的准确性较差；而且校验结果是以日志形式记录的，不能进行实时反馈。而上述电信管理网中进行上下层网管数据一致性的处理方法，是针对一致性进行 校验的，即在同步规则的条件下，若数据完全一致，则数据正确，否则数据异常，该处理方法 是应用于网管系统等对精度要求高的系统中，并不适用于以统计各类指标，描述数据变化 趋势和规律的分析系统中，而且校验结果也没有进行实时反馈。
技术实现思路
本专利技术实施例提供一种数据自动校验方法、系统和设备，以对数据进行准确的校验。为了达到上述目的，本专利技术实施例提出了一种数据自动校验方法，应用于由不同等级数据质量校验系统组成的系统中，包括以下步骤上级数据质量校验系统接收来自下级数据质量校验系统的统计数据；所述上级数据质量校验系统对所述统计数据进行完整性检查；当完整性检查结果为统计数据完整时，所述上级数据质量校验系统对所述统计数 据进行合理性检查；当合理性检查结果为统计数据合理时，所述上级数据质量校验系统确定所述统计 数据为正常数据。优选的，所述上级数据质量校验系统对所述统计数据进行完整性检查包括检查统计数据的数据表类信息是否完整，当数据表类信息不完整时，所述统计数 据不完整；否则，进一步检查统计数据的记录类信息是否完整，当记录类信息不完整时，所 述统计数据不完整；否则，进一步校验统计数据的字段类信息是否完整，当字段类信息不完 整时，所述统计数据不完整，否则，所述统计数据完整。优选的，所述上级数据质量校验系统对所述统计数据进行合理性检查包括所述上级数据质量校验系统对所述统计数据进行逻辑性检查；和/或，对所述统 计数据进行一致性检查。优选的，所述上级数据质量校验系统对所述统计数据进行逻辑性检查具体包括所述上级数据质量校验系统检查所述统计数据是否为造假数据；和/或检查所述 统计数据是否为统计学异常数据。优选的，检查所述统计数据是否为造假数据包括以下内容中的一种或几种检查 所述统计数据是否为人工填写的造假数据；检查所述统计数据是否为系统故障引起的造假 数据；检查所述统计数据是否为函数生成器生成的造假数据；检查所述统计数据是否为统计学异常数据包括根据统计数据的局部平均值和该 统计数据的全局平均值检查所述统计数据是否为统计学异常数据；和/或根据统计数据的 个别取值和该统计数据的局部平均值检查所述统计数据是否为统计学异常数据。优选的，对所述统计数据进行一致性检查具体包括以下内容中的一种或几种对所述统计数据进行日报与月报的交叉一致性检查；对所述统计数据进行日报的 一致性检查；对所述统计数据进行月报的一致性检查；对所述统计数据进行日报业务量的 一致性检查；对所述统计数据进行月报业务量的一致性检查。优选的，对所述统计数据进行日报与月报的交叉一致性检查具体包括检查同一 地区、同一受理渠道、同一品牌类型、同一业务类型，一个月内日报所有统计数据之和与月 报对应的统计数据是否相同；对所述统计数据进行日报或月报的一致性检查具体包括检查总体统计数据表中 特定字段的统计数据值与各个子表中对应字段的统计数据之和是否相同；和/或，检查总 体统计数据表中特定字段的统计数据值与各个子表中对应字段的统计数据值是否相同；对所述统计数据进行日报业务量或月报业务量的一致性检查具体包括检查某地 区某类业务构成的各子类所占比重与全网平均所占比重之间的关系。优选的，所述方法还包括当完整性检查结果为统计数据不完整时，或所述完整性检查结果为统计数据完整 但合理性检查结果为统计数据不合理时，所述上级数据质量校验系统向所述下级数据质量 校验系统发送校验结果，所述校验结果中携带所述统计数据异常的信息。优选的，所述上级数据质量校验系统向所述下级数据质量校验系统发送校验结果之后，还包括所述下级数据质量校验系统根据所述校验结果判断所述统计数据是否异常；当所述统计数据异常时，所述下级数据质量校验系统修改所述统计数据，并将修 改后的统计数据重新上传给所述上级数据质量校验系统；当所述统计数据没有异常时，所述下级数据质量校验系统向所述上级数据质量校 验系统发送统计数据没有异常的说明信息。优选的，所述上级数据质量校验系统向所述下级数据质量校验系统发送校验结果 具体包括所述上级数据质量校验系统根据预先存储的地址信息将所述校验结果发送给对 应的管理终端；所述管理终端将所述校验结果发送给所述下级数据质量校验系统。本专利技术实施例提出了一种数据自动校验系统，包括配置管理模块、数据校验模块 和校验结果发布模块；其中，所述配置管理模块，用于对预设的统计数据的校验规则进行统一管理，所述统计 数据的校验规则包括完整性校验规则、逻辑性校验规则和一致性校验规则；所述数据校验模块，用于根据预先设定的校验规则和调度规则，触发统计数据的 校验操作；所述校验结果发布模块，用于将校验结果以报表展示，并将校验结果发送给下级 数据质量校验系统，本文档来自技高网...

【技术保护点】
一种数据自动校验方法，应用于由不同等级数据质量校验系统组成的系统中，其特征在于，包括以下步骤：上级数据质量校验系统接收来自下级数据质量校验系统的统计数据；所述上级数据质量校验系统对所述统计数据进行完整性检查；当完整性检查结果为统计数据完整时，所述上级数据质量校验系统对所述统计数据进行合理性检查；当合理性检查结果为统计数据合理时，所述上级数据质量校验系统确定所述统计数据为正常数据。

【技术特征摘要】
一种数据自动校验方法，应用于由不同等级数据质量校验系统组成的系统中，其特征在于，包括以下步骤上级数据质量校验系统接收来自下级数据质量校验系统的统计数据；所述上级数据质量校验系统对所述统计数据进行完整性检查；当完整性检查结果为统计数据完整时，所述上级数据质量校验系统对所述统计数据进行合理性检查；当合理性检查结果为统计数据合理时，所述上级数据质量校验系统确定所述统计数据为正常数据。2.如权利要求1所述的方法，其特征在于，所述上级数据质量校验系统对所述统计数 据进行完整性检查包括检查统计数据的数据表类信息是否完整，当数据表类信息不完整时，所述统计数据不 完整；否则，进一步检查统计数据的记录类信息是否完整，当记录类信息不完整时，所述统 计数据不完整；否则，进一步校验统计数据的字段类信息是否完整，当字段类信息不完整 时，所述统计数据不完整，否则，所述统计数据完整。3.如权利要求1所述的方法，其特征在于，所述上级数据质量校验系统对所述统计数 据进行合理性检查包括所述上级数据质量校验系统对所述统计数据进行逻辑性检查；和/或，对所述统计数 据进行一致性检查。4.如权利要求3所述的方法，其特征在于，所述上级数据质量校验系统对所述统计数 据进行逻辑性检查具体包括所述上级数据质量校验系统检查所述统计数据是否为造假数据；和/或检查所述统计 数据是否为统计学异常数据。5.如权利要求4所述的方法，其特征在于，检查所述统计数据是否为造假数据包括以 下内容中的一种或几种检查所述统计数据是否为人工填写的造假数据；检查所述统计数 据是否为系统故障引起的造假数据；检查所述统计数据是否为函数生成器生成的造假数 据；检查所述统计数据是否为统计学异常数据包括根据统计数据的局部平均值和该统计 数据的全局平均值检查所述统计数据是否为统计学异常数据；和/或，根据统计数据的个 别取值和该统计数据的局部平均值检查所述统计数据是否为统计学异常数据。6.如权利要求3所述的方法，其特征在于，对所述统计数据进行一致性检查具体包括 以下内容中的一种或几种对所述统计数据进行日报与月报的交叉一致性检查；对所述统计数据进行日报的一致 性检查；对所述统计数据进行月报的一致性检查；对所述统计数据进行日报业务量的一致 性检查；对所述统计数据进行月报业务量的一致性检查。7.如权利要求6所述的方法，其特征在于，对所述统计数据进行日报与月报的交叉一 致性检查具体包括检查同一地区、同一受理渠道、同一品牌类型、同一业务类型，一个月内 日报所有统计数据之和与月报对应的统计数据是否相同；对所述统计数据进行日报或月报的一致性检查具体包括检查总体统计数据表中特定 字段的统计数据值与各个子表中对应字段的统计数据之和是否相同；和/或，检查总体统计数据表中特定字段的统计数据值与各个子表中对应字段的统计数据值是否相同；对所述统计数据进行日报业务量或月报业务量的一致性检查具体包括检查某地区某 类业务构成的各子类所占比重与全网平均所占比重之间的关系。8.如权利要求1所述的方法，其特征在于，所述方法还包括当完整性检查结果为统计数据不完整时，或所述完整性检查结果为统计数据完整但合 理性检查结果为统计数据不合理时，所述上级数据质量校验系统向所述下级数据质量校验系统发送校验结果，所述校验结 果中携带所述统计数据异常的信息。9.如权利要求8所述的方法，其特征在于，所述上级数据质量校验系统向所述下级数 据质量校验系统发送校验结果之后，还包括所述下级数据质量校验系统根据所述校验结果判断所述统计数据是否异常； 当所述统计数据异常时，所述下级数据质量校验系统修改所述统计数据，并将修改后 的统计数据重新上传给所述上级数据质量校验系统；当所述统计数据没有异常时，所述下级数据质量校验系统向所述上级数据质量校验系 统发送统计数据没有异常的说明信息。10.如权利要求8所述的方法，其特征在于，所述上级数据质量校验系统向所述下级数 据质量校验系统发送校验结果具体包括所述上级数据质量校验系统根据预先存储的地址信息将所述校验结果发送给对应的 管理终端；所述管理终端将所述校验结果发送给所述下级数据质量校验系统。11.一种数据自动校验系统，其特征在于，包括配置管理模块、数据校验模块和校验 结果发布模块；其中，所述配置管理模块，用于对预设的统计数据的校验规则进行统一管理，所述统计数据 的校验规则包括完整性校验规则、逻辑性校验规则和一致性校验规则；所述数据校...

【专利技术属性】
技术研发人员：陶振武，颜红燕，
申请(专利权)人：中国移动通信集团公司，
类型：发明
国别省市：11[中国|北京]