本申请公开了一种数据质量检测方法、装置、设备及其存储介质，属于计算机技术领域。数据质量检测方法包括：获取待检测业务数据，并根据预设的形式检测规则，对待检测业务数据进行形式检测，得到形式检测结果；根据待检测业务数据所属的业务类型，从预设的元数据库中调取业务类型下的历史业务数据；对历史业务数据的基础信息进行分类与汇总，得到各种类基础信息的标准范围，以作为待检测业务数据的业务检测规则；根据业务检测规则，对待检测业务数据进行业务检测，得到业务检测结果；根据形式检测结果和业务检测结果，生成待检测业务数据的数据质量检测报告。本申请解决了常规的数据质量检测的准确性较低的技术问题。量检测的准确性较低的技术问题。量检测的准确性较低的技术问题。
【技术实现步骤摘要】
数据质量检测方法、装置、设备及其存储介质
[0001]本申请涉及计算机
，尤其涉及一种数据质量检测方法、装置、设备及其存储介质。
技术介绍
[0002]随着数据时代来临，大数据利用成为了提高核心竞争力的关键因素，各行各业的决策也从“业务驱动”逐步转变为“数据驱动”，而数据质量是正数据的生命线，因此，需要对数据质量进行严格的检测。
[0003]常规的数据质量检测方法是通过预设检测指标对数据进行检测，但由于检测指标多为人为设定的通用检测指标，进而导致检测过程基于设置人员的知识局限，可能会出现很多遗漏，进而使得对数据质量检测的准确性较低。
[0004]上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
[0005]本申请的主要目的在于提供一种数据质量检测方法、装置、设备及其存储介质，旨在解决常规的数据质量检测的准确性较低的技术问题。
[0006]为实现上述目的，本申请提供一种数据质量检测方法，所述数据质量检测方法包括：
[0007]获取待检测业务数据，并根据预设的形式检测规则，对所述待检测业务数据进行形式检测，得到形式检测结果；
[0008]根据所述待检测业务数据所属的业务类型，从预设的元数据库中调取所述业务类型下的历史业务数据；
[0009]对所述历史业务数据的基础信息进行分类与汇总，得到各种类基础信息的标准范围，以作为所述待检测业务数据的业务检测规则；
[0010]根据所述业务检测规则，对所述待检测业务数据进行业务检测，得到业务检测结果；
[0011]根据所述形式检测结果和所述业务检测结果，生成所述待检测业务数据的数据质量检测报告。
[0012]可选地，在所述得到业务检测结果的步骤之后，包括：
[0013]若所述待检测业务数据为各数据源根据接收到的当前业务任务所发送的当前业务数据，则确定各所述当前业务数据之间的数据相似度；
[0014]将所述数据相似度低于预设的相似度阈值的当前业务数据作为异常业务数据，并记录在所述业务检测结果中。
[0015]可选地，在所述确定各所述当前业务数据之间的数据相似度的步骤之后，还包括：
[0016]计算各所述数据相似度的相似度平均值；
[0017]将所述相似度平均值作为所述相似度阈值。
[0018]可选地，所述待检测业务数据为各数据源参照与接收到的当前业务任务相匹配的数据标准规范所发送的当前业务数据，在所述得到业务检测结果的步骤之后，还包括：
[0019]若同时存在所述业务检测结果为异常和正常的当前业务数据，则将所述业务检测结果为异常的当前业务数据作为第一异常业务数据，并识别发送所述第一异常业务数据的第一异常数据源；
[0020]根据所述业务检测结果为正常的当前业务数据的基础信息，生成数据参考信息，并将所述数据参考信息发送至所述第一异常数据源，以提示所述第一异常数据源根据所述数据参考信息，对所述第一异常业务数据以及发送所述第一异常业务数据时参照的数据标准规范进行修正。
[0021]可选地，所述待检测业务数据为各所述数据源参照与接收到的当前业务任务相匹配的数据标准规范所发送的数据，在所述得到业务检测结果的步骤之后，还包括：
[0022]若存在所述业务检测结果为异常的当前业务数据，则识别所述业务检测结果为异常的异常原因；
[0023]提取所述当前业务任务中的关键字段，并从预设的标准规范库中筛选出目标数据标准规范，其中，所述标准规范库中存储有各数据源在各业务任务下发送业务数据时需满足的数据标准规范，所述目标数据规范为相匹配的业务任务中存在所述关键字段的数据标准规范；
[0024]确定参照各所述目标数据标准规范进行业务数据发送的目标数据源，并将所述异常原因发送至各所述目标数据源，以使各所述目标数据源，根据所述异常原因，对存储在各所述目标数据本地的目标数据标准规范进行修正。
[0025]可选地，所述待检测业务数据为各数据源根据接收到的当前业务任务所发送的当前业务数据，在所述得到形式检测结果的步骤之后，还包括：
[0026]若存在所述形式检测结果为异常的当前业务数据，则将所述形式检测结果为异常的当前业务数据作为第二异常业务数据，并识别发送所述第二异常业务数据的第二异常数据源；
[0027]获取所述第二异常数据源发送所述第二异常业务数据的发送记录，判断所述发送记录中的发送数据量与所述第二异常业务数据的数据量是否一致；
[0028]若否，则向所述第二异常数据源发送重传请求，以重新获取所述第二异常数据源发送的当前业务数据。
[0029]可选地，在所述生成所述待检测业务数据的数据质量检测报告的步骤之后，还包括：
[0030]若所述待检测业务数据为所述元数据库中存储的业务数据，且所述数据质量检测报告中存在质量异常数据，则识别所述质量异常数据中的异常字段；
[0031]根据所述元数据库中各元数据的血缘关系进行血缘追踪，得到与所述异常字段具有血缘关系的目标元数据，并输出针对所述目标元数据的预警信号。
[0032]本申请还提供一种数据质量检测装置，所述数据质量检测装置包括：
[0033]形式检测模块，用于获取待检测业务数据，并根据预设的形式检测规则，对所述待检测业务数据进行形式检测，得到形式检测结果；
[0034]调取模块，用于根据所述待检测业务数据所属的业务类型，从预设的元数据库中调取所述业务类型下的历史业务数据；
[0035]汇总模块，用于对所述历史业务数据的基础信息进行分类与汇总，得到各种类基础信息的标准范围，以作为所述待检测业务数据的业务检测规则；
[0036]业务检测模块，用于根据所述业务检测规则，对所述待检测业务数据进行业务检测，得到业务检测结果；
[0037]生成模块，用于根据所述形式检测结果和所述业务检测结果，生成所述待检测业务数据的数据质量检测报告。
[0038]本申请还提供一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据质量检测程序，所述数据质量检测程序配置为实现上述的数据质量检测方法的步骤。
[0039]本申请还提供一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有数据质量检测程序，所述数据质量检测程序被处理器执行以实现上述的数据质量检测方法的步骤。
[0040]本申请公开了一种数据质量检测方法，通过获取待检测业务数据，并根据预设的形式检测规则，对待检测业务数据进行形式检测，得到形式检测结果；通过较为通用的形式检测规则，实现对数据质量的一级检测，以排除存在常规形式问题的数据；进而根据待检测业务数据所属的业务类型，从预设的元数据库中调取业务类型下的历史业务数据；并对历史业务数据的基础信息进行分类与汇总，得到各种类基础信息的标准范围，以作为待检测业务数据的业务检测规则；根据业务检测规则，对待检测业务数据进行业务本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据质量检测方法，其特征在于，所述数据质量检测方法包括以下步骤：获取待检测业务数据，并根据预设的形式检测规则，对所述待检测业务数据进行形式检测，得到形式检测结果；根据所述待检测业务数据所属的业务类型，从预设的元数据库中调取所述业务类型下的历史业务数据；对所述历史业务数据的基础信息进行分类与汇总，得到各种类基础信息的标准范围，以作为所述待检测业务数据的业务检测规则；根据所述业务检测规则，对所述待检测业务数据进行业务检测，得到业务检测结果；根据所述形式检测结果和所述业务检测结果，生成所述待检测业务数据的数据质量检测报告。2.如权利要求1所述的数据质量检测方法，其特征在于，在所述得到业务检测结果的步骤之后，包括：若所述待检测业务数据为各数据源根据接收到的当前业务任务所发送的当前业务数据，则确定各所述当前业务数据之间的数据相似度；将所述数据相似度低于预设的相似度阈值的当前业务数据作为异常业务数据，并记录在所述业务检测结果中。3.如权利要求2所述的数据质量检测方法，其特征在于，在所述确定各所述当前业务数据之间的数据相似度的步骤之后，还包括：计算各所述数据相似度的相似度平均值；将所述相似度平均值作为所述相似度阈值。4.如权利要求1所述的数据质量检测方法，其特征在于，所述待检测业务数据为各数据源参照与接收到的当前业务任务相匹配的数据标准规范所发送的当前业务数据，在所述得到业务检测结果的步骤之后，还包括：若同时存在所述业务检测结果为异常和正常的当前业务数据，则将所述业务检测结果为异常的当前业务数据作为第一异常业务数据，并识别发送所述第一异常业务数据的第一异常数据源；根据所述业务检测结果为正常的当前业务数据的基础信息，生成数据参考信息，并将所述数据参考信息发送至所述第一异常数据源，以提示所述第一异常数据源根据所述数据参考信息，对所述第一异常业务数据以及发送所述第一异常业务数据时参照的数据标准规范进行修正。5.如权利要求1所述的数据质量检测方法，其特征在于，所述待检测业务数据为各所述数据源参照与接收到的当前业务任务相匹配的数据标准规范所发送的数据，在所述得到业务检测结果的步骤之后，还包括：若存在所述业务检测结果为异常的当前业务数据，则识别所述业务检测结果为异常的异常原因；提取所述当前业务任务中的关键字段，并从预设的标准规范库中筛选出目标数据标准规范，其中，所述标准规范库中存储有各数据源在各业务任务下发送业务数据时需满足的数据标准规范，所述目标数据规范为相匹配的业务任务中存在所述关键字...
【专利技术属性】
技术研发人员：王颖，冯凯，张敏达，陈乐，陈卓，杨怡，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。