数据质量检测方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种数据质量检测方法、装置、计算机设备和存储介质。所述方法包括：根据所述电能业务数据获取电能业务训练数据；先对电能业务训练数据进行时间区段分配算法训练，获得电能业务数据质量分析结果；根据所述电能业务数据质量分析结果，构建时间区段分配算法公式；最后根据所述电能业务数据以及所述时间区段分配算法公式，获取所述电能业务数据对应的数据质量检测结果。本申请根据经过训练后选定的算法规则，可以从电能业务数据更智能化推荐出问题数据，实现精准高效的检测出电能业务数据中的质量问题。

【技术实现步骤摘要】
数据质量检测方法、装置、计算机设备和存储介质
本申请涉及计算机
，特别是涉及一种数据质量检测方法、装置、计算机设备和存储介质。
技术介绍
数据质量是保证数据分析结果的基础，好的数据才会得到好的分析结果，但是数据中不可避免的会存在各种各样的问题，如随着时间推移进行业务系统升级等原因造成各字段数据取值不一致、重复数据、存在缺失数据等，数据清洗是对数据中的问题数据进行清洗和处理的过程，是数据分析和挖掘的前提条件。现有对电能业务数据进行筛选、查询及统计的方法是基于抽取传统营销业务系统的结果数据进行分析，首先系统自动筛选出已设置的参数进行重复项过滤，形成数据问题提示供分析人员确认处理，初步清洗掉重复数据；然后，分析人员通过查询条件对时间维度进行明确的范围划分并查询归集，对各个时间范围的数据进行深入分析，初步处理掉字段数据取值不一致、缺失数据等问题；最终通过统计功能，对重点数据信息进行运算，并输出全面的数据质量检测报告。然而，目前的方法数据质量检测，对电能业务数据进行数据清洗和处理只能停留在表面的结果数据基础上，没有深入到最原始的具体业务数据，不能够全面且精准地体现出实际的电能业务数据存在的质量问题。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够更加有效的数据质量检测方法、装置、计算机设备和存储介质。一种数据质量检测方法，所述方法包括：获取电能业务数据；根据所述电能业务数据获取电能业务训练数据；对电能业务训练数据进行时间区段分配算法训练，获得电能业务数据质量分析结果；根据所述电能业务数据质量分析结果，构建时间区段分配算法公式；根据所述电能业务数据以及所述时间区段分配算法公式，获取所述电能业务数据对应的数据质量检测结果。在其中一个实施例中，所述根据所述电能业务数据获取电能业务训练数据包括：根据预设训练集大小从所述电能业务数据中的截取初始训练集数据；对所述初始训练集数据进行一致性检查，获取一致性检查结果；根据所述一致性检查结果对所述初始训练集数据中的取值异常进行修正；根据修正后的初始训练集数据的数据数值，对所述修正后的初始训练集数据进行离散化处理，获取电能业务训练数据。在其中一个实施例中所述对电能业务训练数据进行时间区段分配算法训练，获得电能业务数据质量分析结果包括：根据所述电能业务训练数据获取正数训练集以及负数训练集；根据所述正数训练集以及所述负数训练集，确定候选时间类型；根据所述候选时间类型与预设时间窗口的对比度，确定电能业务数据质量分析结果。在其中一个实施例中所述根据所述候选时间类型与预设时间窗口的对比度，确定电能业务数据质量分析结果包括：获取所述候选时间类型与预设时间窗口的对比度，并确定使所述候选时间类型对比度最大的预设时间窗口；根据所述候选时间类型以及使所述候选时间类型对比度最大的预设时间窗口，构建电能业务数据质量分析结果对应数据集。在其中一个实施例中，所述根据所述正数训练集以及所述负数训练集，确定候选时间类型包括：根据所述正数训练集以及所述负数训练集构建集合枚举树；根据预设剪枝条件对所述集合枚举树进行剪枝，获取候选时间类型。在其中一个实施例中，所述根据所述电能业务数据以及所述时间区段分配算法公式，获取所述电能业务数据对应的数据质量检测结果之后还包括：根据所述数据质量检测结果，确定各时间区段的电能业务数据对应的数据质量问题；获取所述数据质量问题对应的数据治理方法；根据所述数据治理方法对各时间区段的电能业务数据进行数据治理。一种数据质量检测装置，所述装置包括：数据获取模块，用于获取电能业务数据；数据预处理模块，用于根据所述电能业务数据获取电能业务训练数据；数据训练模块，用于对电能业务训练数据进行时间区段分配算法训练，获得电能业务数据质量分析结果；公式构建模块，用于根据所述电能业务数据质量分析结果，构建时间区段分配算法公式；数据质量检测模块，用于根据所述电能业务数据以及所述时间区段分配算法公式，获取所述电能业务数据对应的数据质量检测结果。在其中一个实施例中，所述数据预处理模块用于：根据预设训练集大小从所述电能业务数据中的截取初始训练集数据；对所述初始训练集数据进行一致性检查，获取一致性检查结果；根据所述一致性检查结果对所述初始训练集数据中的取值异常进行修正；根据修正后的初始训练集数据的数据数值，对所述修正后的初始训练集数据进行离散化处理，获取电能业务训练数据。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取电能业务数据；根据所述电能业务数据获取电能业务训练数据；对电能业务训练数据进行时间区段分配算法训练，获得电能业务数据质量分析结果；根据所述电能业务数据质量分析结果，构建时间区段分配算法公式；根据所述电能业务数据以及所述时间区段分配算法公式，获取所述电能业务数据对应的数据质量检测结果。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取电能业务数据；根据所述电能业务数据获取电能业务训练数据；对电能业务训练数据进行时间区段分配算法训练，获得电能业务数据质量分析结果；根据所述电能业务数据质量分析结果，构建时间区段分配算法公式；根据所述电能业务数据以及所述时间区段分配算法公式，获取所述电能业务数据对应的数据质量检测结果。上述数据质量检测方法、装置、计算机设备和存储介质，通过获取电能业务数据；根据所述电能业务数据获取电能业务训练数据；先对电能业务训练数据进行时间区段分配算法训练，获得电能业务数据质量分析结果；根据所述电能业务数据质量分析结果，构建时间区段分配算法公式；最后根据所述电能业务数据以及所述时间区段分配算法公式，获取所述电能业务数据对应的数据质量检测结果。本申请先从电能业务数据中提取出电能业务训练数据，而后对电能业务训练数据进行时间区段分配算法训练，并构建相应的时间区段分配算法公式，而后基于时间区段分配算法公式对电能业务数据进行相应的处理，根据经过训练后选定的算法规则，可以从电能业务数据更智能化推荐出问题数据，实现精准高效的检测出电能业务数据中的质量问题。附图说明图1为一个实施例中数据质量检测方法的应用环境图；图2为一个实施例中数据质量检测方法的流程示意图；图3为一个实施例中图2中步骤203的子流程示意图；图4为一个实施例中图2中步骤205的子流程示意图；图5为一个实施例中数据治理过程对应的流程示意图；图6为一个实施例中数据质量检测装置的结构框图；图7为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技本文档来自技高网...

【技术保护点】
1.一种数据质量检测方法，所述方法包括：/n获取电能业务数据；/n根据所述电能业务数据获取电能业务训练数据；/n对电能业务训练数据进行时间区段分配算法训练，获得电能业务数据质量分析结果；/n根据所述电能业务数据质量分析结果，构建时间区段分配算法公式；/n根据所述电能业务数据以及所述时间区段分配算法公式，获取所述电能业务数据对应的数据质量检测结果。/n

【技术特征摘要】
1.一种数据质量检测方法，所述方法包括：
获取电能业务数据；
根据所述电能业务数据获取电能业务训练数据；
对电能业务训练数据进行时间区段分配算法训练，获得电能业务数据质量分析结果；
根据所述电能业务数据质量分析结果，构建时间区段分配算法公式；
根据所述电能业务数据以及所述时间区段分配算法公式，获取所述电能业务数据对应的数据质量检测结果。


2.根据权利要求1所述的方法，其特征在于，所述根据所述电能业务数据获取电能业务训练数据包括：
根据预设训练集大小从所述电能业务数据中的截取初始训练集数据；
对所述初始训练集数据进行一致性检查，获取一致性检查结果；
根据所述一致性检查结果对所述初始训练集数据中的取值异常进行修正；
根据修正后的初始训练集数据的数据数值，对所述修正后的初始训练集数据进行离散化处理，获取电能业务训练数据。


3.根据权利要求1所述的方法，其特征在于，所述对电能业务训练数据进行时间区段分配算法训练，获得电能业务数据质量分析结果包括：
根据所述电能业务训练数据获取正数训练集以及负数训练集；
根据所述正数训练集以及所述负数训练集，确定候选时间类型；
根据所述候选时间类型与预设时间窗口的对比度，确定电能业务数据质量分析结果。


4.根据权利要求3所述的方法，其特征在于，所述根据所述候选时间类型与预设时间窗口的对比度，确定电能业务数据质量分析结果包括：
获取所述候选时间类型与预设时间窗口的对比度，并确定使所述候选时间类型对比度最大的预设时间窗口；
根据所述候选时间类型以及使所述候选时间类型对比度最大的预设时间窗口，构建电能业务数据质量分析结果对应数据集。


5.根据权利要求3所述的方法，其特征在于，所述根据所述正数训练集以及所述负数训练集，确定候选时间类型包括：
根据所述正数训练集以及所述负数训练集...

【专利技术属性】
技术研发人员：梁卫宁，周钰书，秦铖，唐文彬，张剑锋，赵永国，刘森，黎晚晴，陈玲娜，
申请(专利权)人：广西电网有限责任公司，南方电网数字电网研究院有限公司，
类型：发明
国别省市：广西;45