【技术实现步骤摘要】
本专利技术适用于数据处理，尤其涉及一种基于数据中台的多维数据质量检测方法。
技术介绍
1、在当今数字化时代，数据成为企业决策、业务运营等活动的关键要素。随着数据量的爆炸式增长以及数据来源的多样化，数据质量问题日益凸显。用户往往通过构建数据中台来整合和管理数据，但在数据中台环境下，数据的复杂性和大规模使得数据中台对高质量数据的管理和利用面临巨大挑战。
2、传统的数据质量检测方法一般是利用统计学原理对数据进行分析，可以识别数据中的离群点或不符合正常分布的数据，或者将待检测的数据与样本数据或历史数据进行对比，可以发现与异常数据模式不符的数据变化。但是上述数据质量检测方法着重于各个维度的数据本身，无法利用多维数据之间的相关信息，难以全面评估数据质量，导致数据质量检测结果的准确性较差，无法满足数据中台对高质量数据的管理和利用需求。
3、因此，在数据处理
中，如何提高数据质量检测结果的准确性成为亟待解决的问题。
技术实现思路
1、有鉴于此，本专利技术实施例提供了一种基于数据中台的多维数据质量检测方法，以解决现有数据质量检测方法的准确性较低的问题。
2、本专利技术实施例提供一种基于数据中台的多维数据质量检测方法，基于数据中台的多维数据质量检测方法应用于数据中台，基于数据中台的多维数据质量检测方法包括：
3、s1，获取训练好的时序预测模型、训练好的分类模型、n组初始时序数据以及初始时序数据之间的相关关系，其中，相关关系包括相关和不相关，n为大于
4、s2，将每组初始时序数据分别输入至训练好的时序预测模型中，得到每组初始时序数据对应的预测时序数据。
5、s3，根据每组初始时序数据和每组初始时序数据对应的预测时序数据，得到n组初始时序数据对应的偏差程度阈值和每组初始时序数据对应的预测偏差程度。
6、s4，根据预测偏差程度和偏差程度阈值，将n组初始时序数据分类为目标数据和初始参考数据，并根据每个初始参考数据对应的预测偏差程度得到对应初始参考数据的第一数据质量评分。
7、s5，针对任一目标数据，根据初始时序数据之间的相关关系，从所有的初始参考数据中获取到当前目标数据对应的目标参考数据，得到当前目标数据和每个目标参考数据组成的待分类数据组。
8、s6，将当前目标数据对应的每个待分类数据组分别输入至训练好的分类模型，获取到当前目标数据与对应的目标参考数据之间的相关概率值。
9、s7，根据当前目标数据与对应的每个目标参考数据之间的相关概率值、当前目标数据对应的每个目标参考数据对应的预测偏差程度和当前目标数据对应的预测偏差程度，得到当前目标数据对应的第二数据质量评分。
10、本专利技术实施例与现有技术相比存在的有益效果是：通过时序预测模型在训练过程中所学习到的时间序列数据的规律和模式，建立实际数据和预测数据之间的联系，便于从时间序列的动态角度来审视数据质量，并根据每组初始时序数据和每组初始时序数据对应的预测时序数据，得到n组初始时序数据对应的偏差程度阈值和每组初始时序数据对应的预测偏差程度，以通过预测偏差程度来精准地判断初始时序数据是否符合预期的时序变化规律以及偏离程度大小，并根据预测偏差程度和偏差程度阈值的对比，筛选出相对较为稳定、与预期偏差较小的数据作为初始参考数据，筛选出偏离预期情况较为明显的数据作为目标数据，并将初始参考数据作为后续评估目标数据质量的参考基准，并通过获取相关概率值来量化表示目标数据和目标参考数据之间相关性的强弱程度，进而综合考虑目标数据与每个目标参考数据之间的相关性以及该目标参考数据自身质量状况对目标数据质量评估的影响，按照设定的相关性规则计算得到当前目标数据对应的第二数据质量评分，提高了数据质量的分析准确性。
本文档来自技高网...【技术保护点】
1.一种基于数据中台的多维数据质量检测方法，所述基于数据中台的多维数据质量检测方法应用于数据中台，其特征在于，所述基于数据中台的多维数据质量检测方法包括：
2.根据权利要求1所述的基于数据中台的多维数据质量检测方法，其特征在于，所述初始时序数据包括第M1个预设时间点至第M2个预设时间点对应的实际数据，S2包括如下步骤：
3.根据权利要求2所述的基于数据中台的多维数据质量检测方法，其特征在于，S3包括如下步骤：
4.根据权利要求3所述的基于数据中台的多维数据质量检测方法，其特征在于，S3还包括如下步骤：
5.根据权利要求1所述的基于数据中台的多维数据质量检测方法，其特征在于，S4包括如下步骤：
6.根据权利要求1所述的基于数据中台的多维数据质量检测方法，其特征在于，S5包括如下步骤：
7.根据权利要求6所述的基于数据中台的多维数据质量检测方法，其特征在于，S7包括如下步骤：
【技术特征摘要】
1.一种基于数据中台的多维数据质量检测方法，所述基于数据中台的多维数据质量检测方法应用于数据中台，其特征在于，所述基于数据中台的多维数据质量检测方法包括：
2.根据权利要求1所述的基于数据中台的多维数据质量检测方法，其特征在于，所述初始时序数据包括第m1个预设时间点至第m2个预设时间点对应的实际数据，s2包括如下步骤：
3.根据权利要求2所述的基于数据中台的多维数据质量检测方法，其特征在于，s3包括如...
【专利技术属性】
技术研发人员：徐韬，
申请(专利权)人：湖北华中电力科技开发有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。