基于人工智能的数据中台评估方法及相关设备技术

本申请提出一种基于人工智能的数据中台评估方法、装置、电子设备及存储介质，基于人工智能的数据中台评估方法包括：搭建数据中台以获取数据集，所述数据集包括结构数据和日志数据；解析所述数据集中的结构数据以构建结构指标；计算所述数据集中的日志数据的权重以构建业务指标；更新所述结构指标和所述业务指标以获取更新指标；依据插值算法对所述更新指标进行插值以构建初始训练数据集；依据所述初始训练数据集构建性能评估模型；采集实时数据输入所述性能评估模型并获取数据中台的评估结果。本方案可以针对数据中台的多个主要问题进行量化评估，从而提升评估结果的准确性。从而提升评估结果的准确性。从而提升评估结果的准确性。

【技术实现步骤摘要】
基于人工智能的数据中台评估方法及相关设备


[0001]本申请涉及人工智能
，尤其涉及一种基于人工智能的数据中台评估方法、装置、电子设备及存储介质。

技术介绍

[0002]数据中台是一种集中存储海量的、多个来源的、多种类型的数据，并可以对数据进行快速加工、分析的平台。为了确保数据中台业务逻辑的稳定性，高效性，运维人员通常需要实时针对数据中台的性能进行评估，以确保数据中台开发人员能够针对数据中台的性能降低及时做出响应。
[0003]现有技术通常基于业务成果对数据中台的性能做出评估，而忽略了数据中台内一些关键的技术节点与运行日志的信息，这种评估方式过于泛化，从而导致评估结果不够精准。

技术实现思路

[0004]鉴于以上内容，有必要提供一种基于人工智能的数据中台评估方法及相关设备，以解决如何提高数据中台评估的准确度这一技术问题，其中，相关设备包括基于人工智能的数据中台评估装置、电子设备及存储介质。
[0005]本申请实施例提供一种基于人工智能的数据中台评估方法，包括：
[0006]搭建数据中台以获取数据集，所述数据集包括结构数据和日志数据；
[0007]解析所述数据集中的结构数据以构建结构指标；
[0008]计算所述数据集中的日志数据的权重以构建业务指标；
[0009]更新所述结构指标和所述业务指标以获取更新指标；
[0010]依据插值算法对所述更新指标进行插值以构建初始训练数据集；
[0011]依据所述初始训练数据集构建性能评估模型；r/>[0012]采集实时数据输入所述性能评估模型并获取数据中台的评估结果。
[0013]上述数据中台评估方法中，通过分析数据中台的结构与运行日志构建量化指标，并计算量化指标的权重以获取更新指标，进而依据更新指标对数据中台进行评估。如此，可以针对数据中台的多个主要问题进行量化评估，并考虑了不同指标的重要性，提升了评估结果的准确度。
[0014]在一些实施例中，所述搭建数据中台以获取数据集包括：
[0015]依据预设的数据采样时间点采集所述数据中台的结构数据和日志数据；
[0016]联合存储所述结构数据和所述日志数据得到数据集。
[0017]如此，基于数据中台的结构数据与日志数据构建了所述数据集，可为后续量化指标的构建与数据分析步骤提供数据支撑，避免传统的概念化指标评估方法带来的泛化误差。
[0018]在一些实施例中，所述结构指标包括：
[0019]规范率指标，所述规范率指标为符合表命名规范的表数量与所述数据中台中所有表的总数量的比值；
[0020]复用率指标，所述复用率指标为具备前置依赖的表的数量与数据中台中所有表的总数量的比值，所述前置依赖是指该表中的数据是基于其他表中的数据获得；
[0021]覆盖率指标，所述覆盖率指标为不具备前置依赖但具备后置依赖的表数量与数据中台中所有表的总数量的比值，所述后置依赖是指其他表中的数据是基于该表中的数据获得。
[0022]如此，依据所述数据中台的表命名规范与数据中台的层次结构构建了数据中台的结构指标，所述结构指标能够表征数据中台的结构性能并为后续指标评估提供数据支撑，提升后续评估的准确度。
[0023]在一些实施例中，所述计算所述数据集中的日志数据的权重以构建业务指标包括：
[0024]计算所述数据中台中的一个应用程序被调用的次数与所有应用程序被调用的总次数的比值，将该比值作为该应用程序的第一权重；
[0025]计算所述数据中台中的一个应用程序占用中央处理单元的总时长与该应用程序运行的总时长的比值，将该比值作为该应用程序的第二权重；
[0026]计算所述数据中台中的一个应用程序报错的次数与该应用程序被调用的总次数的比值，并计算预设的调和实数与该比值的差值，将该差值作为该应用程序的第三权重；
[0027]基于所述第一权重、第二权重和第三权重构建业务指标，所述业务指标用以表征数据中台中的应用程序在运行过程中的性能。
[0028]如此，结合数据中台业务逻辑运行过程中的日志数据构建了数据中台的业务指标，能够表征数据中台中的应用程序运行过程中的性能波动，并在时序上为所述业务指标赋予可解析性，从而提升后续评估模型的性能。
[0029]在一些实施例中，所述更新所述结构指标和所述业务指标以获取更新指标包括：
[0030]依据所述结构指标和所述业务指标构建协方差矩阵；
[0031]计算所述协方差矩阵的特征值以获取所述结构指标和业务指标的权重；
[0032]依据所述权重更新所述结构指标和业务指标以获取更新指标。
[0033]如此，基于结构指标和业务指标构建了协方差矩阵并计算了所述协方差矩阵的特征值，所述特征值能够表征所述结构指标与业务指标的重要性，将所述特征值作为权重更新结构指标和业务指标能够避免指标平权带来的误差，提升后续评估的准确度。
[0034]在一些实施例中，所述依据插值算法对所述更新指标进行插值以构建初始训练数据集包括：
[0035]拆分所述更新指标以获取更新指标区间集；
[0036]依据所述插值算法拟合所述更新指标区间集内的数据以获得函数曲线集；
[0037]依据所述函数曲线集中曲线起点对应的采样时间点对函数曲线进行排序以获得排序函数曲线集；
[0038]将所述排序函数曲线集中的曲线首尾相连以获取所述初始训练数据集。
[0039]如此，通过插值法将时序上离散的指标数据补全为连续的序列数据，能够扩展数据采集结果并提升数据储备，为后续评估模型的拟合提供了更完备的数据支撑，从而能够
提升评估模型的性能。
[0040]在一些实施例中，所述采集实时数据输入所述性能评估模型并获取数据中台的评估结果包括：
[0041]实时采集所述数据中台相关数据，所述相关数据包括实时结构数据和实时日志数据；
[0042]实时构建并更新结构指标和业务指标，得到实时更新指标；
[0043]将所述实时更新指标输入所述性能评估模型对所述数据中台进行评估并获取评估结果。
[0044]如此，可以在数据中台的结构或业务性能发生异常的情况下及时进行报错以提升数据中台性能的稳定性。
[0045]本申请实施例还提供一种基于人工智能的数据中台评估装置，所述装置包括：
[0046]获取单元，用于搭建数据中台以获取数据集，所述数据集包括结构数据和日志数据；
[0047]第一构建单元，用于解析所述数据集中的结构数据以构建结构指标；
[0048]计算单元，用于计算所述数据集中的日志数据的权重以构建业务指标；
[0049]更新单元，用于更新所述结构指标和所述业务指标以获取更新指标；
[0050]第二构建单元，用于依据插值算法对所述更新指标进行插值以构建初始训练数据集；
[0051]第三构建单元，用于依据所述初始训练数据集构建性能评估模型；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的数据中台评估方法，其特征在于，所述方法包括：搭建数据中台以获取数据集，所述数据集包括结构数据和日志数据；解析所述数据集中的结构数据以构建结构指标；计算所述数据集中的日志数据的权重以构建业务指标；更新所述结构指标和所述业务指标以获取更新指标；依据插值算法对所述更新指标进行插值以构建初始训练数据集；依据所述初始训练数据集构建性能评估模型；采集实时数据输入所述性能评估模型并获取数据中台的评估结果。2.如权利要求1所述的基于人工智能的数据中台评估方法，其特征在于，所述搭建数据中台以获取数据集包括：依据预设的数据采样时间点采集所述数据中台的结构数据和日志数据；联合存储所述结构数据和所述日志数据得到数据集。3.如权利要求1所述的基于人工智能的数据中台评估方法，其特征在于，所述结构指标包括：规范率指标，所述规范率指标为符合表命名规范的表数量与所述数据中台中所有表的总数量的比值；复用率指标，所述复用率指标为具备前置依赖的表的数量与数据中台中所有表的总数量的比值，所述前置依赖是指该表中的数据是基于其他表中的数据获得；覆盖率指标，所述覆盖率指标为不具备前置依赖但具备后置依赖的表数量与数据中台中所有表的总数量的比值，所述后置依赖是指其他表中的数据是基于该表中的数据获得。4.如权利要求1所述的基于人工智能的数据中台评估方法，其特征在于，所述计算所述数据集中的日志数据的权重以构建业务指标包括：计算所述数据中台中的一个应用程序被调用的次数与所有应用程序被调用的总次数的比值，将该比值作为该应用程序的第一权重；计算所述数据中台中的一个应用程序占用中央处理单元的总时长与该应用程序运行的总时长的比值，将该比值作为该应用程序的第二权重；计算所述数据中台中的一个应用程序报错的次数与该应用程序被调用的总次数的比值，并计算预设的调和实数与该比值的差值，将该差值作为该应用程序的第三权重；基于所述第一权重、第二权重和第三权重构建业务指标，所述业务指标用以表征数据中台中的应用程序在运行过程中的性能。5.如权利要求1所述的基于人工智能的数据中台评估方法，其特征在于，所述更新所述结构指标和所述业务指标以获取更新指标包括：...

【专利技术属性】
技术研发人员：侯彰弟，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：