本发明专利技术涉及私有云技术领域，尤其涉及一种数据质量监控方法、装置、设备及存储介质，该方法包括：在接收到待监控运维数据时，根据待监控运维数据获得对应的字段数据总量；基于预设质量度量规则对待监控运维数据进行质量度量，获得异常字段数据量；根据字段数据总量和异常字段数据量确定待监控运维数据的数据合规率指标；基于数据合规率指标对待监控运维数据进行质量监控。由于本发明专利技术可通过预设质量度量规则对待监控运维数据进行质量度量，获得待监控运维数据中的异常字段数据量，并结合字段数据总量确定数据合规率指标，基于数据合规率指标进行质量监控，相比于现有的，本发明专利技术可提升质量监控的准确度。量监控的准确度。量监控的准确度。
【技术实现步骤摘要】
数据质量监控方法、装置、设备及存储介质
[0001]本专利技术涉及私有云
，尤其涉及一种数据质量监控方法、装置、设备及存储介质。
技术介绍
[0002]目前，随着应用上云和运维数字化转型的不断推进，运维管理对运维数据的需求日益旺盛，各类运维管理活动(如变更管理和影响分析、监控与应急、资源治理等)均基于运维配置、指标、日志数据在工具平台开展，运维数据成为了工具建设与业务的基石，对数据质量也提出了较高的要求。
[0003]在私有云上，技术栈和组件繁多，应用的部署架构和应用间的访问关系复杂，各类运维活动频繁，产生了种类繁多、数据量巨大的运维数据，但由于运维数据往往还需要经过清洗和加工处理才能使用起来，从数据的采集、加工到存储过程中可能会存在错误的可能，现有的对数据质量仅是进行简单的监控，进而导致数据质量监控的准确度较低。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
[0005]本专利技术的主要目的在于提供了一种数据质量监控方法、装置、设备及存储介质，旨在解决现有技术中仅对数据质量进行简单监控，导致数据质量监控的准确度较低的技术问题。
[0006]为实现上述目的，本专利技术提供了一种数据质量监控方法，所述方法包括以下步骤：
[0007]在接收到待监控运维数据时，根据所述待监控运维数据获得对应的字段数据总量；
[0008]基于预设质量度量规则对所述待监控运维数据进行质量度量，获得异常字段数据量；
[0009]根据所述字段数据总量和所述异常字段数据量确定所述待监控运维数据的数据合规率指标；
[0010]基于所述数据合规率指标对所述待监控运维数据进行质量监控。
[0011]可选地，所述根据所述字段数据总量和所述异常字段数据量确定所述待监控运维数据的数据合规率指标的步骤，包括：
[0012]根据所述字段数据总量和所述异常字段数据量确定所述待监控运维数据的单字段数据合规率指标；
[0013]获取所述待监控运维数据中各字段数据对应的权重信息，并基于所述字段数据总量、所述异常字段数据量和所述权重信息确定所述待监控运维数据的整体数据合规率指标；
[0014]相应地，所述基于所述数据合规率指标对所述待监控运维数据进行质量监控的步
骤，包括：
[0015]基于所述单字段数据合规率指标以及所述整体数据合规率指标对所述待监控运维数据进行质量监控。
[0016]可选地，所述基于所述单字段数据合规率指标以及所述整体数据合规率指标对所述待监控运维数据进行质量监控的步骤之后，还包括：
[0017]根据监控结果判断所述待监控运维数据是否异常；
[0018]若是，则根据所述监控结果对所述待监控运维数据中的异常字段进行定位；
[0019]基于定位结果确定对应的数据质量改进策略，并基于所述数据质量改进策略对所述待监控运维数据进行改进。
[0020]可选地，所述基于定位结果确定对应的数据质量改进策略，并基于所述数据质量改进策略对所述待监控运维数据进行改进的步骤之后，还包括：
[0021]获取预设监控时长，并在所述预设监控时长到达时，执行所述基于预设质量度量规则对所述待监控运维数据进行质量度量，获得异常字段数据量的步骤。
[0022]可选地，所述获取预设监控时长，并在所述预设监控时长到达时，执行所述基于预设质量度量规则对所述待监控运维数据进行质量度量，获得异常字段数据量的步骤之后，还包括：
[0023]获取各单字段数据合规率指标以及各整体数据合规率指标；
[0024]根据所述各单字段数据合规率指标和所述各整体数据合规率指标生成指标走势图；
[0025]基于所述指标走势图对所述待监控运维数据进行质量监控。
[0026]可选地，所述根据所述待监控运维数据获得对应的字段数据总量的步骤之前，还包括：
[0027]通过预设格式规范对所述待监控运维数据进行格式识别；
[0028]在识别结果为异常结果时，根据所述识别结果按照预设监控策略进行告警。
[0029]可选地，所述预设质量度量规则包括：数据完整性度量规则、数据及时性度量规则、数据准确性度量规则、数据一致性度量规则、数据唯一性度量规则以及数据有效性度量规则中至少一项。
[0030]此外，为实现上述目的，本专利技术还提出一种数据质量监控装置，所述装置包括：
[0031]总量获取模块，用于在接收到待监控运维数据时，根据所述待监控运维数据获得对应的字段数据总量；
[0032]质量度量模块，用于基于预设质量度量规则对所述待监控运维数据进行质量度量，获得异常字段数据量；
[0033]指标确定模块，用于根据所述字段数据总量和所述异常字段数据量确定所述待监控运维数据的数据合规率指标；
[0034]质量监控模块，用于基于所述数据合规率指标对所述待监控运维数据进行质量监控。
[0035]此外，为实现上述目的，本专利技术还提出一种数据质量监控设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据质量监控程序，所述数据质量监控程序配置为实现如上文所述的数据质量监控方法的步骤。
[0036]此外，为实现上述目的，本专利技术还提出一种存储介质，所述存储介质上存储有数据质量监控程序，所述数据质量监控程序被处理器执行时实现如上文所述的数据质量监控方法的步骤。
[0037]本专利技术是在接收到待监控运维数据时，根据所述待监控运维数据获得对应的字段数据总量；基于预设质量度量规则对所述待监控运维数据进行质量度量，获得异常字段数据量；根据所述字段数据总量和所述异常字段数据量确定所述待监控运维数据的数据合规率指标；基于所述数据合规率指标对所述待监控运维数据进行质量监控。由于本专利技术可通过预设质量度量规则对待监控运维数据进行质量度量，可获得待监控运维数据中的异常字段数据量，并结合字段数据总量确定数据合规率指标，基于数据合规率指标进行质量监控，相比于现有的，本专利技术可准确确定待监控运维数据中的异常字段数据量，进而可提升质量监控的准确度。
附图说明
[0038]图1为本专利技术实施例方案涉及的硬件运行环境的数据质量监控设备结构示意图；
[0039]图2为本专利技术数据质量监控方法第一实施例的流程示意图；
[0040]图3为本专利技术数据质量监控方法中私有云运维数据质量管理系统的结构示意图；
[0041]图4为本专利技术数据质量监控方法中部分预设质量度量规则示意图；
[0042]图5为本专利技术数据质量监控方法第二实施例的流程示意图；
[0043]图6为本专利技术数据质量监控方法的数据质量提升流程图；
[0044]图7为本专利技术数据质量监控方法第三实施例的流程示意图；
[0045]图8为本专利技术数据质量监控装置第一实施例的结构框图。
[0046]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据质量监控方法，其特征在于，所述数据质量监控方法包括以下步骤：在接收到待监控运维数据时，根据所述待监控运维数据获得对应的字段数据总量；基于预设质量度量规则对所述待监控运维数据进行质量度量，获得异常字段数据量；根据所述字段数据总量和所述异常字段数据量确定所述待监控运维数据的数据合规率指标；基于所述数据合规率指标对所述待监控运维数据进行质量监控。2.如权利要求1所述的数据质量监控方法，其特征在于，所述根据所述字段数据总量和所述异常字段数据量确定所述待监控运维数据的数据合规率指标的步骤，包括：根据所述字段数据总量和所述异常字段数据量确定所述待监控运维数据的单字段数据合规率指标；获取所述待监控运维数据中各字段数据对应的权重信息，并基于所述字段数据总量、所述异常字段数据量和所述权重信息确定所述待监控运维数据的整体数据合规率指标；相应地，所述基于所述数据合规率指标对所述待监控运维数据进行质量监控的步骤，包括：基于所述单字段数据合规率指标以及所述整体数据合规率指标对所述待监控运维数据进行质量监控。3.如权利要求2所述的数据质量监控方法，其特征在于，所述基于所述单字段数据合规率指标以及所述整体数据合规率指标对所述待监控运维数据进行质量监控的步骤之后，还包括：根据监控结果判断所述待监控运维数据是否异常；若是，则根据所述监控结果对所述待监控运维数据中的异常字段进行定位；基于定位结果确定对应的数据质量改进策略，并基于所述数据质量改进策略对所述待监控运维数据进行改进。4.如权利要求3所述的数据质量监控方法，其特征在于，所述基于定位结果确定对应的数据质量改进策略，并基于所述数据质量改进策略对所述待监控运维数据进行改进的步骤之后，还包括：获取预设监控时长，并在所述预设监控时长到达时，执行所述基于预设质量度量规则对所述待监控运维数据进行质量度量，获得异常字段数据量的步骤。5.如权利要求4所述的数据质量...
【专利技术属性】
技术研发人员：蒋旭，郑少忠，陈川峰，李治，邓晓龙，刘云，丁亚雷，徐平，谢功琴，刘冲，易楚翘，杨畯，李崇，吴陶，丛浩，匡力，曾媛，何秋杏，王立奇，
申请(专利权)人：招商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。