数据监控方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及大数据领域，揭露一种数据监控方法、装置、电子设备以及存储介质，所述方法包括：获取历史数据，提取所述历史数据中的数据指标，并配置所述数据指标的历史维度字段；根据所述历史维度字段，构建所述历史数据的维度监控表，并设置所述维度监控表的数据监控规则；接收待监控数据，识别所述待监控数据的待监控维度字段，从所述数据监控规则中查询所述待监控维度字段的字段监控规则；利用所述字段监控规则，对所述待监控维度字段进行数据监控，得到所述待监控维度字段的数据监控结果。此外，本发明专利技术还涉及区块链技术，所述历史维度字段可存储于区块链中。本发明专利技术可以提高数据监控的效率。控的效率。控的效率。

【技术实现步骤摘要】
数据监控方法、装置、电子设备及存储介质


[0001]本专利技术涉及大数据领域，尤其涉及一种数据监控方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]随着大数据时代的到来，数据的应用也日趋繁茂，因此，如何保障数据质量，确保数据可用性显得愈发重要。
[0003]目前，数据质量主要通过编写指标告警代码进行监控，但是，由于在实际业务场景中会包含大量的指标数据，导致指标数据告警的阈值会产生多变的现象，且每个指标数据的维度属性不一致,这样就需要对每个指标数据需要写一段监控代码，造成代码冗余,使得在数据监控时需要耗费大量的时间，从而影响数据监控的效率。

技术实现思路

[0004]本专利技术提供一种数据监控方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高数据监控的效率。
[0005]为实现上述目的，本专利技术提供的一种数据监控方法，包括：
[0006]获取历史数据，提取所述历史数据中的数据指标，并配置所述数据指标的历史维度字段；
[0007]根据所述历史维度字段，构建所述历史数据的维度监控表，并设置所述维度监控表的数据监控规则；
[0008]接收待监控数据，识别所述待监控数据的待监控维度字段，从所述数据监控规则中查询所述待监控维度字段的字段监控规则；
[0009]利用所述字段监控规则，对所述待监控维度字段进行数据监控，得到所述待监控维度字段的数据监控结果。
[0010]可选地，所述提取所述历史数据中的数据指标，包括：
[0011]识别所述历史数据中每个数据的数据维度，根据所述数据维度，提取所述历史数据中每个数据的数据特征；
[0012]根据所述数据特征，确定所述历史数据中每个数据的数据指标。
[0013]可选地，所述识别所述历史数据中每个数据的数据维度，包括：
[0014]获取所述历史数据中每个数据的数据类型，将所述数据类型与预设的类型
‑
维度映射表中的维度类型进行匹配；
[0015]将匹配成功的所述维度类型对应的维度作为所述数据的数据维度。
[0016]可选地，所述根据所述历史维度字段，构建所述历史数据的维度监控表，包括：
[0017]识别所述历史维度字段与所述历史数据中每个数据的映射关系；
[0018]根据所述映射关系，采用键值对的形式构建所述历史数据的维度监控表。
[0019]可选地，所述设置所述维度监控表的数据监控规则，包括：
[0020]构建所述维度监控表中历史维度字段的监控脚本，在所述监控脚本中配置所述历史维度字段的监控方式和监控策略；
[0021]根据所述监控方式和所述监控策略，得到所述历史维度字段的字段监控规则，根据所述字段监控规则，生成所述数据监控规则。
[0022]可选地，所述从所述数据监控规则中查询所述待监控维度字段的字段监控规则，包括：
[0023]计算所述待监控维度字段与所述数据监控规则中历史维度字段的匹配度；
[0024]在所述匹配度大于预设阈值时，将所述历史维度字段的字段监控规则作为所述待监控维度字段的字段监控规则。
[0025]可选地，所述利用所述字段监控规则，对所述待监控维度字段进行数据监控，得到所述待监控维度字段的数据监控结果，包括：
[0026]获取所述待监控维度字段的字段数据，及所述字段监控规则的监控脚本；
[0027]将所述字段数据加载至所述监控脚本中，以通过所述监控脚本执行对所述字段数据的数据监控，得到所述待监控维度字段的数据监控结果。
[0028]为了解决上述问题，本专利技术还提供一种数据监控装置，所述装置包括：
[0029]维度字段配置模块，用于获取历史数据，提取所述历史数据中的数据指标，并配置所述数据指标的历史维度字段；
[0030]监控规则设置模块，用于根据所述历史维度字段，构建所述历史数据的维度监控表，并设置所述维度监控表的数据监控规则；
[0031]监控规则查询模块，用于接收待监控数据，识别所述待监控数据的待监控维度字段，从所述数据监控规则中查询所述待监控维度字段的字段监控规；
[0032]字段监控模块，用于利用所述字段监控规则，对所述待监控维度字段进行数据监控，得到所述待监控维度字段的数据监控结果。
[0033]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0034]至少一个处理器；以及，
[0035]与所述至少一个处理器通信连接的存储器；其中，
[0036]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以实现上述所述的数据监控方法。
[0037]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的数据监控方法。
[0038]可以看出，本专利技术实施例首先提取历史数据中的数据指标，可以获取所述历史数据中每个数据的数据属性，并配置所述数据指标的历史维度字段，可以确定所述数据指标的结构化数值形式，其次，本专利技术实施例通过根据所述历史维度字段，构建所述历史数据的维度监控表，以数据表的形式配置所述历史数据的维度监控表，汇总所述历史数据中需要监控的数据维度，方便后续数据维度的查找，并设置所述维度监控表的数据监控规则，以确定在所述维度监控表中每个维度字段下其对应的数据监控策略，可以后续避免对具有相同维度字段的数据进行监控代码的编译，减少代码冗余，提高数据监控的效率；进一步地，本专利技术实施例通过识别待监控数据的待监控维度字段，从所述数据监控规则中查询所述待监
控维度字段的字段监控规则，对所述待监控维度字段进行数据监控，得到所述待监控维度字段的数据监控结果，可以实现所述待监控维度字段对应的数据自动化监控，避免了对每个待监控数据需要写一段监控代码的现象，减少了数据监控的时间，从而提高了数据监控的效率。因此，本专利技术实施例提出的一种数据监控方法、装置、电子设备及计算机可读存储介质可以提高数据监控的效率。
附图说明
[0039]图1为本专利技术一实施例提供的数据监控方法的流程示意图；
[0040]图2为本专利技术一实施例提供的数据监控装置的模块示意图；
[0041]图3为本专利技术一实施例提供的实现数据监控方法的电子设备的内部结构示意图；
[0042]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0043]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0044]本专利技术实施例提供一种数据监控方法。所述数据监控方法的执行主体包括但不限于服务端、终端等能够被配置为执行本专利技术实施例提供的该方法的电子设备中的至少一种。换言之，所述数据监控方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据监控方法，其特征在于，所述方法包括：获取历史数据，提取所述历史数据中的数据指标，并配置所述数据指标的历史维度字段；根据所述历史维度字段，构建所述历史数据的维度监控表，并设置所述维度监控表的数据监控规则；接收待监控数据，识别所述待监控数据的待监控维度字段，从所述数据监控规则中查询所述待监控维度字段的字段监控规则；利用所述字段监控规则，对所述待监控维度字段进行数据监控，得到所述待监控维度字段的数据监控结果。2.如权利要求1所述的数据监控方法，其特征在于，所述提取所述历史数据中的数据指标，包括：识别所述历史数据中每个数据的数据维度，根据所述数据维度，提取所述历史数据中每个数据的数据特征；根据所述数据特征，确定所述历史数据中每个数据的数据指标。3.如权利要求2所述的数据监控方法，其特征在于，所述识别所述历史数据中每个数据的数据维度，包括：获取所述历史数据中每个数据的数据类型，将所述数据类型与预设的类型
‑
维度映射表中的维度类型进行匹配；将匹配成功的所述维度类型对应的维度作为所述数据的数据维度。4.如权利要求1所述的数据监控方法，其特征在于，所述根据所述历史维度字段，构建所述历史数据的维度监控表，包括：识别所述历史维度字段与所述历史数据中每个数据的映射关系；根据所述映射关系，采用键值对的形式构建所述历史数据的维度监控表。5.如权利要求1所述的数据监控方法，其特征在于，所述设置所述维度监控表的数据监控规则，包括：构建所述维度监控表中历史维度字段的监控脚本，在所述监控脚本中配置所述历史维度字段的监控方式和监控策略；根据所述监控方式和所述监控策略，得到所述历史维度字段的字段监控规则，根据所述字段监控规则，生成所述数据监控规则。6.如权利要求1所述的数据监控方法，其特征在于，所述从...

【专利技术属性】
技术研发人员：李莎，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：