数据监测方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及大数据技术领域，揭露了一种数据监测方法、装置、计算机设备及存储介质。所述方法包括：获取预设巡航规则，通过巡航管理模块基于所述预设巡航规则对数据仓库中的监控数据进行巡航处理，得到初始监控数据；确认所述巡航管理模块接入至监控管理模块后，获取预设监控规则，通过监控管理模块基于所述预设监控规则对所述初始监控数据进行分类处理，得到最终监控数据；通过与所述监控管理模块连接的中间件将所述最终监控数据报送至预设接收平台。本发明专利技术用于提高数据质量，减少人力成本。减少人力成本。减少人力成本。

【技术实现步骤摘要】
数据监测方法、装置、计算机设备及存储介质


[0001]本专利技术涉及大数据中的数据处理
，尤其揭露了一种数据监测方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着保险行业的快速发展，各大保险公司的保单数据量迅速增长，如此大的数据量，往往分散在不同的关系型数据库中，关系型数据库包括但不限于hive、oracle、mysql和hbase，数据库之间的数据没有关联关系，此时就会出现大量冗余和重复的数据，并且数据质量得不到保障；另外没有专门的监测工具来针对保险行业数据，进而在保险数据采集或处理等过程中，没有针对性和有效性的处理流程，且人工干预量大，对数据质量也会造成一定的影响；
[0003]综上，本领域技术人员亟需寻找一种新的方案来解决上述问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种数据监测方法、装置、计算机设备及存储介质，用于提高数据质量，减少人力成本。
[0005]一种数据监测方法，包括：
[0006]获取预设巡航规则，通过巡航管理模块基于所述预设巡航规则对数据仓库中的监控数据进行巡航处理，得到初始监控数据；
[0007]确认所述巡航管理模块接入至监控管理模块后，获取预设监控规则，通过监控管理模块基于所述预设监控规则对所述初始监控数据进行分类处理，得到最终监控数据；
[0008]通过与所述监控管理模块连接的中间件将所述最终监控数据报送至预设接收平台。
[0009]一种数据监测装置，包括：
[0010]巡航处理模块，用于获取预设巡航规则，通过巡航管理模块基于所述预设巡航规则对数据仓库中的监控数据进行巡航处理，得到初始监控数据；
[0011]分类处理模块，用于确认所述巡航管理模块接入至监控管理模块后，获取预设监控规则，通过监控管理模块基于所述预设监控规则对所述初始监控数据进行分类处理，得到最终监控数据；
[0012]发送模块，用于通过与所述监控管理模块连接的中间件将所述最终监控数据报送至预设接收平台。
[0013]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种数据监测方法。
[0014]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种数据监测方法。
[0015]上述数据监测方法、装置、计算机设备及存储介质，可通过专门模块(主要包括巡
航管理模块、监控管理模块、中间件和和预设接收平台)对数据进行自动化处理，各个模块中的流程自动化配合和衔接，处理数据的方式具有针对性和高效性，保证经过处理后的监控数据的数据质量，去除掉冗余和重复的无效监控数据；且可专门用于处理保险数据，对保险数据的数据质量有针对性的提升效果；且执行流程自动化，在提高数据质量的前提下，同时可大大减少人力成本。
附图说明
[0016]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本专利技术一实施例中一种数据监测方法的一应用环境示意图；
[0018]图2是本专利技术一实施例中一种数据监测方法的一流程示意图；
[0019]图3是本专利技术一实施例中一种数据监测装置的结构示意图；
[0020]图4是本专利技术一实施例中计算机设备的一示意图。
具体实施方式
[0021]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0022]本专利技术提供的一种数据监测方法，可应用在如图1的应用环境中，其中，客户端通过网络与服务器进行通信。其中，客户端可以包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
[0023]在一实施例中，如图2所示，提供一种数据监测方法，以该方法应用在图1中的服务器为例进行说明，其中，该方法所对应的架构是数据监测工具，该工具运行在该服务器中，该方法包括如下步骤S10
‑
S30：
[0024]S10，获取预设巡航规则，通过巡航管理模块基于所述预设巡航规则对数据仓库中的监控数据进行巡航处理，得到初始监控数据；
[0025]可理解地，本专利技术的数据监测工具的组成架构为规则管理模块、巡航管理模块、监控管理模块、中间件、数据仓库和预设接收平台；预设巡航规则是预存于规则管理模块中的数据规则表(如data
‑
rules)中，是指对指定的数据仓库进行巡航处理，进而得到需要进行监控管理的初始监控数据，其中，数据规则表中的规则样式内容包括但不限于主键id(用于区分字段，提高数据查询和数据插入的功能)、监控类型(属于续航监控和监控管理的其中一种)、监控系统、数据类型(如保单号数据)、规则编号(如rule_001和rule_002)、父规则(执行顺序靠前)，子规则(执行顺序靠后)，规则公式(如本专利技术提到的学习公式)、规则边界最大值(规则中确定出的最大目标值，如保单号最长值)，规则边界最小值(规则中确定出的最大目标值，如保单号最短值)和其他自定义对象值；本实施例主要通过巡航管理模块从指定范围的数据仓库中数据提取到需要进行监测的初始监控数据。
[0026]S20，确认所述巡航管理模块接入至监控管理模块后，获取预设监控规则，通过监控管理模块基于所述预设监控规则对所述初始监控数据进行分类处理，得到最终监控数据；
[0027]可理解地，巡航管理模块要与监控管理模块进行连接后，监控管理模块才可对初始监控数据进行分类处理，两者之间的连接可通过接入信号确认，该模块可设置于监控管理平台中；预设监控规则也是预存于规则管理模块中的数据规则表中，是指对通过巡航管理获取到的初始监控数据进行分类处理，得到处理完成后的最终监控数据，其最终监控数据意味着是完成监控的数据，其中，预设监控规则被规则引擎解析处理后，可得到具有先后执行顺序的父规则和子规则，其中，预设监控规则举例说明，rule_001：地址自动补全规则，当地址只有市区、县级以及地址信息错误时，自动通过地址码进行地址补全和修正，rule_002：源数据和目标数据的数据量不一致，通过对比源数据和数据仓库中的数据是否一致，若不一致，则发不一致的监控结果；本实施例主要通过监控管理模块对初始监控数据进行监控，得到监控完成后的多个分类结果。
[0028]S30，通过与所述监控管理模块连接的中间件将所述最终监控数据报送至预设接收平台。
[0029]可理解地，预设接收平台包括业务中台和报送系统，其中，业务中台实际上是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据监测方法，其特征在于，所述方法包括：获取预设巡航规则，通过巡航管理模块基于所述预设巡航规则对数据仓库中的监控数据进行巡航处理，得到初始监控数据；确认所述巡航管理模块接入至监控管理模块后，获取预设监控规则，通过监控管理模块基于所述预设监控规则对所述初始监控数据进行分类处理，得到最终监控数据；通过与所述监控管理模块连接的中间件将所述最终监控数据报送至预设接收平台。2.根据权利要求1所述的数据监测方法，其特征在于，所述通过巡航管理模块基于所述预设巡航规则对数据仓库中的监控数据进行巡航处理，得到初始监控数据，包括：获取与所述预设巡航规则对应的循环范围数据仓库以及循环模式；所述循环模式包括全量模式、增量模式和业务维度模式；根据所述预设巡航规则对应的循环模式对该循环范围数据仓库进行巡航处理，得到所述初始监控数据。3.根据权利要求1所述的数据监测方法，其特征在于，所述通过监控管理模块基于所述预设监控规则对所述初始监控数据进行分类处理，得到最终监控数据，包括：获取所述监控管理模块中设置的监控任务；在执行所述监控任务后，通过引入至所述监控管理模块中的规则引擎对所述预设监控规则进行解析处理，得到具有先后顺序的多个父子规则；在所述监控管理模块中，按照所述父子规则的先后顺序对所述初始监控数据进行监测处理后，迭代收集存在预设错误类型的初始监控数据，将预设错误类型的初始监控数据进行标签标注处理后，得到执行所述监控任务后分类成功的所述最终监控数据。4.根据权利要求3所述的数据监测方法，其特征在于，所述得到具有先后顺序的多个父子规则之后，还包括：将多个所述父子规则加入至数据规则表中；所述数据规则表中存在与多个历史时间分别对应的预设监控规则；将所述数据规则表中的父子规则以及与多个历史时间分别对应的预设监控规则导入至预设的规则公式进行学习，得到运行偏差结果；根据运行偏差结果调整当前时间下的所述父子规则。5.根据权利要求1所述的数据监测方法，其特征在于，所述通过与所述监控管理模块连接的中间件将所述最终监控数据报送至预设接收平台，包括：获取所述最终监控数据中的...

【专利技术属性】
技术研发人员：王海平，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：