本发明专利技术公开了一种数据实时流处理方法、系统、计算机装置和存储介质，数据实时流处理方法包括开发规则模型，向规则模型注入所关联的阈值参数，将多个规则模型组合成作业规则，将业务数据与作业规则匹配，从而生成预警消息，以及推送预警消息等步骤。本发明专利技术实时流处理方法和实时流处理系统能够实现对规则的抽象和结合实时流处理与规则引擎，从而可以有效的解偶规则和参数，让规则可以按业务需求进行复用，重组，减少重复工作。另外对计算资源的隔离，则可以有效分割不同作业，避免互相影响，能够有效地帮助业务员将业务规则从应用程序代码分离出来，降低预警模型开发复杂度和开发成本较高。本发明专利技术广泛应用于数据流处理技术领域。域。域。
【技术实现步骤摘要】
数据实时流处理方法、系统、计算机装置和存储介质
[0001]本专利技术涉及数据流处理
，尤其是一种数据实时流处理方法、系统、计算机装置和存储介质。
技术介绍
[0002]目前企业、事业单位业务数字化已基本完备，因此生成的数据量、数据种类呈现指数级上涨，同时，实际业务中的规则频繁变化，因此要求使用基于规则引擎的实时流处理技术，去处理日常业务中产生的数据。目前使用的数据实时流处理技术如flink、storm、规则引擎drools、复杂事件处理CEP等，其缺点包括：业务规则与其应用程序代码紧密结合难以分离，因此预警模型开发复杂度及开发成本较高，不利于数据实时流处理在企事业单位的应用。
技术实现思路
[0003]针对上述至少一个技术问题，本专利技术的目的在于提供一种数据实时流处理方法、系统、计算机装置和存储介质。
[0004]一方面，本专利技术实施例包括一种数据实时流处理方法，包括：
[0005]开发规则模型；
[0006]确定所述规则模型与相应阈值参数的关联关系；
[0007]向所述规则模型注入所关联的所述阈值参数；
[0008]将多个规则模型组合成作业规则；
[0009]获取业务数据，将所述业务数据与经过解析的所述作业规则匹配，从而生成预警消息；
[0010]推送所述预警消息。
[0011]进一步地，所述确定所述规则模型与相应阈值参数的关联关系，包括：
[0012]选取业务数据的数据源；
[0013]关联所述数据源中的事件日期字段；所述事件日期字段用于作为规则告警时间；
[0014]编写判断规则；
[0015]暴露与所述判断规则相应的阈值参数；
[0016]声明所述阈值参数。
[0017]进一步地，所述将多个规则模型组合成作业规则，包括：
[0018]拉取多个规则模型；
[0019]通过且或者或的方式对各规则模型进行关联；所述关联的结果为所述作业规则。
[0020]进一步地，所述获取业务数据，将所述业务数据与经过解析的所述作业规则匹配，从而生成预警消息，包括：
[0021]根据所述作业规则的计算环境配置生成计算节点集合；
[0022]执行数据源注册和用户自定义函数注册；
[0023]执行计算资源对接，将所述作业规则分发到所述计算节点集合中的计算节点上进行计算；
[0024]从数据源获取业务数据；
[0025]将所述业务数据与所述作业规则进行实时匹配；
[0026]若所述业务数据与所述作业规则符合匹配规则，将所述业务数据封装成预警消息。
[0027]另一方面，本专利技术实施例还包括一种数据实时流处理系统，包括：
[0028]数据源，用于开发规则模型；
[0029]规则解析层，用于确定所述规则模型与相应阈值参数的关联关系，向所述规则模型注入所关联的所述阈值参数，将多个规则模型组合成作业规则；
[0030]计算层，用于获取业务数据，将所述业务数据与经过解析的所述作业规则匹配，从而生成预警消息；
[0031]中间件，用于推送所述预警消息。
[0032]进一步地，数据实时流处理系统还包括：
[0033]应用层，用于接收所述中间件推送的所述预警消息，对所述预警消息进行可视化或者转发至外部。
[0034]进一步地，数据实时流处理系统还包括：
[0035]作业管理层，用于对所述作业规则进行监控、提交和日志记录。
[0036]进一步地，所述数据源、规则解析层、计算层、中间件、应用层和作业管理层之间被设置计算资源隔离。
[0037]另一方面，本专利技术实施例还包括一种计算机装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行实施例所述方法。
[0038]另一方面，本专利技术实施例还包括一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行实施例中的数据实时流处理方法。
[0039]本专利技术的有益效果是：实施例中的实时流处理方法和实时流处理系统，能够实现对规则的抽象和结合实时流处理与规则引擎，从而可以有效的解偶规则和参数，让规则可以按业务需求进行复用，重组，减少重复工作。另外对计算资源的隔离，则可以有效分割不同作业，避免互相影响，能够有效地帮助业务员将业务规则从应用程序代码分离出来，降低预警模型开发复杂度和开发成本较高。
附图说明
[0040]图1为实施例中数据实时流处理方法的流程图；
[0041]图2为实施例中数据实时流处理系统的结构示意图；
[0042]图3为实施例中确定规则模型与相应阈值参数的关联关系这一步骤的原理示意图；
[0043]图4为实施例中将多个规则模型组合成作业规则这一步骤的原理示意图；
[0044]图5为实施例中获取业务数据，将业务数据与经过解析的作业规则匹配，从而生成预警消息这一步骤这一步骤的原理示意图；
[0045]图6为实施例中对两个规则模型执行数据实时流处理方法的原理示意图。
具体实施方式
[0046]本实施例中，参照图1，数据实时流处理方法包括以下步骤：
[0047]S1.开发规则模型；
[0048]S2.确定规则模型与相应阈值参数的关联关系；
[0049]S3.向规则模型注入所关联的阈值参数；
[0050]S4.将多个规则模型组合成作业规则；
[0051]S5.获取业务数据，将业务数据与经过解析的作业规则匹配，从而生成预警消息；
[0052]S6.推送预警消息。
[0053]本实施例中，可以使用如图2所示的数据实时流处理系统来执行数据实时流处理方法，即使用数据实时流处理系统来执行步骤S1-S6。
[0054]参照图2，数据实时流处理系统包括应用层、作业管理层、规则解析层、计算层、预警消息中间件和数据源。其中，应用层负责数据源管理、规则模型管理、作业管理、预警推送、预警可视化、预警溯源，并对接作业管理层、规则解析层和预警消息中间件；作业管理层负责作业监控、作业日志、作业提交，并对接计算层；规则解析层负责将规则模型和数据源进行关联、为规则模型注入阈值参数、将多个规则模型进行组合，最终形成作业；计算层是基于开源实时计算框架flink实现的，负责接收数据源的业务数据，并和已经解析好的作业规则进行实时匹配，当业务数据和规则匹配时，生成预警消息写入到预警消息中间件；预警消息中间件，负责将计算层写入的预警消息进行持久化缓存避免丢失，并实时推送至应用层，由应用层进行可视化或者转发至外部系统；数据源是指业务数据存储位置，本实施例支持多种数据源，包括消息中间件kafka、分布式键值对数据库hbase、关系型数据库pgsql、关系型数据库mysql、关系型数据库oracle、全文检索引擎elasticsearch。
[0055]本实施例中，可以由数据源执行步骤S1本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据实时流处理方法，其特征在于，包括：开发规则模型；确定所述规则模型与相应阈值参数的关联关系；向所述规则模型注入所关联的所述阈值参数；将多个规则模型组合成作业规则；获取业务数据，将所述业务数据与经过解析的所述作业规则匹配，从而生成预警消息；推送所述预警消息。2.根据权利要求1所述的数据实时流处理方法，其特征在于，所述确定所述规则模型与相应阈值参数的关联关系，包括：选取业务数据的数据源；关联所述数据源中的事件日期字段；所述事件日期字段用于作为规则告警时间；编写判断规则；暴露与所述判断规则相应的阈值参数；声明所述阈值参数。3.根据权利要求1所述的数据实时流处理方法，其特征在于，所述将多个规则模型组合成作业规则，包括：拉取多个规则模型；通过且或者或的方式对各规则模型进行关联；所述关联的结果为所述作业规则。4.根据权利要求1所述的数据实时流处理方法，其特征在于，所述获取业务数据，将所述业务数据与经过解析的所述作业规则匹配，从而生成预警消息，包括：根据所述作业规则的计算环境配置生成计算节点集合；执行数据源注册和用户自定义函数注册；执行计算资源对接，将所述作业规则分发到所述计算节点集合中的计算节点上进行计算；从数据源获取业务数据；将所述业务数据与所述作业规则进行实时匹配；若所述业务数据与所...
【专利技术属性】
技术研发人员：王宏军，郑坚财，徐永潮，蒙赞龙，
申请(专利权)人：北京北明数科信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。