数据处理方法及系统技术方案

本发明专利技术提供了一种数据处理方法及装置，方法为：获取业务场景数据；根据业务场景数据，得到业务场景数据对应的测试参数；根据测试参数，通过流计算引擎得到测试参数对应的测量值；将测量值通过卡夫卡数据总线发送至报警规则引擎，同时通过卡夫卡数据总线调用数据库中的规则语句，报警规则引擎由大数据分析引擎Flink和规则引擎CEP组成；通过报警规则引擎，结合规则语句，实现业务场景数据的异常报警处理，得到报警结果。本发明专利技术的数据处理方法及系统，在数据传输过程中，通过卡夫卡总线对数据进行传输，在数据处理过程中，解决了数据格式不统一的问题，且提高数据处理效率。

Data processing method and system

The invention provides a device and a method of data processing method: obtaining business scene data; according to the scene data, and get the test parameters of business data corresponding to the scene; according to the test parameters, measured by flow calculation of engine test parameter values corresponding to the measured values by Kafka; the data bus is sent to the alarm rules engine. At the same time, through the statement of rules Kafka data bus calls in database, alarm rule engine by big data analysis engine Flink and rule engine CEP; through the alarm rule engine, combined with the rules, realize the abnormal alarm business scene data processing, alarm results. The data processing method and system of the invention, in the process of data transmission, through the Kafka bus for data transmission, in the process of data processing, to solve the data format is not uniform, and improve the efficiency of data processing.

【技术实现步骤摘要】
数据处理方法及系统
本专利技术涉及数据处理领域，尤其涉及数据处理方法及系统。
技术介绍
企业关键绩效指标(KPI：KeyPerformanceIndicator)是通过对组织内部流程的输入端、输出端的关键参数进行设置、取样、计算、分析，衡量流程绩效的一种目标式量化管理指标，是把企业的战略目标分解为可操作的工作目标的工具，是企业绩效管理的基础。目前，对于数据的处理，数据在流转过程中数据的格式常常不统一，由于格式不统一的问题，因此会影响数据的处理和传输。因此，现有技术中的缺陷是，在进行数据传输处理过程中，由于数据传输格式不统一，会影响数据的处理和传输，影响传输和处理的效率。
技术实现思路
针对上述技术问题，本专利技术提供一种数据处理方法及系统，在数据传输过程中，通过卡夫卡总线对数据进行传输，在数据处理过程中，解决了数据格式不统一的问题，且提高数据处理效率。为解决上述技术问题，本专利技术提供的技术方案是：第一方面，本专利技术提供一种数据处理方法，包括：步骤S1，获取业务场景数据；步骤S2，根据所述业务场景数据，得到所述业务场景数据对应的测试参数；步骤S3，根据所述测试参数，通过流计算引擎得到所述测试参数对应的测量值；步骤S4，将所述测量值通过卡夫卡数据总线发送至报警规则引擎，同时通过所述卡夫卡数据总线调用数据库中的规则语句，所述报警规则引擎由大数据分析引擎Flink和规则引擎CEP组成；步骤S5，通过所述报警规则引擎，结合所述规则语句，实现所述业务场景数据的异常报警处理，得到报警结果。本专利技术的数据处理方法，其技术方案为：获取业务场景数据；根据所述业务场景数据，得到所述业务场景数据对应的测试参数；根据所述测试参数，通过流计算引擎得到所述测试参数对应的测量值；将所述测量值通过卡夫卡数据总线发送至报警规则引擎，同时通过所述卡夫卡数据总线调用数据库中的规则语句，所述报警规则引擎由大数据分析引擎Flink和规则引擎CEP组成；通过所述报警规则引擎，结合所述规则语句，实现所述业务场景数据的异常报警处理，得到报警结果。本专利技术的数据处理方法，在数据传输过程中，通过卡夫卡总线对数据进行传输，在数据处理过程中，解决了数据格式不统一的问题，且提高数据处理效率。进一步地，所述步骤S5，具体为：初始化设置所述报警规则引擎，并获取接收到的所述业务场景数据对应的规则ID；根据所述规则ID，从所述数据库中获取所述规则ID对应的规则语句；每隔预设时间对所述业务场景数据进行异常判断，得到判定结果；根据所述判定结果，实现所述业务场景数据的异常报警处理，得到报警结果。进一步地，所述卡夫卡数据总线通过数据连接体系结构连接数据库。进一步地，所述数据连接体系结构为java数据库连接体系结构。java数据库连接体系结构，即JDBC(JavaDataBaseConnectivity，java数据库连接)是一种用于执行SQL语句的JavaAPI，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。JDBC为工具/数据库开发人员提供了一个标准的API，据此可以构建更高级的工具和接口，使数据库开发人员能够用纯JavaAPI编写数据库应用程序。有了JDBCAPI，程序员只需用JDBCAPI写一个程序就够了，它可向相应数据库发送SQL调用，增进了访问数据的效率和快捷程度。进一步地，所述数据库为Memsql数据库。Memsql分布式关系型数据库，其兼容MySQL但速度快30倍，能实现每秒150万次事务。因此将本专利技术中的规则语句存储在此Memsql数据库，加快了数据的处理速度。进一步地，还包括，通过所述卡夫卡数据总线将所述测量值进行微批量加载处理。对数据可进行微批量加载处理，同时处理更多的数据，加快数据的处理速度。第二方面，本专利技术提供了一种数据处理系统，包括：数据获取模块，用于获取业务场景数据；测试参数模块，用于根据所述业务场景数据，得到所述业务场景数据对应的测试参数；测量值模块，用于根据所述测试参数，通过流计算引擎得到所述测试参数对应的测量值；数据发送模块，用于将所述测量值通过卡夫卡数据总线发送至报警规则引擎，同时通过所述卡夫卡数据总线调用数据库中的规则语句，所述报警规则引擎由大数据分析引擎Flink和规则引擎CEP组成；数据处理模块，用于通过所述报警规则引擎，结合所述规则语句，实现所述业务场景数据的异常报警处理，得到报警结果。本专利技术的数据处理系统，其技术方案为：先通过数据获取模块，获取业务场景数据；接着通过测试参数模块，根据所述业务场景数据，得到所述业务场景数据对应的测试参数；然后通过测量值模块，根据所述测试参数，通过流计算引擎得到所述测试参数对应的测量值；接着通过数据发送模块，将所述测量值通过卡夫卡数据总线发送至报警规则引擎，同时通过所述卡夫卡数据总线调用数据库中的规则语句，所述报警规则引擎由大数据分析引擎Flink和规则引擎CEP组成；最后通过数据处理模块，通过所述报警规则引擎，结合所述规则语句，实现所述业务场景数据的异常报警处理，得到报警结果。本专利技术的数据处理系统，在数据传输过程中，通过卡夫卡总线对数据进行传输，在数据处理过程中，解决了数据格式不统一的问题，且提高数据处理效率。进一步地，所述数据处理模块，具体用于：初始化设置所述报警规则引擎，并获取接收到的所述业务场景数据对应的规则ID；根据所述规则ID，从所述数据库中获取所述规则ID对应的规则语句；每隔预设时间对所述业务场景数据进行异常判断，得到判定结果；根据所述判定结果，实现所述业务场景数据的异常报警处理，得到报警结果。进一步地，所述卡夫卡数据总线通过数据连接体系结构连接数据库。进一步地，所述数据连接体系结构为java数据库连接体系结构。java数据库连接体系结构，即JDBC(JavaDataBaseConnectivity，java数据库连接)是一种用于执行SQL语句的JavaAPI，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。JDBC为工具/数据库开发人员提供了一个标准的API，据此可以构建更高级的工具和接口，使数据库开发人员能够用纯JavaAPI编写数据库应用程序。有了JDBCAPI，程序员只需用JDBCAPI写一个程序就够了，它可向相应数据库发送SQL调用，增进了访问数据的效率和快捷程度。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。图1示出了本专利技术实施例所提供的一种数据处理方法的流程图；图2示出了本专利技术实施例所提供的一种数据处理系统的示意图。具体实施方式下面将结合附图对本专利技术技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，因此只是作为示例，而不能以此来限制本专利技术的保护范围。实施例一图1示出了本专利技术实施例所提供的一种数据处理方法的流程图；如图1所示，本专利技术实施例一提供了一种数据处理方法，包括：步骤S1，获取业务场景数据；步骤S2，根据业务场景数据，得到业务场景数据对应的测试参数；步骤S3，根据测试参数，通过流计算引擎得到测试参数对应的测量值；步骤S4，将测量值通过卡夫卡数据总线发送至报警规则引擎，同时通过卡夫卡数据总线调用数据库中的规本文档来自技高网...

【技术保护点】
数据处理方法，其特征在于，包括：步骤S1，获取业务场景数据；步骤S2，根据所述业务场景数据，得到所述业务场景数据对应的测试参数；步骤S3，根据所述测试参数，通过流计算引擎得到所述测试参数对应的测量值；步骤S4，将所述测量值通过卡夫卡数据总线发送至报警规则引擎，同时通过所述卡夫卡数据总线调用数据库中的规则语句，所述报警规则引擎由大数据分析引擎Flink和规则引擎CEP组成；步骤S5，通过所述报警规则引擎，结合所述规则语句，实现所述业务场景数据的异常报警处理，得到报警结果。

【技术特征摘要】
1.数据处理方法，其特征在于，包括：步骤S1，获取业务场景数据；步骤S2，根据所述业务场景数据，得到所述业务场景数据对应的测试参数；步骤S3，根据所述测试参数，通过流计算引擎得到所述测试参数对应的测量值；步骤S4，将所述测量值通过卡夫卡数据总线发送至报警规则引擎，同时通过所述卡夫卡数据总线调用数据库中的规则语句，所述报警规则引擎由大数据分析引擎Flink和规则引擎CEP组成；步骤S5，通过所述报警规则引擎，结合所述规则语句，实现所述业务场景数据的异常报警处理，得到报警结果。2.根据权利要求1所述的数据处理方法，其特征在于，所述步骤S5，具体为：初始化设置所述报警规则引擎，并获取接收到的所述业务场景数据对应的规则ID；根据所述规则ID，从所述数据库中获取所述规则ID对应的规则语句；每隔预设时间对所述业务场景数据进行异常判断，得到判定结果；根据所述判定结果，实现所述业务场景数据的异常报警处理，得到报警结果。3.根据权利要求1所述的数据处理方法，其特征在于，所述卡夫卡数据总线通过数据连接体系结构连接数据库。4.根据权利要求3所述的数据处理方法，其特征在于，所述数据连接体系结构为java数据库连接体系结构。5.根据权利要求1所述的数据处理方法，其特征在于，所述数据库为Memsql数据库。6.根据权利要求1所述的数据处理方法，...

【专利技术属性】
技术研发人员：何婷，边旭，贾西贝，
申请(专利权)人：深圳市华傲数据技术有限公司，
类型：发明
国别省市：广东,44