【技术实现步骤摘要】
本专利技术涉及数据处理领域，具体的说涉及到一种基于arm的实时流处理和分析方法、设备及储存介质。
技术介绍
1、流计算可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点，流计算作为一类针对流数据的实时计算模型，可有效地缩短全链路数据流时延、实时化计算逻辑、平摊计算成本，最终有效满足实时处理大数据的业务需求。流处理作为一种重要的大数据处理手段，其主要特点是其处理的数据是源源不断且实时到来的。但现有的流处理方法进行数据处理时只能进行一些简单的处理，而无法对数据进行实时的处理和分析。
技术实现思路
1、为了克服现有技术的不足，本专利技术提供一种基于arm的实时流处理和分析方法，该方法可以对数据进行实时的处理和分析。
2、本专利技术解决其技术问题所采用的技术方案是：一种基于arm的实时流处理和分析方法，该方法包括：
3、将来自数据源中的流数据发送至数据接收模块；
4、数据接收模块对来自数据源中的流数据缓存并进行预处理；
5、利用流处理操作库模块构件流处理程序，通过流处理程序对预处理后的流数据进行处理；
6、利用流数据矩阵运算和图计算模块构建流数据分析任务，通过流数据分析任务对预处理后的流数据进行处理；
7、利用流计算框架模块构件流计算功能，通过流计算功能对预处理后的数据进行处理；
8、将经过预处理后的数据通过数据输出模块输出。
9、在
10、在上述的方法中，所述流处理程序至少定义有一个输入流和输出流。
11、在上述的方法中，所述流数据分析任务至少定义有一个输入流和输出流。
12、在上述的方法中，所述流处理操作库模块包括数据并行、任务并行、状态管理以及检查点功能。
13、在上述的方法中，所述流数据矩阵运算和图计算基于arm gpu以提高流数据分析的性能和精度。
14、在上述的方法中，所述流计算框架模块通过复杂事件处理及相关性分析对流数据进行实时分析和处理。
15、一种基于arm的实时流处理和分析设备，该设备包括：
16、数据接收模块，用于接收来自数据源中的流数据；
17、流处理操作库模块，用于对于流数据进行流处理操作；
18、流数据矩阵运算和图计算模块，用于对流数据进行矩阵运算和图计算，实现流数据分析功能；
19、流计算框架模块，用于实现对流数据的流计算功能；
20、数据输出模块，用于将流处理和分析的结果进行输出。
21、一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被处理器执行时，使得所述处理器至少执行如上述所述的方法。
22、本专利技术的有益效果是：该方法可以对流数据进行实时的处理和分析。
本文档来自技高网...【技术保护点】
1.一种基于ARM的实时流处理和分析方法，其特征在于，该方法包括：
2.根据权利要求1所述的一种基于ARM的实时流处理和分析方法，其特征在于，所述流数据进行预处理后并转换为统一的数据结构。
3.根据权利要求1所述的一种基于ARM的实时流处理和分析方法，其特征在于，所述流处理程序至少定义有一个输入流和输出流。
4.根据权利要求1所述的一种基于ARM的实时流处理和分析方法，其特征在于，所述流数据分析任务至少定义有一个输入流和输出流。
5.根据权利要求1所述的一种基于ARM的实时流处理和分析方法，其特征在于，所述流处理操作库模块包括数据并行、任务并行、状态管理以及检查点功能。
6.根据权利要求1所述的一种基于ARM的实时流处理和分析方法，其特征在于，所述流数据矩阵运算和图计算基于ARM GPU以提高流数据分析的性能和精度。
7.根据权利要求1所述的一种基于ARM的实时流处理和分析方法，其特征在于，所述流计算框架模块通过复杂事件处理及相关性分析对流数据进行实时分析和处理。
8.一种基于ARM的实时流处理和
9.一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被处理器执行时，使得所述处理器至少执行如上述权利要求1-7所述的方法。
...【技术特征摘要】
1.一种基于arm的实时流处理和分析方法，其特征在于，该方法包括：
2.根据权利要求1所述的一种基于arm的实时流处理和分析方法，其特征在于，所述流数据进行预处理后并转换为统一的数据结构。
3.根据权利要求1所述的一种基于arm的实时流处理和分析方法，其特征在于，所述流处理程序至少定义有一个输入流和输出流。
4.根据权利要求1所述的一种基于arm的实时流处理和分析方法，其特征在于，所述流数据分析任务至少定义有一个输入流和输出流。
5.根据权利要求1所述的一种基于arm的实时流处理和分析方法，其特征在于，所述流处理操作库模块包括数据并行、任...
【专利技术属性】
技术研发人员：黄贵龙，梁平，刘虎，何志平，贾兵，周南，
申请(专利权)人：天固信息安全系统深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。