【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种数据存算方法及装置。
技术介绍
1、随着大数据技术的发展，各个领域对大数据处理要求不断提高。
2、目前，普遍使用的大数据处理架构属于存算分离架构，但这种架构由于存储引擎和计算引擎的分离使得在数据处理过程中消耗大量的网络流量及存储流量，导致网络输入输出负载增加，因此，数据的实时计算速度过慢。
3、综上，目前亟需一种可以解决当前大数据处理过程中网络输入输出负载较大、数据实时计算速度较慢等问题的方法。
技术实现思路
1、有鉴于此，本专利技术实施例提供一种数据存算方法及装置，以解决当前大数据处理过程中网络输入输出负载较大、数据实时计算速度较慢的问题。
2、为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据存算方法。
3、本专利技术实施例的一种数据存算方法包括：
4、采用数据存算一体引擎接收计算任务，确定参与计算的数据的唯一业务标识；其中，上述数据存算一体引擎是包括计算分区和内存分区的引擎，上述计算分区和上述内存分区存在关联映射关系；
5、基于上述唯一业务标识确定目标数据对象，并从上述数据存算一体引擎中确定上述目标数据对象的目标内存分区；
6、基于上述计算分区和上述内存分区的关联映射关系，确定与上述目标内存分区存在关联映射关系的目标计算分区；
7、从上述目标内存分区获取上述参与计算的数据并发送至目标计算分区，以使上述目标计算分区执行上述计算任务。p>
8、可选地，建立上述计算分区和上述内存分区的关联映射关系，包括：
9、将存储引擎的驱动程序嵌入计算引擎的驱动程序；其中，上述存储引擎和上述计算引擎均属于分布式引擎；
10、将每个节点中内存分区与计算分区进行关联映射，得到内存分区和计算分区的关联映射关系。
11、可选地，上述将每个节点中内存分区与计算分区进行关联映射，包括：
12、基于唯一业务标识将待存储数据封装成不同的数据对象；
13、将上述数据对象分配至各个节点中；
14、针对每个节点，将上述不同的数据对象写入各个内存分区中，并将各个内存分区分配给每个计算分区，以使每个计算分区和对应的内存分区进行关联映射。
15、可选地，上述将各个内存分区分配给每个计算分区，包括：
16、将各个上述内存分区平均分配给每个上述计算分区；或者，
17、基于上述计算分区的算力，将各个上述内存分区分配给每个上述计算分区。
18、可选地，上述将存储引擎的驱动程序嵌入计算引擎的驱动程序，包括：
19、将存储引擎的驱动程序的代码写入上述计算引擎的驱动程序的代码中。
20、可选地，上述将存储引擎的驱动程序嵌入计算引擎的驱动程序，包括：
21、基于上述存储引擎的驱动程序，编译存储引擎启动脚本；将上述存储引擎启动脚本加载至上述计算引擎的驱动程序中。
22、可选地，上述方法还包括：
23、将执行上述计算任务的过程中产生的数据或数据生产端产生的数据作为新增数据，获取上述新增数据的唯一业务标识；
24、响应于上述新增数据的唯一业务标识为已存在的唯一业务标识，将上述新增数据存储至具有相同唯一业务标识的数据对象所在的内存分区中；
25、响应于上述新增数据的唯一业务标识为新增的唯一业务标识，基于唯一业务标识将上述新增数据封装成数据对象写入内存分区中。
26、为实现上述目的，根据本专利技术实施例的又一方面，提供了一种数据存算装置。
27、本专利技术实施例的一种数据存算装置包括：
28、接收模块，用于采用数据存算一体引擎接收计算任务，确定参与计算的数据的唯一业务标识；其中，上述数据存算一体引擎是包括计算分区和内存分区的引擎，上述计算分区和上述内存分区存在关联映射关系；
29、第一确定模块，用于基于上述唯一业务标识确定目标数据对象，并从上述数据存算一体引擎中确定上述目标数据对象的目标内存分区；
30、第二确定模块，用于基于上述计算分区和上述内存分区的关联映射关系，确定与上述目标内存分区存在关联映射关系的目标计算分区；
31、执行模块，用于从上述目标内存分区获取上述参与计算的数据并发送至目标计算分区，以使上述目标计算分区执行上述计算任务。
32、为实现上述目的，根据本专利技术实施例的又一方面，提供了一种用于数据存算的电子设备。
33、本专利技术实施例的一种用于数据存算的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行，使得上述一个或多个处理器实现本专利技术实施例的一种数据存算方法。
34、为实现上述目的，根据本专利技术实施例的再一方面，提供了一种计算机可读存储介质。
35、本专利技术实施例的一种计算机可读存储介质，其上存储有计算机程序，上述程序被处理器执行时实现本专利技术实施例的一种数据存算方法。
36、上述专利技术中的一个实施例具有如下优点或有益效果：在采用预先配置好的数据存算一体引擎接收到计算任务后，通过唯一业务标识确定参与计算的数据的目标数据对象，根据上述数据存算一体引擎中计算分区和内存分区的关联映射关系，确定存储目标数据对象的目标内存分区对应的目标计算分区，以使目标计算分区可以直接从本地与其存在关联映射关系的目标内存分区中获取参与计算的数据，避免了在处理计算任务时需要从分布式引擎的其他节点中获取参与计算的数据，从而减少网络输入输出数据的传输，提高了本地内存数据读写能力，进一步提升了计算速度。
37、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
本文档来自技高网...【技术保护点】
1.一种数据存算方法，其特征在于，包括：
2.根据权利要求1所述的数据存算方法，其特征在于，建立所述计算分区和所述内存分区的关联映射关系，包括：
3.根据权利要求2所述的数据存算方法，其特征在于，所述将每个节点中内存分区与计算分区进行关联映射，包括：
4.根据权利要求3所述的数据存算方法，其特征在于，所述将各个内存分区分配给每个计算分区，包括：
5.根据权利要求2所述的数据存算方法，其特征在于，所述将存储引擎的驱动程序嵌入计算引擎的驱动程序，包括：
6.根据权利要求2所述的数据存算方法，其特征在于，所述将存储引擎的驱动程序嵌入计算引擎的驱动程序，包括：
7.根据权利要求2所述的数据存算方法，其特征在于，所述方法还包括：
8.一种数据存算装置，其特征在于，包括：
9.一种用于数据存算的电子设备，其特征在于，包括：
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
【技术特征摘要】
1.一种数据存算方法，其特征在于，包括：
2.根据权利要求1所述的数据存算方法，其特征在于，建立所述计算分区和所述内存分区的关联映射关系，包括：
3.根据权利要求2所述的数据存算方法，其特征在于，所述将每个节点中内存分区与计算分区进行关联映射，包括：
4.根据权利要求3所述的数据存算方法，其特征在于，所述将各个内存分区分配给每个计算分区，包括：
5.根据权利要求2所述的数据存算方法，其特征在于，所述将存储引擎的驱动程序嵌入计...
【专利技术属性】
技术研发人员：姜栋琛，
申请(专利权)人：凯美瑞德苏州信息科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。