一种数据向量化聚集方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种数据向量化聚集方法、装置、设备及存储介质，涉及数据库技术领域，包括：获取若干包含相应数据处理操作的数据查询指令，并对若干数据查询指令进行向量化处理以生成向量化指令；基于向量化指令对预设数据库进行扫描操作以读取与每一数据查询指令对应的若干待处理数据并存储至本地的预设内存；将与所述数据聚集操作对应的所述向量化指令发送至预设的FPGA硬件加速平台中，以便所述FPGA硬件加速平台基于所述向量化指令从所述预设内存中获取相应的所述待处理数据以进行数据聚集操作，并将相应的数据处理结果返回至所述中央处理器。本申请通过向量化处理实现数据合并，利用FPGA硬件加速平台实现加速处理，减少时延开销。时延开销。时延开销。

【技术实现步骤摘要】
一种数据向量化聚集方法、装置、设备及存储介质


[0001]本专利技术涉及数据库
，特别涉及一种数据向量化聚集方法、装置、设备及存储介质。

技术介绍

[0002]随着摩尔定律的逐渐失效以及数据库数据的爆发式增长，传统的纯CPU（Central Processing Unit，即中央处理器）计算平台已经不能满足当前的数据库计算需求。在传统计算平台中嵌入FPGA（Field Programmable Gate Array，即现场可编程逻辑门阵列）、GPU（graphics processing unit，即图形处理器）、AISC（Application
‑
Specific Integrated Circuit，即应用型专用集成电路）等可编程硬件加速器，将特定的查询操作卸载到硬件处理器，由硬件处理器完成，以此来提升数据库的性能，是现在的热门研究方式。
[0003]但是，由于在CPU和硬件加速平台之间进行数据传输时，存在一定量的时延开销，硬件加速平台在进行低数据量的数据查询加速操作时，其加速效果很差，甚至劣于CPU的查询计算。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种数据向量化聚集方法、装置、设备及存储介质，能够通过向量化的形式将大量数据合并为一个数据，并通过预设平台实现聚集加速从而降低时间开销。其具体方案如下：第一方面，本申请公开了一种数据向量化聚集方法，应用于中央处理器，包括：获取若干包含相应数据处理操作的数据查询指令，并对若干所述数据查询指令进行向量化处理以生成向量化指令；所述数据处理操作中包含数据聚集操作；基于所述向量化指令对预设数据库进行扫描操作，以读取与每一所述数据查询指令对应的若干待处理数据并存储至本地的预设内存；所述待处理数据为向量块形式；将与所述数据聚集操作对应的所述向量化指令发送至预设的FPGA硬件加速平台中，以便所述FPGA硬件加速平台基于所述向量化指令从所述预设内存中获取相应的所述待处理数据以进行数据聚集操作，并将相应的数据处理结果返回至所述中央处理器。
[0005]可选的，所述基于所述向量化指令对预设数据库进行扫描操作，以读取与每一所述数据查询指令对应的若干待处理数据并存储至本地的预设内存，包括：基于所述向量化指令对预设数据库进行扫描操作，以读取与每一所述数据查询指令对应的若干待处理数据，并将每一所述待处理数据封装为一个待处理数据向量块存储至预设内存；相应的，所述基于所述向量化指令从所述预设内存中获取相应的所述待处理数据以进行数据聚集操作，包括：基于所述向量化指令从所述预设内存获取相应的所述待处理数据向量块以进行数据聚集操作。
[0006]可选的，所述基于所述向量化指令从所述预设内存中获取相应的所述待处理数据以进行数据聚集操作，包括：基于所述向量化指令从所述预设内存中获取相应的所述待处理数据，并将每一所述待处理数据封装为一个待处理数据向量块以对若干所述待处理数据向量块进行数据聚集操作。
[0007]可选的，所述基于所述向量化指令从所述预设内存中获取相应的所述待处理数据以进行数据聚集操作之后，还包括：判断所述向量化指令中是否还存在通过所述FPGA硬件加速平台执行的与其他数据处理操作对应的指令；若是，则将经过数据聚集操作得到的所述数据处理结果保存至所述FPGA硬件加速平台中的预设数据缓存中，并通过所述FPGA硬件加速平台对与其他数据处理操作对应的所述向量化指令进行相应的数据处理操作，直至所有通过所述FPGA硬件加速平台执行的数据处理操作全部执行完成。
[0008]第二方面，本申请公开了一种数据向量化聚集方法，应用于FPGA硬件加速平台，包括：获取中央处理器对若干包含相应数据处理操作的数据查询指令进行向量化处理后生成的包含数据聚集操作的向量化指令；所述数据处理操作中包含数据聚集操作；基于与所述数据聚集操作对应的所述向量化指令从所述中央处理器的预设内存中获取相应的待处理数据以进行数据聚集操作，并将相应的数据处理结果返回至所述中央处理器；所述待处理数据为向量块形式并与每一所述数据查询指令对应，由所述中央处理器基于所述向量化指令对预设数据库进行扫描操作读取并存储至所述预设内存。
[0009]可选的，所述数据向量化聚集方法还包括：从所述预设内存中读取到相应的所述待处理数据后，将所述待处理数据缓存至所述FPGA硬件加速平台的第一存储器中；对所述待处理数据的数据聚集操作完成后，将相应的所述数据处理结果缓存至所述FPGA硬件加速平台的第二存储器中。
[0010]第三方面，本申请公开了一种数据向量化聚集装置，应用于中央处理器，包括：向量化处理模块，用于获取若干包含相应数据处理操作的数据查询指令，并对若干所述数据查询指令进行向量化处理以生成向量化指令；所述数据处理操作中包含数据聚集操作；数据库扫描模块，用于基于所述向量化指令对预设数据库进行扫描操作，以读取与每一所述数据查询指令对应的若干待处理数据并存储至本地的预设内存；所述待处理数据为向量块形式；指令发送模块，用于将与所述数据聚集操作对应的所述向量化指令发送至预设的FPGA硬件加速平台中，以便所述FPGA硬件加速平台基于所述向量化指令从所述预设内存中获取相应的所述待处理数据以进行数据聚集操作，并将相应的数据处理结果返回至所述中央处理器。
[0011]第四方面，本申请公开了一种数据向量化聚集装置，应用于FPGA硬件加速平台，包括：
指令获取模块，用于获取中央处理器对若干包含相应数据处理操作的数据查询指令进行向量化处理后生成的包含数据聚集操作的向量化指令；所述数据处理操作中包含数据聚集操作；数据聚类模块，用于基于与所述数据聚集操作对应的所述向量化指令从所述中央处理器的预设内存中获取相应的待处理数据以进行数据聚集操作，并将相应的数据处理结果返回至所述中央处理器；所述待处理数据为向量块形式并与每一所述数据查询指令对应，由所述中央处理器基于所述向量化指令对预设数据库进行扫描操作读取并存储至所述预设内存。
[0012]第五方面，本申请公开了一种电子设备，包括：存储器，用于保存计算机程序；处理器，用于执行所述计算机程序以实现前述的数据向量化聚集方法。
[0013]第六方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的数据向量化聚集方法。
[0014]可见，本申请首先获取若干包含相应数据处理操作的数据查询指令，并对若干所述数据查询指令进行向量化处理以生成向量化指令；所述数据处理操作中包含数据聚集操作；接着基于所述向量化指令对预设数据库进行扫描操作，以读取与每一所述数据查询指令对应的若干待处理数据并存储至本地的预设内存；所述待处理数据为向量块形式；然后将与所述数据聚集操作对应的所述向量化指令发送至预设的FPGA硬件加速平台中，以便所述FPGA硬件加速平台基于所述向量化指令从所述预设内存中获取相应的所述待处理数据以进行数据聚集操作，并将相应的数据处理结果返回至所述中央处理器。由此可知，本申请通过将指令进行向量化处理，可以将大量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据向量化聚集方法，其特征在于，应用于中央处理器，包括：获取若干包含相应数据处理操作的数据查询指令，并对若干所述数据查询指令进行向量化处理以生成向量化指令；所述数据处理操作中包含数据聚集操作；基于所述向量化指令对预设数据库进行扫描操作，以读取与每一所述数据查询指令对应的若干待处理数据并存储至本地的预设内存；所述待处理数据为向量块形式；将与所述数据聚集操作对应的所述向量化指令发送至预设的FPGA硬件加速平台中，以便所述FPGA硬件加速平台基于所述向量化指令从所述预设内存中获取相应的所述待处理数据以进行数据聚集操作，并将相应的数据处理结果返回至所述中央处理器。2.根据权利要求1所述的数据向量化聚集方法，其特征在于，所述基于所述向量化指令对预设数据库进行扫描操作，以读取与每一所述数据查询指令对应的若干待处理数据并存储至本地的预设内存，包括：基于所述向量化指令对预设数据库进行扫描操作，以读取与每一所述数据查询指令对应的若干待处理数据，并将每一所述待处理数据封装为一个待处理数据向量块存储至预设内存；相应的，所述基于所述向量化指令从所述预设内存中获取相应的所述待处理数据以进行数据聚集操作，包括：基于所述向量化指令从所述预设内存获取相应的所述待处理数据向量块以进行数据聚集操作。3.根据权利要求1所述的数据向量化聚集方法，其特征在于，所述基于所述向量化指令从所述预设内存中获取相应的所述待处理数据以进行数据聚集操作，包括：基于所述向量化指令从所述预设内存中获取相应的所述待处理数据，并将每一所述待处理数据封装为一个待处理数据向量块以对若干所述待处理数据向量块进行数据聚集操作。4.根据权利要求1至3任一项所述的数据向量化聚集方法，其特征在于，所述基于所述向量化指令从所述预设内存中获取相应的所述待处理数据以进行数据聚集操作之后，还包括：判断所述向量化指令中是否还存在通过所述FPGA硬件加速平台执行的与其他数据处理操作对应的指令；若是，则将经过数据聚集操作得到的所述数据处理结果保存至所述FPGA硬件加速平台中的预设数据缓存中，并通过所述FPGA硬件加速平台对与其他数据处理操作对应的所述向量化指令进行相应的数据处理操作，直至所有通过所述FPGA硬件加速平台执行的数据处理操作全部执行完成。5.一种数据向量化聚集方法，其特征在于，应用于FPGA硬件加速平台，包括：获取中央处理器对若干包含相应数据处理操作的数据查询指令进行向量化处理后生成的包含数据聚集操作的向量化指令；所述数据处...

【专利技术属性】
技术研发人员：王帅，姜凯，赵鑫鑫，李明，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：