【技术实现步骤摘要】
本专利技术涉及数据库，尤其涉及一种数据聚合查询系统。
技术介绍
1、随着人工智能领域和信息化社会的不断推进，各行业数据库的种类和装机容量也与日俱增，对于数据库的异构查询加速设计策略也日渐增多。由于数据库聚合查询涉及到复杂的查询原语的结合与数据交换，通常在数据库查询流水线的最顶层执行，计算成本极高。目前，主流的聚合查询策略为基于排序的聚合处理方式，该策略需要经过繁琐的数据遍历和排序过程，处理效率极低，在硬件计算资源有限的情况下，只能通过更新排序算法减少聚合查询时长，但仍存在查询效率低、延迟高的问题。
技术实现思路
1、本专利技术提供一种数据聚合查询系统，用以解决现有的聚合查询方式效率低、延迟高的缺陷。
2、本专利技术提供一种数据聚合查询系统，包括数据库总控服务器和数据聚合加速器，其中：
3、所述数据库总控服务器包括处理器，所述数据聚合加速器包括fpga计算内核，所述fpga计算内核与所述处理器通过pcie接口连接；
4、所述处理器用于获取用户终端发送的聚合查询指令，根据所述聚合查询指令获取待处理数据，并将所述待处理数据通过所述pcie接口发送给所述fpga计算内核；
5、所述fpga计算内核用于对所述待处理数据进行双链并行的聚合处理，并将聚合处理后的目标数据发送给所述处理器；
6、所述处理器还用于将所述目标数据发送给所述用户终端，以响应所述用户终端的聚合查询指令。
7、根据本专利技术提供的数据聚合查询系统，所述f
8、数据接收模块，用于接收所述待处理数据，并将所述待处理数据划分为第一部分和第二部分；
9、第一聚合模块，用于对所述待处理数据的第一部分进行聚合处理，得到第一目标数据；
10、第二聚合模块，用于对所述待处理数据的第二部分进行聚合处理，得到第二目标数据；
11、拼接过滤模块，用于对所述第一目标数据和所述第二目标数据进行拼接过滤处理，得到目标数据；
12、数据发送模块，用于将所述目标数据发送给所述处理器。
13、根据本专利技术提供的数据聚合查询系统，所述第一聚合模块包括：
14、第一缓存队列，用于缓存所述待处理数据的第一部分，并将所述待处理数据的第一部分按照预设频率发送至第二缓存队列；
15、第一哈希计算单元，用于对所述第二缓存队列中缓存的数据进行哈希计算，得到所述第一部分对应的第一哈希数据和第一哈希地址；
16、第一比较与聚合单元，用于对所述第一哈希数据进行聚合计算，得到所述第一目标数据，并根据所述第一哈希地址将所述第一目标数据缓存到第一内存单元。
17、根据本专利技术提供的数据聚合查询系统，所述第二聚合模块包括：
18、第三缓存队列，用于缓存所述待处理数据的第二部分，并将所述待处理数据的第二部分按照预设频率发送至第四缓存队列；
19、第二哈希计算单元，用于对所述第四缓存队列中缓存的数据进行哈希计算，得到所述第二部分对应的第二哈希数据和第二哈希地址；
20、第二比较与聚合单元，用于对所述第二哈希数据进行聚合计算，得到所述第二目标数据，并根据所述第二哈希地址将所述第二目标数据缓存到第二内存单元。
21、根据本专利技术提供的数据聚合查询系统，所述fpga计算内核还包括第三内存单元，用于对所述第一内存单元缓存的所述第一目标数据和所述第二内存单元中缓存的所述第二数据进行合并缓存。
22、根据本专利技术提供的数据聚合查询系统，所述fpga计算内核还包括除法器模块和关联缓存模块，其中：
23、所述除法器模块用于计算所述第三内存单元中合并缓存的数据的平均数据；
24、所述关联缓存模块用于对所述第三内存单元中合并缓存的数据和所述平均数据进行关联缓存；
25、所述拼接过滤模块具体用于对所述平均数据和所述关联缓存模块中关联缓存的数据进行拼接过滤处理，得到目标数据。
26、根据本专利技术提供的数据聚合查询系统，所述fpga计算内核还包括地址遍历模块，用于遍历所述待处理数据的目标地址，并将所述目标地址分别缓存到所述第一内存单元和所述第二内存单元；
27、所述第一比较与聚合单元还用于根据所述第一哈希地址从所述第一内存单元读取第一待对比数据，并将所述第一哈希数据与所述第一待对比数据进行对比；
28、所述第二比较与聚合单元还用于根据所述第二哈希地址从所述第二内存单元读取第二待对比数据，并将所述第二哈希数据与所述第二待对比数据进行对比。
29、根据本专利技术提供的数据聚合查询系统，所述所述fpga计算内核还包括双链式缓存控制器，用于控制所述第一缓存队列、所述第二缓存队列、所述第三缓存队列和所述第四缓存队列的数据同步频率。
30、根据本专利技术提供的数据聚合查询系统，所述fpga计算内核还包括第五缓存队列，用于缓存所述数据发送模块待发送的目标数据。
31、根据本专利技术提供的数据聚合查询系统，所述所述fpga计算内核包括变频控制模块，用于控制所述fpga计算内核对所述待处理数据进行聚合处理的计算频率；所述数据聚合加速器还包括电源模块、时钟晶振模块和置位复位模块。
32、本专利技术提供的一种数据聚合查询系统，通过fpga计算内核完成原本需要在数据库总控服务器cpu执行的聚合计算任务，显著降低cpu的计算开销，节约数据库服务器的算力。并且，fpga计算内核采用双链式并行的处理模式，执行聚合计算的效率更高、查询速度更快。
本文档来自技高网...【技术保护点】
1.一种数据聚合查询系统，其特征在于，包括数据库总控服务器和数据聚合加速器，其中：
2.根据权利要求1所述的数据聚合查询系统，其特征在于，所述FPGA计算内核包括：
3.根据权利要求2所述的数据聚合查询系统，其特征在于，所述第一聚合模块包括：
4.根据权利要求3所述的数据聚合查询系统，其特征在于，所述第二聚合模块包括：
5.根据权利要求4所述的数据聚合查询系统，其特征在于，所述FPGA计算内核还包括第三内存单元，用于对所述第一内存单元缓存的所述第一目标数据和所述第二内存单元中缓存的所述第二数据进行合并缓存。
6.根据权利要求5所述的数据聚合查询系统，其特征在于，所述FPGA计算内核还包括除法器模块和关联缓存模块，其中：
7.根据权利要求4所述的数据聚合查询系统，其特征在于，所述FPGA计算内核还包括地址遍历模块，用于遍历所述待处理数据的目标地址，并将所述目标地址分别缓存到所述第一内存单元和所述第二内存单元；
8.根据权利要求4所述的数据聚合查询系统，其特征在于，所述所述FPGA计算内核还包括双链式
9.根据权利要求2所述的数据聚合查询系统，其特征在于，所述FPGA计算内核还包括第五缓存队列，用于缓存所述数据发送模块待发送的目标数据。
10.根据权利要求1所述的数据聚合查询系统，其特征在于，所述所述FPGA计算内核包括变频控制模块，用于控制所述FPGA计算内核对所述待处理数据进行聚合处理的计算频率；所述数据聚合加速器还包括电源模块、时钟晶振模块和置位复位模块。
...【技术特征摘要】
1.一种数据聚合查询系统，其特征在于，包括数据库总控服务器和数据聚合加速器，其中：
2.根据权利要求1所述的数据聚合查询系统，其特征在于，所述fpga计算内核包括：
3.根据权利要求2所述的数据聚合查询系统，其特征在于，所述第一聚合模块包括：
4.根据权利要求3所述的数据聚合查询系统，其特征在于，所述第二聚合模块包括：
5.根据权利要求4所述的数据聚合查询系统，其特征在于，所述fpga计算内核还包括第三内存单元，用于对所述第一内存单元缓存的所述第一目标数据和所述第二内存单元中缓存的所述第二数据进行合并缓存。
6.根据权利要求5所述的数据聚合查询系统，其特征在于，所述fpga计算内核还包括除法器模块和关联缓存模块，其中：
7.根据权利要求4所述的数据聚合查询系统，其特...
【专利技术属性】
技术研发人员：王雄儒，赵鑫鑫，姜凯，王帅，于帆，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。