【技术实现步骤摘要】
本说明书实施例涉及数据库和大数据分析的，特别涉及一种数据聚合方法、分布式系统、计算设备及可读存储介质。
技术介绍
1、在大数据领域，随着数据量的快速增长，传统的数据聚合方式面临极大的性能瓶颈，尤其是在分布式系统中执行大规模数据聚合时，数据在节点间传输的访存（i/o）开销成为性能瓶颈之一。
2、目前，为了降低访存开销，减少网络带宽占用，在分布式系统上的数据聚合通常采用“两阶段聚合”策略，即先在本地节点先对数据进行部分本地聚合，再传输到中心节点进行全局聚合。然而，这样的“两阶段聚合”策略往往在处理高基数（频率）的待聚合数据时可以得到较好的聚合效果。现实中大量存在高基数和低基数混合的情况，过多的低基数的待聚合数据会导致本地聚合效果不足，拖慢本地聚合的效率，引入额外的聚合开销，也无法有效减少数据传输开销，更适合直接全局聚合的“一阶段聚合”策略。在分布式系统上实时数据聚合场景中，如何动态、灵活地区分高低基数的待聚合数据，执行适合的聚合策略，是一个亟需解决的问题。
技术实现思路
1、有鉴于此，本说明书实施例提供了一种数据聚合方法。本说明书一个或者多个实施例同时涉及另一种数据聚合方法，一种分布式系统，一种数据聚合装置，另一种数据聚合装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决现有技术中存在的技术缺陷。
2、本说明书一个实施例中，提供了一种数据聚合方法，应用于分布式系统的本地节点，分布式系统还包括中心节点，该方法包括：
3、获取多个待
4、对多个待聚合数据进行聚合，获得本地聚合数据，并更新第一键的热度权重；
5、根据本地节点中各数据对应至少一个键的热度权重，从至少一个键中确定目标键，其中，至少一个键包括第一键；
6、将目标键对应的目标数据传输至中心节点进行聚合，获得全局聚合数据。
7、通过在本地节点上引入键的热度权重机制，反映了键在一段时间中完成聚合的频率，根据本地节点中各数据对应至少一个键的热度权重，从至少一个键中确定目标键，动态、灵活地区分高低基数的目标键，将目标键对应的目标数据传输至中心节点进行全局聚合，获得全局聚合数据，执行适合的聚合策略，不仅提高了本地聚合的效率，减少了不必要的数据传输开销，显著提升分布式系统中数据聚合的速度和效率。
本文档来自技高网...【技术保护点】
1.一种数据聚合方法，应用于分布式系统的本地节点，所述分布式系统还包括中心节点，方法包括：
2.根据权利要求1所述的方法，所述本地节点包括缓存空间；
3.根据权利要求2所述的方法，所述缓存空间被预先划分为多个缓存子空间，任一缓存子空间具有对应的空间容量；
4.根据权利要求1所述的方法，所述第一键的热度权重包括聚合总步数和距离上一次聚合的间隔步数；
5.根据权利要求2-4任一项所述的方法，所述热度权重包括聚合总步数；
6.根据权利要求5所述的方法，所述根据预设聚合度，确定聚合总步数分位数，包括：
7.根据权利要求2-4任一项所述的方法，所述热度权重包括聚合总步数；
8.根据权利要求2-4任一项所述的方法，所述热度权重包括距离上一次聚合的间隔步数；
9.根据权利要求1所述的方法，在所述获取多个待聚合数据之后，还包括：
10.一种数据聚合方法，应用于分布式系统的中心节点，所述分布式系统还包括本地节点，方法包括：
11.一种分布式系统，包括本地节点和中心节点；
<...【技术特征摘要】
1.一种数据聚合方法，应用于分布式系统的本地节点，所述分布式系统还包括中心节点，方法包括：
2.根据权利要求1所述的方法，所述本地节点包括缓存空间；
3.根据权利要求2所述的方法，所述缓存空间被预先划分为多个缓存子空间，任一缓存子空间具有对应的空间容量；
4.根据权利要求1所述的方法，所述第一键的热度权重包括聚合总步数和距离上一次聚合的间隔步数；
5.根据权利要求2-4任一项所述的方法，所述热度权重包括聚合总步数；
6.根据权利要求5所述的方法，所述根据预设聚合度，确定聚合总步数分位数，包括：
7.根据权利要求2-4任一项所述的方法，所述热度权重包括聚合总步数；
...
【专利技术属性】
技术研发人员：徐中，黄贵，楼江航，方孝健，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。