【技术实现步骤摘要】
本专利技术涉及流数据计算领域，尤其涉及一种数据处理方法、装置、电子设备和存储介质。
技术介绍
1、伴随着科技的不断进步，业务系统的规模和数据量在不断增多，而每个业务系统中越来越多的业务数据，是以流数据的形式存在，因此，针对流数据的流计算便成为了业务系统重要的数据处理任务。
2、现有技术中，针对流数据的流计算，往往会出现热点数据的聚集现象，此时业务系统通常是通过配置散列因子的方式，将热点数据进行打散，即将热点数据分散到不同的进程中，以通过不同进程分别处理部分热点数据，以此完成大量热点数据的处理。
3、然而，上述数据分散方式，散列因子往往基于业务人员的经验值预先配置完成，其数值配置过大时，常常导致冗余计算资源的出现，其数值配置过小时，往往会出现数据堆积现象，极大地降低了数据处理结果的时效性。
技术实现思路
1、本专利技术提供了一种数据处理方法、装置、电子设备及存储介质，以解决散列因子的数值配置不准确的问题。
2、根据本专利技术的一方面，提供了一种数据处理方法，包括：
3、获取至少一个数据源提供的流数据，并获取动态散列因子；
4、通过所述动态散列因子将所述流数据分配到多个进程中，以通过各个进程对所述流数据进行预聚合处理；
5、将各个进程的预聚合结果进行聚合处理，并根据聚合结果更新所述动态散列因子。
6、所述根据聚合结果更新所述动态散列因子，包括：根据当前聚合结果以及多个历史聚合结果，更新所述动态散列因子。
7、所述根据当前聚合结果以及多个历史聚合结果，更新所述动态散列因子，包括：根据各个历史聚合结果的数据接收时刻与当前时刻的时间差值，为各个历史聚合结果配置不同的权重值；其中，所述时间差值与所述权重值为负相关关系；根据当前聚合结果、当前聚合结果的权重值、各个历史聚合结果以及各个历史聚合结果的权重值，更新所述动态散列因子；其中，当前聚合结果的权重值大于各个历史聚合结果的权重值。
8、所述根据聚合结果更新所述动态散列因子，包括：根据下一个数据处理周期对应的日期类型和/或时间区间，获取第一修正值，并根据所述第一修正值和聚合结果更新所述动态散列因子；其中，所述日期类型包括预设节日和非预设节日；所述时间区间包括工作时间和空闲时间。
9、所述根据聚合结果更新所述动态散列因子，包括：若确定至少一个历史进程存在剩余计算资源，根据所述至少一个历史进程的剩余计算资源以及聚合结果，更新所述动态散列因子。
10、在获取动态散列因子之前，还包括：通过数据清洗规则对所述流数据进行数据清洗；其中，所述数据清洗规则包括数据过滤规则、数据一致性检测规则和缺失填充规则中的至少一项。
11、所述根据聚合结果更新所述动态散列因子，包括：根据数据清洗耗时获取匹配的第二修正值，并根据所述第二修正值和聚合结果更新所述动态散列因子。
12、根据本专利技术的另一方面，提供了一种数据处理装置，包括：
13、流数据获取模块，用于获取至少一个数据源提供的流数据，并获取动态散列因子；
14、进程分配执行模块，用于通过所述动态散列因子将所述流数据分配到多个进程中，以通过各个进程对所述流数据进行预聚合处理；
15、更新执行模块，用于将各个进程的预聚合结果进行聚合处理，并根据聚合结果更新所述动态散列因子。
16、根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
17、至少一个处理器；以及
18、与所述至少一个处理器通信连接的存储器；其中，
19、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的数据处理方法。
20、根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例的数据处理方法。
21、本专利技术实施例的技术方案，获取数据源提供的流数据以及动态散列因子，通过动态散列因子将流数据分配到多个进程中，以通过各个进程对流数据进行预聚合处理，将各个进程的预聚合结果进行聚合处理，并根据聚合结果更新动态散列因子。实现了基于聚合结果的散列因子动态更新，提高了获取到的散列因子的数值准确性，既避免了散列因子数值过大时，导致冗余计算资源的出现，又避免了散列因子数值过小时，出现数据堆积现象，确保了数据聚合结果的时效性。
22、应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据聚合结果更新所述动态散列因子，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据当前聚合结果以及多个历史聚合结果，更新所述动态散列因子，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据聚合结果更新所述动态散列因子，包括：
5.根据权利要求3所述的方法，其特征在于，所述根据聚合结果更新所述动态散列因子，包括：
6.根据权利要求1所述的方法，其特征在于，在获取动态散列因子之前，还包括：
7.根据权利要求6所述的方法，其特征在于，所述根据聚合结果更新所述动态散列因子，包括：
8.一种数据处理装置，其特征在于，包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据处理方法。
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据聚合结果更新所述动态散列因子，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据当前聚合结果以及多个历史聚合结果，更新所述动态散列因子，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据聚合结果更新所述动态散列因子，包括：
5.根据权利要求3所述的方法，其特征在于，所述根据聚合结果更新所述动态散列因子，包括：
【专利技术属性】
技术研发人员：黄震震，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。