基于动态时间片缓存数据流计算的方法技术

本申请提供一种基于动态时间片缓存数据流计算的方法，包括按照预设时间阈值采集各业务系统的数据流信息；实时流式获取数据流信息的中间变量序列和时间戳；根据中间变量序列读取计算机存储器的第一缓存数据流信息；结合第一缓存数据流信息、当前时间信息以及中间变量序列，通过中间结果改造，生成第二缓存数据流信息；结合第二缓存数据流信息与数据流业务信息，生成第三缓存数据流信息；将时间戳按照业务需求动态划分颗粒度，形成动态时间片；基于动态时间片，将时间戳按照性能需求指定的第二缓存数据流信息进行合并，以减少第三缓存数据流信息的查询时间。流信息的查询时间。流信息的查询时间。

【技术实现步骤摘要】
基于动态时间片缓存数据流计算的方法


[0001]本申请涉及数据流计算领域，尤其涉及基于动态时间片缓存数据流计算的方法。

技术介绍

[0002]近年来互联网技术有着长足的发展，网络用户行为数据中蕴含着大量有价值、有意义的信息，分析海量数据蕴含巨大的价值。在对海量数据进行分析过程中，分析的准确性与效率性关系到数据合理的使用，行业内迫切需要引用新的技术与工具，应对业务系统数据量计算提供有效支撑。
[0003]一种实现的方式可以为，对数据流信息中时间数据采用固定的大小进行分片，但这种做法存在着一定的缺陷，如不能做到根据实际需求进行调整，导致时间数据分片过大或过小，很难保障数据流信息合理运用；数据流信息缓存信息缺少合并机制，导致服务器内存过高，缓存处理效率低下，正常请求被迫进入等待状态，以及，数据实时接入复杂，导致数据流计算慢。

技术实现思路

[0004]本申请提供了一种基于动态时间片缓存数据流计算的方法，以解决在对海量数据进行分析过程中，时间数据分片不合理、数据流信息查询缓慢的问题。
[0005]基于动态时间片缓存数据流计算的方法，包括：
[0006]按照预设时间阈值采集各业务系统的数据流信息；
[0007]实时流式获取所述数据流信息的中间变量序列和时间戳；
[0008]根据所述中间变量序列读取计算机存储器的第一缓存数据流信息；
[0009]结合所述第一缓存数据流信息、当前时间信息以及所述中间变量序列，通过中间结果改造，生成第二缓存数据流信息；
[0010]结合所述第二缓存数据流信息与数据流业务信息，生成第三缓存数据流信息；
[0011]将所述时间戳按照业务需求动态划分颗粒度，形成动态时间片；
[0012]基于所述动态时间片，将所述时间戳按照性能需求指定的所述第二缓存数据流信息进行合并，以减少所述第三缓存数据流信息的查询时间。
[0013]可选地，在结合所述第二缓存数据流信息与数据流业务信息，生成第三缓存数据流信息的步骤之后，还包括：
[0014]将所述第三缓存数据流信息写入所述计算机存储器的缓存中。
[0015]可选地，在将所述时间戳按照业务需求动态划分颗粒度的步骤之前，还包括：
[0016]按照业务需求指定所述时间戳的上下界，按照所述上下界对所述时间戳进行切片。
[0017]可选地，所述数据流信息包括指标编码、业务字段、时间区间、时间单位。
[0018]可选地，所述中间变量序列信息包括哈希指标编码、哈希业务字段。
[0019]可选地，在实时流式获取所述数据流信息的中间变量序列和时间戳的步骤之前，
还包括：
[0020]通过预设的程序接口拟定流式获取流程及流式获取内容。
[0021]可选地，所述流式获取内容包括一系列动态数据集合体的实时获取。
[0022]可选地，所述流式获取对时间分布和数量不作限制。
[0023]可选地，所述计算机存储器的缓存信息包括数组索引、磁盘与主存传输单元、信息固定块。
[0024]可选地，第三缓存数据流信息为业务信息。
[0025]由以上技术方案可知，本申请提供一种基于动态时间片缓存数据流计算的方法，包括按照预设时间阈值采集各业务系统的数据流信息；实时流式获取数据流信息的中间变量序列和时间戳；根据中间变量序列读取计算机存储器的第一缓存数据流信息；结合第一缓存数据流信息、当前时间信息以及中间变量序列，通过中间结果改造，生成第二缓存数据流信息；结合第二缓存数据流信息与数据流业务信息，生成第三缓存数据流信息；将时间戳按照业务需求动态划分颗粒度，形成动态时间片；基于动态时间片，将时间戳按照性能需求指定的第二缓存数据流信息进行合并，以减少第三缓存数据流信息的查询时间。
附图说明
[0026]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0027]图1为基于动态时间片缓存数据流计算的方法流程示意图。
具体实施方式
[0028]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。以下结合附图，详细说明本申请各实施例提供的技术方案。
[0029]本申请中，时间片又可称为量子或处理器片，是分时操作系统分配给每个正在运行的进程微观上的一段CPU(central processing unit，中央处理器，简称CPU)时间。通常操作系统允许同时运行多个进程，例如，在打开音乐播放器听音乐的同时用浏览器浏览网页并下载文件，但是同一个CPU永远不可能真正地同时运行多个任务。在只考虑一个CPU的情况下，这些进程看起来像同时运行的，实际上是轮番穿插地运行，而由操作系统内核的调度程序分配给每个进程的处理时间即可理解为时间片。
[0030]本申请基于动态时间片的处理技术，动态时间片运用中间变量序列时间碎片化缓存，根据数据使用情况动态划分颗粒度，提升数据后续使用效率。同时，辅助数据流计算，使数据流计算加速，有效整合数据资源，对所输入业务、数据信息快速判断及时处理。
[0031]参见图1，图1为基于动态时间片缓存数据流计算的方法流程示意图，由图1可见，该方法具体包括：
[0032]S1:按照预设时间阈值采集各业务系统的数据流信息。
[0033]用户根据需求自行设定时间阈值，例如，可以设定每隔3分钟采集一次业务系统数据，即数据流信息。假设存在n个业务系统，其中n为正整数且n大于等于1。参见图1，在步骤S1中，对业务系统1、业务系统2
…
业务系统n每隔预设时间阈值进行一次采集。数据流信息可以根据用户需求预先设定，例如，数据流信息可以包括但不限于指标编码、业务字段、时间区间、时间单位等。
[0034]S2:实时流式获取所述数据流信息的中间变量序列和时间戳。
[0035]针对在步骤S1中采集的数据流信息，对数据流信息的中间变量序列和时间戳执行获取行为，获取行为通过提供程序接口实现实时的流式获取，需要说明的是，可以通过预设的程序接口拟定流式获取流程及流式获取内容，本申请实施例中的流式获取为时间分布和数量上无限的一系列动态数据集合体实时获取，即流式获取内容包括一系列动态数据集合体的实时获取，流式获取对时间分布和数量不作限制。
[0036]提供程序接口实现实时的流式获取，保障时间分布和数量上无限的一系列动态数据集合体实时获取，减少了实时获取的接入的复杂性，从而提高了实时获取的准确性与接入的简洁性。
[0037]其中，中间变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于动态时间片缓存数据流计算的方法，其特征在于，包括：按照预设时间阈值采集各业务系统的数据流信息；实时流式获取所述数据流信息的中间变量序列和时间戳；根据所述中间变量序列读取计算机存储器的第一缓存数据流信息；结合所述第一缓存数据流信息、当前时间信息以及所述中间变量序列，通过中间结果改造，生成第二缓存数据流信息；结合所述第二缓存数据流信息与数据流业务信息，生成第三缓存数据流信息；将所述时间戳按照业务需求动态划分颗粒度，形成动态时间片；基于所述动态时间片，将所述时间戳按照性能需求指定的所述第二缓存数据流信息进行合并，以减少所述第三缓存数据流信息的查询时间。2.根据权利要求1所述的基于动态时间片缓存数据流计算的方法，其特征在于，在结合所述第二缓存数据流信息与数据流业务信息，生成第三缓存数据流信息的步骤之后，还包括：将所述第三缓存数据流信息写入所述计算机存储器的缓存中。3.根据权利要求1所述的基于动态时间片缓存数据流计算的方法，其特征在于，在将所述时间戳按照业务需求动态划分颗粒度的步骤之前，还包括：按照业务需求指定所述时间戳的上下界，按照所述上下界对所...

【专利技术属性】
技术研发人员：汪德嘉，刘春雨，周赵瑜，王淦，陈科有，
申请(专利权)人：江苏通付盾科技有限公司，
类型：发明
国别省市：