本申请涉及数据处理技术领域，公开了一种基于时间序列的数据处理方法、装置、设备及存储介质，所述方法包括确定周期长度，当前数据不具备周期性时，周期长度为无穷大，基于目标时刻窗口对应的批量处理的数据长度、数据处理延迟和数据产生间隔，调整内存大小以实现基于时间序列的数据处理；当当前数据具备周期性时，基于周期长度，调整内存大小以实现基于时间序列的数据处理。通过上述方式，本申请自适应识别当前数据的周期；计算当前数据的哈希值；基于当前数据的哈希值和之前n个窗口的哈希值，确定数据的周期长度，当数据不具备周期特征时，周期为无穷大。通过预分配数据处理所需的内存减少了新数据的频繁创建和垃圾数据的内存回收，提高了物联网中数据处理的性能和可靠性。可靠性。可靠性。
【技术实现步骤摘要】
基于时间序列的数据处理方法、装置、设备及存储介质
[0001]本申请涉及数据处理
，尤其涉及一种基于时间序列的数据处理方法、装置、设备及存储介质。
技术介绍
[0002]物联网(IoT，Internet of Things)即“万物相连的互联网”，是互联网基础上的延伸和扩展的网络，将各种信息传感设备与网络结合起来而形成的一个巨大网络，实现任何时间、任何地点，人、机、物的互联互通。各种设备实时产生的数据将被可靠传输，实时处理计算。
[0003]高频量化交易指在金融市场中，利用人类无法捕捉的市场变化信息，进行程序化高频率交易。高频交易是相对于手工交易而言，传统的手工交易在一秒内仅能发出数个交易指令。而高频交易通过程序化交易，低延迟接入市场行情，能在毫秒级别处理计算实时行情数据，生成交易指令，理论上能在一秒内完成数百个交易指令。实时行情的数据在毫秒级别产生，以时间为序列，需要一个高性能的系统来实时处理计算，对计算延迟和内存使用都有高性能的要求。因此，如何提高物联网中数据处理的性能和可靠性成为亟待解决的技术问题。
技术实现思路
[0004]本申请提供了一种基于时间序列的数据处理方法、装置、设备及存储介质，以提高物联网中数据处理的可靠性。
[0005]第一方面，本申请提供了一种基于时间序列的数据处理方法，所述方法包括：
[0006]获取目标时刻的当前数据，并获取所述当前数据的哈希值；
[0007]基于所述目标时刻窗口的当前哈希值和所述目标时刻前N个时刻窗口的历史哈希值，确定所述当前数据的周期长度L；
[0008]当所述当前数据不具备周期性时，所述周期长度为无穷大；
[0009]基于所述目标时刻窗口的对应批量处理的数据长度，数据处理延迟和数据产生间隔，调整内存大小以实现基于时间序列数据的处理；
[0010]当所述当前数据具备周期性时，基于所述周期长度，调整内存大小以实现基于时间序列数据的处理。
[0011]进一步地，当所述当前数据不具备周期性时，所述周期长度为无穷大，基于所述目标时刻窗口的对应的批量处理的数据长度，调整内存大小以实现基于时间序列的数据处理之后，包括：
[0012]当所述当前数据不具备周期性时，基于循环队列的方式将时间序列数据写入至一段连续的目标内存中，并用时间序列产生的新数据覆盖循环队列的历史数据。
[0013]进一步地，当所述当前数据具备周期性时，基于所述周期长度，调整内存大小以实现基于时间序列数据的处理，包括：
[0014]基于预设公式、所述重复次数确定当前置信值；
[0015]比较所述置信值预设置信阈值的大小关系，并根据所述大小关系调整所述内存长度。
[0016]进一步地，比较所述置信值预设置信阈值的大小关系，并根据所述大小关系调整所述内存长度，包括：
[0017]比较数据个数与所述目标周期长度，并根据所述数据个数与所述目标周期长度中较大值调整所述内存长度。
[0018]进一步地，比较数据个数与所述目标周期长度，并根据所述数据个数与所述目标周期长度中较大值调整所述内存长度之前，包括：
[0019]当所述当前数据不具备周期性时，根据预设公式计算存储数据个数，所述预设公式如下：
[0020][0021]其中，m为所述存储数据个数，c为数据处理计算的延迟，n为所述目标时刻窗口的对应的批量处理的数据个数，w为数据产生的间隔，math.cealing为整数向上取整；
[0022]当所述当前数据具备周期性时，所述数据个数等于所述周期长度。
[0023]进一步地，当所述当前数据具备周期性时，基于所述周期长度，调整内存大小以实现基于时间序列数据的处理中，包括：
[0024]在处理所述当前时刻之前的至少一个时刻的数据时，基于预设公式确定存储数据的个数；
[0025]基于所述存储数据的个数与所述预设连续长度，将所述目标内存数据写入至内存中。
[0026]进一步地，基于所述目标时刻窗口的当前哈希值和所述目标时刻前N个时刻窗口的历史哈希值，确定所述当前数据的周期长度，包括：
[0027]在确定所述当前哈希值与所述历史哈希值相等时，获取所述目标时刻窗口与所述目标时刻前N个时刻窗口；
[0028]基于所述目标时刻窗口与目标时刻前N个时刻窗口，确定所述当前数据的周期长度。
[0029]第二方面，本申请还提供了一种基于时间序列的数据处理装置，所述装置包括：
[0030]哈希值获取模块，用于获取目标时刻的当前数据，并获取所述当前数据的哈希值；
[0031]周期长度确定模块，用于基于所述目标时刻窗口的当前哈希值和所述目标时刻前N个时刻窗口的历史哈希值，确定所述当前数据的周期长度L；
[0032]周期无穷大模块，用于当所述当前数据不具备周期性时，所述周期长度为无穷大；
[0033]第一处理模块，用于基于所述目标时刻窗口的对应批量处理的数据长度，数据处理延迟和数据产生间隔，调整内存大小以实现基于时间序列数据的处理；
[0034]第二处理模块，用于当所述当前数据具备周期性时，基于所述周期长度，调整内存大小以实现基于时间序列数据的处理。
[0035]第三方面，本申请还提供了一种设备，所述设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时
实现如上述的基于时间序列的数据处理方法。
[0036]第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的基于时间序列的数据处理方法。
[0037]本申请公开了一种基于时间序列的数据处理方法、装置、设备及存储介质，所述基于时间序列的数据处理方法包括获取目标时刻的当前数据，并获取所述当前数据的哈希值；基于所述目标时刻窗口的当前哈希值和所述目标时刻前N个时刻窗口的历史哈希值，确定所述当前数据的周期长度L；当所述当前数据不具备周期性时，所述周期长度为无穷大，基于所述目标时刻窗口的对应的批量处理的数据长度，调整内存大小以实现基于时间序列的数据处理；当所述当前数据具备周期性时，基于所述周期长度，调整内存大小以实现基于时间序列数据的处理。通过上述方式，本申请自适应识别当前数据的周期长度，特别的，当数据不具备周期特征时，周期长度为无穷大；计算当前数据的哈希值；基于当前数据的哈希值和之前n个窗口的数据哈希值，自动确定数据的周期长度，提高了物联网中数据处理的性能和可靠性。
附图说明
[0038]为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]图1为本申请的第一实施例提供的一种基于时间序列的数据处理方法的示意流程图；<本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于时间序列的数据处理方法，其特征在于，所述基于时间序列的数据处理方法包括：获取目标时刻的当前数据，并获取所述当前数据的哈希值；基于所述目标时刻窗口的当前哈希值和所述目标时刻前N个时刻窗口的历史哈希值，确定所述当前数据的周期长度L；当所述当前数据不具备周期性时，所述周期长度为无穷大；基于所述目标时刻窗口的对应批量处理的数据长度，数据处理延迟和数据产生间隔，调整内存大小以实现基于时间序列数据的处理；当所述当前数据具备周期性时，基于所述周期长度，调整内存大小以实现基于时间序列数据的处理。2.根据权利要求1所述的基于时间序列的数据处理方法，其特征在于，所述基于所述目标时刻窗口的对应的批量处理的数据长度，调整内存大小以实现基于时间序列的数据处理之后，包括：当所述当前数据不具备周期性时，基于循环队列的方式将时间序列数据写入至一段连续的目标内存中，并用时间序列产生的新数据覆盖循环队列的历史数据。3.根据权利要求2所述的基于时间序列的数据处理方法，其特征在于，所述当所述当前数据具备周期性时，基于所述周期长度，调整内存大小以实现基于时间序列数据的处理，包括：基于预设公式、所述重复次数确定当前置信值；比较所述置信值预设置信阈值的大小关系，并根据所述大小关系调整所述内存长度。4.根据权利要求3所述的基于时间序列的数据处理方法，其特征在于，所述比较所述置信值预设置信阈值的大小关系，并根据所述大小关系调整所述内存长度，包括：比较数据个数与所述目标周期长度，并根据所述数据个数与所述目标周期长度中较大值调整所述内存长度。5.根据权利要求4所述的基于时间序列的数据处理方法，其特征在于，所述比较数据个数与所述目标周期长度，并根据所述数据个数与所述目标周期长度中较大值调整所述内存长度之前，包括：当所述当前数据不具备周期性时，根据预设公式计算存储数据个数，所述预设公式如下：其中，m为所述存储数据个数，c为数据处理计算的延迟，n为所述目标时刻窗口的对应的批量处理的数据个数，w为数据产生的间隔，math.cealing为整...
【专利技术属性】
技术研发人员：黄益聪，郭厦同，林友军，
申请(专利权)人：厦门楷同科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。