一种持续聚合的时序数据分析方法及系统技术方案

本发明专利技术提供一种持续聚合的时序数据分析方法及系统，包括：获取时序监测数据的预设采样率列表和指标采样精度列表，通过预设采样率列表和指标采样精度列表构建层级采样率列表；通过层级采样率列表和预设聚合算法的元算法构建元聚合层级采样率计算任务列表；构建持续聚合策略，通过持续聚合策略和元聚合层级采样率计算任务列表生成持续聚合定时任务，通过持续聚合定时任务获得聚合数据；通过查询条件构建查询分析任务，对聚合数据执行查询分析任务，获得完整的查询分析结果。本发明专利技术通过匹配最佳层级采样率及持续聚合策略进行时序数据分析，使待分析数据量相比原始数据呈倍数下降，极大提升数据查询分析速度，保证数据查询分析的准确度和时效性。分析的准确度和时效性。分析的准确度和时效性。

【技术实现步骤摘要】
一种持续聚合的时序数据分析方法及系统


[0001]本专利技术涉及数据分析领域，尤其涉及一种持续聚合的时序数据分析方法及系统。

技术介绍

[0002]随着物联网技术的快速普及与发展，会产生海量的时序监测数据，不仅数据采集规模不断增加，而且对数据分析技术有了更高的要求。对于大型系统来说，原始数据的数据量较为庞大，受数据规模的影响和内存容量的限制，针对大数据的查询、分析和计算，难以满足用户的时效性需求。
[0003]传统的数据分析方法是基于所有原始数据进行的分析查询，这类分析方法在大数据量场景下拉取的原始数据异常庞大，对计算资源的占用较高，耗时也较长。
[0004]对于即席查询及统计数据分析任务中，要求在给定时间内完成数据查询，给出查询结果，而传统的数据分析方法由于处理速度不足，导致查询过程的实时性和交互性不足。
[0005]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0006]为解决上述技术问题，本专利技术提供一种持续聚合的时序数据分析方法，包括：
[0007]S1：获取时序监测数据的预设采样率列表和指标采样精度列表，通过预设采样率列表和指标采样精度列表构建层级采样率列表；
[0008]S2：通过层级采样率列表和预设聚合算法的元算法构建元聚合层级采样率计算任务列表；
[0009]S3：构建持续聚合策略，通过持续聚合策略和元聚合层级采样率计算任务列表生成持续聚合定时任务，通过持续聚合定时任务获得聚合数据；/>[0010]S4：通过查询条件构建查询分析任务，对聚合数据执行查询分析任务，获得完整的查询分析结果。
[0011]优选的，步骤S1具体为：
[0012]S11：依据指标在执行数据采集时的时间间隔进行分组构建指标采样精度列表，依据实际业务需要配置指标采样的时间间隔进行分组构建预设采样率列表；
[0013]S12：计算获得指标采样精度列表中采样精度的最大公约精度T，在预设采样率列表中将大于或等于T的预设采样率进行保留，获得层级采样率列表。
[0014]优选的，步骤S2具体为：
[0015]S21：根据聚合元算法构建预设聚合算法，生成聚合元算法任务分类i，i表示聚合元算法任务分类的编号；
[0016]S22：对于每个聚合元算法任务分类，根据层级采样率列表的每个层级采样率依次构建计算任务，获得元聚合层级采样率计算任务列表。
[0017]优选的，步骤S3具体为：
[0018]S31：根据不同的持续聚合计算需求构建持续聚合策略，通过持续聚合策略在元聚合层级采样率计算任务列表中选取对应的计算任务，通过选取的计算任务构建持续聚合定时任务；
[0019]S32：执行持续聚合定时任务，将执行之后输出的不同元算法不同采样率的数据作为聚合数据。
[0020]优选的，步骤S4具体为：
[0021]S41：将层级采样率列表中小于查询精度中的最大层级采样率作为查询分析任务的最佳层级采样率；
[0022]S42：根据查询条件查找获得查询分析任务的聚合元算法；
[0023]S43：获取时间范围，通过预设的时间阈值对时间范围进行切分，获得查询分析任务的查询时间段序列；
[0024]S44：通过查询分析任务的最佳层级采样率、聚合元算法和查询时间段序列构建查询分析任务；
[0025]S45：对聚合数据执行查询分析任务，获得完整的查询分析结果。
[0026]一种持续聚合的时序数据分析系统，包括：
[0027]层级采样率列表构建模块，用于获取时序监测数据的预设采样率列表和指标采样精度列表，通过预设采样率列表和指标采样精度列表构建层级采样率列表；
[0028]任务列表计算模块，用于通过层级采样率列表和预设聚合算法的元算法构建元聚合层级采样率计算任务列表；
[0029]聚合数据获取模块，用于构建持续聚合策略，通过持续聚合策略和元聚合层级采样率计算任务列表生成持续聚合定时任务，通过持续聚合定时任务获得聚合数据；
[0030]分析结果输出模块，用于通过查询条件构建查询分析任务，对聚合数据执行查询分析任务，获得完整的查询分析结果。
[0031]本专利技术具有以下有益效果：
[0032]本专利技术采用层级采样率持续增量聚合计算的方式，在时序监测数据持续采集过程中，按照预设进行不断增量计算，生成层级采样率列表；在后续查询分析中，根据查询条件的聚合算法和采样精度获得最佳层级采样率，并结合最新时间段内的数据进行时序数据分析；通过匹配最佳层级采样率及持续聚合策略进行时序数据分析，使待分析数据量相比原始数据呈倍数下降，极大提升数据查询分析速度，保证数据查询分析的准确度和时效性。
附图说明
[0033]图1为本专利技术实施例方法流程图；
[0034]图2为元聚合层级采样率计算任务列表示意图；
[0035]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0036]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0037]参照图1，本专利技术提供一种持续聚合的时序数据分析方法，包括：
[0038]S1：获取时序监测数据的预设采样率列表和指标采样精度列表，通过预设采样率
列表和指标采样精度列表构建层级采样率列表；
[0039]S2：通过层级采样率列表和预设聚合算法的元算法构建元聚合层级采样率计算任务列表；
[0040]S3：构建持续聚合策略，通过持续聚合策略和元聚合层级采样率计算任务列表生成持续聚合定时任务，通过持续聚合定时任务获得聚合数据；
[0041]S4：通过查询条件构建查询分析任务，对聚合数据执行查询分析任务，获得完整的查询分析结果。
[0042]进一步的，步骤S1具体为：
[0043]S11：依据指标在执行数据采集时的时间间隔进行分组构建指标采样精度列表，依据实际业务需要配置指标采样的时间间隔进行分组构建预设采样率列表；
[0044]具体的，指标采样精度列表分组的指标采样精度如1s、10s、1m、10m等；
[0045]预设采样率列表分组的预设采样率如1m、10m、1h、8h、1d等；
[0046]其中，s为秒，m为分钟，h为小时，d为天；每个时间间隔对应一个分组，放入对应采集时间间隔的时序监测数据；
[0047]S12：计算获得指标采样精度列表中采样精度的最大公约精度T，在预设采样率列表中将大于或等于T的预设采样率进行保留，获得层级采样率列表；
[0048]具体的，例如指标采样精度列表的采样精度为2m和10m，预设采样率列表的预设采样率为1m、10m、1h、8h和1d，则最大公约精度T为2m，层级采样率列表的层级采样率为10m、1h、8h、1d。
[0049]进一步的，步骤S2具体为：
[0050]S21：根据聚合元算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种持续聚合的时序数据分析方法，其特征在于，包括：S1：获取时序监测数据的预设采样率列表和指标采样精度列表，通过预设采样率列表和指标采样精度列表构建层级采样率列表；S2：通过层级采样率列表和预设聚合算法的元算法构建元聚合层级采样率计算任务列表；S3：构建持续聚合策略，通过持续聚合策略和元聚合层级采样率计算任务列表生成持续聚合定时任务，通过持续聚合定时任务获得聚合数据；S4：通过查询条件构建查询分析任务，对聚合数据执行查询分析任务，获得完整的查询分析结果。2.根据权利要求1所述的持续聚合的时序数据分析方法，其特征在于，步骤S1具体为：S11：依据指标在执行数据采集时的时间间隔进行分组构建指标采样精度列表，依据实际业务需要配置指标采样的时间间隔进行分组构建预设采样率列表；S12：计算获得指标采样精度列表中采样精度的最大公约精度T，在预设采样率列表中将大于或等于T的预设采样率进行保留，获得层级采样率列表。3.根据权利要求1所述的持续聚合的时序数据分析方法，其特征在于，步骤S2具体为：S21：根据聚合元算法构建预设聚合算法，生成聚合元算法任务分类i，i表示聚合元算法任务分类的编号；S22：对于每个聚合元算法任务分类，根据层级采样率列表的每个层级采样率依次构建计算任务，获得元聚合层级采样率计算任务列表。4.根据权利要求1所述的持续聚合的时序数据分析方法，其特征在于，步骤S3具体为：S31：根据不同的持续聚合计算需求构建...

【专利技术属性】
技术研发人员：朱剑文，田楠，周扬，李德勇，雷豁，
申请(专利权)人：武汉众智鸿图科技有限公司，
类型：发明
国别省市：