数据分析的方法和装置制造方法及图纸

技术编号:36526534 阅读:16 留言:0更新日期:2023-02-01 16:05
本发明专利技术公开了数据分析的方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:获取待分析指标的周期标签,在根据周期标签确定待分析指标具有周期性的情况下,确定历史周期内与预测时段对应的第一历史时段;基于待分析指标在第一历史时段内的时间序列数据确定预测时段内待分析指标的第一预测时间序列;基于待分析指标在历史周期内的时间序列数据确定预测时段内待分析指标的第二预测时间序列;根据第一预测时间序列和第二预测时间序列确定待分析指标在预测时段内的预测时间序列。该实施方式能够实现对各类指标的整体预测,提高预测效果的准确性,从而对于系统性能能够做到事前预判,提前发现安全隐患,保证系统稳定性。统稳定性。统稳定性。

【技术实现步骤摘要】
数据分析的方法和装置


[0001]本专利技术涉及计算机
,尤其涉及一种数据分析的方法和装置。

技术介绍

[0002]随着计算机和互联网技术的发展,网上业务产生极大的便利。业务系统中往往涉及多个业务指标,业务指标数据往往有一个安全的上界,确保指标数据在安全上界以下,对业务系统的稳定性是至关重要的。伴随业务的增长与数据量的增加,大数据下这类指标往往有可能会逐渐增加甚至超过安全上界,对于即将或者已经逼近安全上界的指标数据,管理员往往需要进行扩容、清理库等操作以保障系统的安全稳定。
[0003]现有技术依赖于运维专家经验,普遍采用采用基于告警阈值的处理方法,往往在指标数据到达阈值或者接近安全上界时才能够发现扩容、清理的需要,此方法不仅不能控制获得预警的时间,而且不能留给管理员足够的操作时间。

技术实现思路

[0004]有鉴于此,本专利技术实施例提供一种数据分析的方法和装置,根据待分析指标的周期标签选择对应的预测方案,并且通过添加加权方法加大距离预测时段较近的对应时段内数据的权重,能够实现对各类指标的整体预测,提高预测效果的准确性,从而对于系统性能能够做到事前预判,提前发现安全隐患,保证系统稳定性。
[0005]为实现上述目的,根据本专利技术实施例的一个方面,提供了一种数据分析的方法,包括:
[0006]获取待分析指标的周期标签,在根据所述周期标签确定所述待分析指标具有周期性的情况下,确定历史周期内与预测时段对应的第一历史时段;所述历史周期是指在所述预测时段之前的周期;
[0007]基于所述待分析指标在所述第一历史时段内的时间序列数据确定所述预测时段内所述待分析指标的第一预测时间序列;
[0008]基于所述待分析指标在所述历史周期内的时间序列数据确定所述预测时段内所述待分析指标的第二预测时间序列;
[0009]根据所述第一预测时间序列和所述第二预测时间序列确定所述待分析指标在所述预测时段内的预测时间序列。
[0010]可选地,获取待分析指标的周期标签,包括:采用聚合通道特征检测算法分析所述待分析指标的历史时间序列,得到所述待分析指标的候选周期集合;在所述候选周期集合中的元素无规律性的情况下,为所述待分析指标设置用于指示无周期的第一周期标签。
[0011]可选地,所述方法还包括:
[0012]在所述候选周期集合中的元素有规律性的情况下,按照所述候选周期集合中的每一个元素取值切割所述历史时间序列,去除所述历史时间序列中不足一个周期的时间序列;
[0013]识别出切割好的每段时间序列的波峰个数得到波峰个数序列,识别出切割好的每段时间序列的波谷个数得到波谷个数序列,对所述波峰个数序列和所述波谷个数序列分别进行平稳性检验;
[0014]在所述波峰个数序列和所述波谷个数序列均通过平稳性检验的情况下,为所述待分析指标设置用于指示强周期的第二周期标签;
[0015]在所述波峰个数序列或所述波谷个数序列未通过平稳性检验的情况下,为所述待分析指标设置用于指示弱周期的第三周期标签。
[0016]可选地,所述方法还包括:确定所述待分析指标的以下任意一种或多种特征,将确定出的特征输入预训练的分类模型,以确定所述待分析指标的形状标签:
[0017]SBD互相关距离特征、基于滑动窗口确定所述历史时间序列中值与均值的差的绝对值大于预设数值的占比、所述历史时间序列最小二乘法的线性回归特征、自回归模型滞后算子的自相关值、绝对傅里叶变换的谱统计量、样本熵。
[0018]可选地,所述方法还包括:获取所述待分析指标的形状标签;
[0019]确定历史周期内与预测时段对应的第一历史时段,包括:
[0020]在根据所述形状标签确定所述待分析指标在所述历史周期内存在多类时序曲线的情况下,以所述历史周期内与所述预测时段对应类的一个或多个时序曲线对应的时段作为所述第一历史时段;
[0021]在根据所述形状标签确定所述待分析指标在所述历史周期内仅存在一类时序曲线的情况下,以所述历史周期内与所述预测时段之间时间间隔较小的一个或多个统计时段作为所述第一历史时段。
[0022]可选地,所述方法还包括:
[0023]在根据所述周期标签确定所述待分析指标具有强周期性的情况下,运用Holt

Winters模型确定所述预测时段内所述待分析指标的第一预测时间序列和第二预测时间序列;
[0024]在根据所述周期标签确定所述待分析指标具有若周期性的情况下,运用DeepAR模型确定所述预测时段内所述待分析指标的第一预测时间序列和第二预测时间序列。
[0025]可选地,所述方法还包括:在根据所述周期标签确定所述待分析指标不具有周期性的情况下,利用SVR模型确定所述预测时段内所述待分析指标的预测时间序列。
[0026]可选地,所述方法还包括:获取所述待分析指标的量纲标签;其中,所述量纲标签是根据所述待分析指标的取值范围确定的;所述模型的模型输入包括:所述待分析指标的形状标签和量纲标签,以及所述待分析指标在所述历史周期内的时间序列数据。
[0027]根据本专利技术实施例的第二方面,提供一种数据分析的装置,包括:
[0028]标签获取模块,获取待分析指标的周期标签,在根据所述周期标签确定所述待分析指标具有周期性的情况下,确定历史周期内与预测时段对应的第一历史时段;所述历史周期是指在所述预测时段之前的周期;
[0029]序列预测模块,基于所述待分析指标在所述第一历史时段内的时间序列数据确定所述预测时段内所述待分析指标的第一预测时间序列;基于所述待分析指标在所述历史周期内的时间序列数据确定所述预测时段内所述待分析指标的第二预测时间序列;
[0030]结果拟合模块,根据所述第一预测时间序列和所述第二预测时间序列确定所述待
分析指标在所述预测时段内的预测时间序列。
[0031]可选地,所述标签获取模块获取待分析指标的周期标签,包括:采用聚合通道特征检测算法分析所述待分析指标的历史时间序列,得到所述待分析指标的候选周期集合;在所述候选周期集合中的元素无规律性的情况下,为所述待分析指标设置用于指示无周期的第一周期标签。
[0032]可选地,所述标签获取模块还用于:
[0033]在所述候选周期集合中的元素有规律性的情况下,按照所述候选周期集合中的每一个元素取值切割所述历史时间序列,去除所述历史时间序列中不足一个周期的时间序列;
[0034]识别出切割好的每段时间序列的波峰个数得到波峰个数序列,识别出切割好的每段时间序列的波谷个数得到波谷个数序列,对所述波峰个数序列和所述波谷个数序列分别进行平稳性检验;
[0035]在所述波峰个数序列和所述波谷个数序列均通过平稳性检验的情况下,为所述待分析指标设置用于指示强周期的第二周期标签;
[0036]在所述波峰个数序列或所述波谷个数序列未通过平稳性检验的情况下,为所述待分析指标设置用于指示弱周期的第三周期标签。
[00本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据分析的方法,其特征在于,包括:获取待分析指标的周期标签,在根据所述周期标签确定所述待分析指标具有周期性的情况下,确定历史周期内与预测时段对应的第一历史时段;所述历史周期是指在所述预测时段之前的周期;基于所述待分析指标在所述第一历史时段内的时间序列数据确定所述预测时段内所述待分析指标的第一预测时间序列;基于所述待分析指标在所述历史周期内的时间序列数据确定所述预测时段内所述待分析指标的第二预测时间序列;根据所述第一预测时间序列和所述第二预测时间序列确定所述待分析指标在所述预测时段内的预测时间序列。2.如权利要求1所述的方法,其特征在于,获取待分析指标的周期标签,包括:采用聚合通道特征检测算法分析所述待分析指标的历史时间序列,得到所述待分析指标的候选周期集合;在所述候选周期集合中的元素无规律性的情况下,为所述待分析指标设置用于指示无周期的第一周期标签。3.如权利要求2所述的方法,其特征在于,所述方法还包括:在所述候选周期集合中的元素有规律性的情况下,按照所述候选周期集合中的每一个元素取值切割所述历史时间序列,去除所述历史时间序列中不足一个周期的时间序列;识别出切割好的每段时间序列的波峰个数得到波峰个数序列,识别出切割好的每段时间序列的波谷个数得到波谷个数序列,对所述波峰个数序列和所述波谷个数序列分别进行平稳性检验;在所述波峰个数序列和所述波谷个数序列均通过平稳性检验的情况下,为所述待分析指标设置用于指示强周期的第二周期标签;在所述波峰个数序列或所述波谷个数序列未通过平稳性检验的情况下,为所述待分析指标设置用于指示弱周期的第三周期标签。4.如权利要求2或3所述的方法,其特征在于,所述方法还包括:确定所述待分析指标的以下任意一种或多种特征,将确定出的特征输入预训练的分类模型,以确定所述待分析指标的形状标签:SBD互相关距离特征、基于滑动窗口确定所述历史时间序列中值与均值的差的绝对值大于预设数值的占比、所述历史时间序列最小二乘法的线性回归特征、自回归模型滞后算子的自相关值、绝对傅里叶变换的谱统计量、样本熵。5.如权利要求1

4任一所述的方法,其特征在于,所述方法还包括:获取所述待分析指标的形状标签;确定历史周期内与预测时段对应的第一历史时段,包括:在根据所述形状标签确定所述待分析指标在所述历史周期内存在多类时序曲线的情况下,以所述历史周期内与所述预测时段...

【专利技术属性】
技术研发人员:张静张宪波
申请(专利权)人:京东科技信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1