基于规则演化的核递归最大相关熵时间序列在线预测方法技术

本发明专利技术属于时间序列预测领域，提供一种基于规则演化的核递归最大相关熵时间序列在线预测方法。本发明专利技术首先运用归一化方法和相空间重构对获取数据进行预处理，充分挖掘数据中有用信息；然后利用兼容性度量和唤醒指数双规则实现规则库的自主学习演化，弱化离群值或复杂噪声的不利影响；之后将核递归最大互相关熵方法和稀疏化策略结合对模型参数进行更新，形成紧凑型字典降低计算复杂度的同时，进一步增强模型对时间序列的动态跟踪能力，提高预测精度；最后采用测试数据在训练好的模型进行输出预测，验证模型的高效性。本发明专利技术可以针对未知复杂环境进行结构进化，具有较强的自主性和鲁棒性，且能够实现高预测精度和低计算复杂度的平衡。平衡。平衡。

【技术实现步骤摘要】
基于规则演化的核递归最大相关熵时间序列在线预测方法


[0001]本专利技术属于时间序列预测领域，涉及一种基于规则演化的核递归最大相关熵时间序列在线预测方法。

技术介绍

[0002]时间序列是一组按照时间顺序排列的数据集合，广泛存在于自然界、工业生产、金融技术等众多领域。随着传感器和存储设备的快速发展，时间序列的数据规模和更新速度也在不断提高，面对数据爆发和噪声复杂的环境，这就要求所建在线预测的模型在挖掘数据隐藏信息的同时，还需要对时间序列的非线性、非平稳、非高斯等方面表现出较强的性能。相较于其他在线预测的模型，核自适应滤波器具有泛化能力强、迭代更新简单及计算复杂度低等优点，能够有效处理复杂的非线性预测问题。
[0003]尽管核自适应滤波器在时间序列预测领域被广泛应用，但仍存在以下不足：(1)捕获动态系统时变特征的能力差。虽然Wu等人在论文“Wu Z,Shi J,Zhang X,et al.Kernel recursive maximum correntropy[J].Signal Processing,2015,117:11
‑
16.”中使用相关熵准则替换传统的均方误差准则，提出核递归最大相关熵方法，提高了模型在异常值或非高斯噪声环境下的性能，但是由于模型仅对参数进行调整，没有结构自适应进化，使得模型跟踪时间序列的时变特性效果差，导致预测精度不高。(2)加载完备字典的计算复杂度高。当每次迭代处理数据时，模型都需要增加相应的内核空间存储新数据，且完备字典的大小取决于数据样本的大小，这对于计算时间和内存方面提出了挑战，使模型难以适用于较大数据规模的时间序列。
[0004]因此，本专利技术以较大规模和具有时变特性的时间序列为研究对象，提出一种基于规则演化的核递归最大相关熵时间序列在线预测方法，以实现模型结构自适应进化、参数自适应更新，进而降低计算复杂度，提高时间序列的预测精度。本专利技术由国家自然基金项目(62173063)资助。

技术实现思路

[0005]本专利技术针对现有技术中在线预测性能不佳和计算成本过高问题，提供了一种基于规则演化的核递归最大相关熵时间序列在线预测方法。
[0006]为了达到上述目的，本专利技术采用的技术方案如下：
[0007]一种基于规则演化的核递归最大相关熵时间序列在线预测方法，具体步骤如下：
[0008]步骤1：从现实世界中收集时间序列数据，并对其进行归一化处理。
[0009]首先，针对预测问题构建样本{(x(n),d(n)),n＝1,2,
…
}，其中x(n)表示由t维特征输入x(n)组成的模型输入向量，即x(n)＝[x1(n),x2(n),
…
,x
t
(n)]，d(n)表示预测目标，n表示时刻；其次，考虑输入向量中的多维特征的量纲差别，采用归一化方法对数据进行处理，进而减少数据对模型准确预测的不利影响，计算公式如下所示：
[0010][0011]其中，x(n)和x
′
(n)分别为输入数据归一化前后的值，x
min
和x
max
分别为输入数据的最小值和最大值；同理，对预测目标进行归一化处理，得出预测目标归一化后值为d
′
(n)。
[0012]步骤2：对归一化后的时间序列数据进行相空间重构，其目的是深入挖掘时间序列中有用信息(相关性和动力学特征等)。因此，对时间序列数据进行相空间重构，重构后的输入向量表示为：
[0013][0014]其中，τ
t
(n)和m
t
(n)分别为归一化后输入向量x
′
(n)中第t个特征序列的延迟时间和嵌入维数，T为转置，此时预测目标为
[0015]步骤3：划分步骤2重构后的数据集，并对参数进行设置和初始化。
[0016]选取重构后的时间序列数据的80％作为训练集，且将训练集的总量记为N，其余部分作为测试集。
[0017]设置模型参数，包括相关熵中核宽度σ
′
、高斯核大小σ、聚类中心学习率η、唤醒指数学习率β、正则化参数γ、唤醒阈值以及距离阈值δ。
[0018]在第1个时刻，第1个训练数据代入模型，创建首条规则，形成规则库，并对模型关键参数进行初始化设置，包括唤醒指数a1(1)＝0，聚类中心字典以及扩展系数κ<
·
,
·
>表示高斯核函数，变量b和b
*
的核函数定义为：
[0019][0020]其中，σ是高斯核大小。
[0021]步骤4：根据训练数据集及参数设置，从第2个时刻开始进行模型的迭代训练。具体为
[0022]步骤4.1：每个时刻加载1个训练数据，计算其与规则库中每条规则下的兼容性度量和唤醒指数；
[0023]模型采用兼容性度量和唤醒指数定义规则。
[0024]所述的兼容性度量ρ
i
是用来衡量输入向量与第i条规则下聚类中心R的相关性。当兼容性度量值达到最大时，表明当前输入样本与规则之间的相似程度最大，此时该规则为最兼容规则。输入向量与第i条规则聚类中心R
i
(n)之间的兼容性度量如下所示：
[0025][0026]其中，ρ
i
(n)∈[0,1]，t表示输入向量包含的总特征数，r表示两个观测变量之间的相关依赖性，计算为：
[0027][0028]其中，和分别表示第n时刻第l个特征输入和聚类中心R的平均值。
[0029]所述的唤醒指数a
i
可以作为兼容性度量ρ
i
的补充，用来创建新规则减少异常值带来的负面影响。在第n时刻第i条规则下唤醒指数a计算公式表示为：
[0030]a
i
(n)＝(1
‑
β)a
i
(n
‑
1)+β(1
‑
ρ
i
(n)) (6)
[0031]其中，β表示唤醒指数的学习率。
[0032]步骤4.2：将唤醒指数a
i
(n)最小值与唤醒阈值作比较，判断是否创建新规则，其中，所述的唤醒阈值的范围为0
‑
1，具体分为以下两种情况：
[0033]情况1：当最小唤醒指数大于唤醒阈值，即时，创建新规则，此时规则库中规则条数增加，更新为r＝r+1，并初始化该新规则中各参数，包括聚类中心字典扩展系数
[0034]情况2：当最小唤醒指数小于或等于唤醒阈值即时，则将此输入向量(即当前的时间序列)纳入规则库中最兼容规则中，并对聚类中心进行递归更新，计算公式如下所示：
[0035][0036]其中，η∈[0,1]表示聚类中心的学习率。
[0037]之后，在模型结构后续参数更新中，选择相关熵准则取代传统核递归最小二乘方法中均方误差准则作为代价函数，利用核递归最大相关熵方法改善本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于规则演化的核递归最大相关熵时间序列在线预测方法，其特征在于，包括以下步骤：步骤1：收集时间序列数据，并对其进行归一化处理；步骤2：对归一化后的时间序列数据进行相空间重构，用于深入挖掘时间序列中有用信息；步骤3：划分步骤2重构后的数据集，并对参数进行设置和初始化；步骤4：根据训练数据集及参数设置，从第2个时刻开始进行模型的迭代训练；步骤5：利用步骤4训练好的模型，选择规则库中最兼容规则对测试数据集进行输出预测，然后对样本数据进行反归一化计算，最后利用评价指标度量模型预测精度。2.根据权利要求1所述的一种基于规则演化的核递归最大相关熵时间序列在线预测方法，其特征在于，所述的步骤1具体如下：针对预测问题构建样本{(x(n),d(n)),n＝1,2,
…
}，其中x(n)表示由t维特征输入x(n)组成的模型输入向量，即x(n)＝[x1(n),x2(n),
…
,x
t
(n)]，d(n)表示预测目标，n表示时刻；其次，考虑输入向量中的多维特征的量纲差别，采用归一化方法对数据进行处理；对预测目标进行归一化处理，得出预测目标归一化后值为d
′
(n)。3.根据权利要求2所述的一种基于规则演化的核递归最大相关熵时间序列在线预测方法，其特征在于，所述的步骤1中，归一化处理的计算公式如下所示：其中，x(n)和x
′
(n)分别为输入数据归一化前后的值，x
min
和x
max
分别为输入数据的最小值和最大值。4.根据权利要求1所述的一种基于规则演化的核递归最大相关熵时间序列在线预测方法，其特征在于，所述的步骤2具体如下：对归一化后的时间序列数据进行相空间重构，重构后的输入向量表示为：其中，τ
t
(n)和m
t
(n)分别为归一化后输入向量x
′
(n)中第t个特征序列的延迟时间和嵌入维数，T为转置，此时预测目标为5.根据权利要求1所述的一种基于规则演化的核递归最大相关熵时间序列在线预测方法，其特征在于，所述的步骤3具体如下：选取重构后的时间序列数据的80％作为训练集，且将训练集的总量记为N，其余部分作为测试集；设置模型参数，包括相关熵中核宽度σ
′
、高斯核大小σ、聚类中心学习率η、唤醒指数学习率β、正则化参数γ、唤醒阈值以及距离阈值δ；在第1个时刻，第1个训练数据代入模型，创建首条规则，形成规则库，并对模型关键参
数进行初始化设置，包括唤醒指数a1(1)＝0，聚类中心字典以及扩展系数κ
·
,
·
表示高斯核函数，变量b和b
*
的核函数定义为：其中，σ是高斯核大小。6.根据权利要求1所述的一种基于规则演化的核递归最大相关熵时间序列在线预测方法，其特征在于，所述的步骤4具体如下：步骤4.1：每个时刻加载1个训练数据，计算其与规则库中每条规则下的兼容性度量和唤醒指数；模型采用兼容性度量和唤醒指数定义规则；所述的兼容性度量ρ
i
是用来衡量输入向量与第i条规则下聚类中心R的相关性；当兼容性度量值达到最大时，表明当前输入样本与规则之间的相似程度最大，此时该规则为最兼容规则；输入向量与第i条规则聚类中心R
i
(n)之间的兼容性度量如下所示：其中，ρ
i
(n)∈[0,1]，t表示输入向量包含的总特征数，r表示两个观测变量之间的相关依赖性，计算为：其中，和分别表示第n时刻第l个特征输入和聚类中心R的平均值；所述的唤醒指数a
i
可以作...

【专利技术属性】
技术研发人员：韩敏，夏慧娟，梁漪，胡磊，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：