System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于双向网络的多种学习率下时空数据预测方法技术_技高网

基于双向网络的多种学习率下时空数据预测方法技术

技术编号:41142667 阅读:15 留言:0更新日期:2024-04-30 18:12
本发明专利技术公开了基于双向网络的多种学习率下时空数据预测方法,涉及数据处理和模型构建的技术领域,方法为:获取原始车流量数据;构建数据集并划分为训练集和测试集;构建双向长短时记忆网络模型即Bi‑LSTM模型;利用训练集对模型进行训练,并创建不同的学习率衰减函数分别对模型进行优化,基于不同的学习率衰减函数得到不同的模型;利用测试集分别对各个的模型进行测试,并对各个模型的预测结果进行准确性对比,选择准确性最高的模型进行预测。本发明专利技术创建不同的学习率衰减函数来解决模型的非凸优化问题,同时,双向长短时记忆网络模型具有双向性、捕捉长距离依赖关系、减少数据预处理成本、减少模型复杂度、提高模型性能的特点。

【技术实现步骤摘要】

本专利技术涉及数据处理和模型构建的,尤其是基于双向网络的多种学习率下时空数据预测方法


技术介绍

1、短期道路交通流量预测一直是个热门的研究课题。有效的车流量预测不仅可以让人们提前选择好出行路径,方便人们的生活,还能进一步提高交通部门的效率,方便后续工作的开展。目前,主流的车流量预测的模型有自适应长短时记忆网络模型(lstm),差分整合移动平均自回归模型(arima)。其中,lstm模型存在不适合处理变长序列的特点;arima模型适用于单维时间序列预测,无法处理非线性趋势。

2、现有技术主要存在的问题如下:1.固定学习率下的模型的非凸优化问题;2.模型性能的问题。


技术实现思路

1、为了克服上述现有技术中的缺陷,本专利技术提供基于双向网络的多种学习率下时空数据预测方法,创建不同的学习率衰减函数来解决模型的非凸优化问题,同时,双向长短时记忆网络模型具有双向性、捕捉长距离依赖关系、减少数据预处理成本、减少模型复杂度、提高模型性能的特点。

2、为实现上述目的,本专利技术采用以下技术方案,包括:

3、基于双向网络的多种学习率下时空数据预测方法,包括以下步骤:

4、s1,获取原始车流量数据;

5、s2,根据原始车流量数据构建数据集,并将数据集划分为训练集和测试集;

6、s3,构建双向长短时记忆网络模型即bi-lstm模型;

7、s4,利用训练集对bi-lstm模型进行训练,并创建不同的学习率衰减函数分别对bi-lstm模型进行优化,基于不同的学习率衰减函数得到不同的bi-lstm模型;

8、s5,利用测试集分别对各个的bi-lstm模型进行测试,并对各个bi-lstm模型的预测结果进行准确性对比,选择准确性最高的bi-lstm模型进行预测。

9、优选的,步骤s2的具体过程如下:

10、s21,对原始车流量数据进行分割,以δt秒为一个单元,分割得到共n个单元数据,将此n个单元数据作为车流量序列;

11、s22,将车流量序列划分成个m数据集,每个数据集中包含有m个单元数据,从车流量序列中的第i个单元数据开始至第i+m个单元数据结束,作为第i个数据集,i=1,2,…,m-m;

12、s23,对所有数据集进行归一化处理;

13、s24,对归一化处理后的m个数据集进行划分,划分为训练集和测试集。

14、优选的,bi-lstm模型中的第i个节点的计算公式如下:

15、yi=tanh(vai+v′a′i)

16、a′i=lstm(xi,a′i+1)

17、ai=lstm(xi,ai-1)

18、其中,xi是第i个节点的输入数据,yi表示输入数据xi分别正向和反向经过第i个节点后的最终输出结果,tanh()为激活函数,ai、a′i分别是输入数据xi正向和反向经过第i个节点后输出的隐向量,v、v′分别是ai、a′i的权重向量,a′i+1是输入数据xi+1反向经过第i+1个节点后输出的隐向量;ai-1是输入数据xi-1正向经过第i-1个节点后输出的隐向量,lstm()为激活函数。

19、优选的,bi-lstm模型的结构如下所示:

20、输入层,用于数据集的输入;

21、隐藏层:用于将数据特征映射输出;所述隐藏层包括依次连接的若干层全连接层,且每层全连接层后均添加一层leaky relu激活层;

22、输出层,用于预测值的输出,所述输出层包括依次连接的一层全连接层和一层leaky relu激活层。

23、优选的,创建不同的学习率衰减函数,具体包括:

24、周期性衰减函数:

25、

26、阶梯衰减函数:

27、

28、自然指数衰减函数:

29、

30、指数衰减函数:

31、

32、其中,epoch是训练轮次,x为上一次的学习率,y为本次的学习率。

33、优选的,利用测试集分别对各个的bi-lstm模型进行测试,并将预测值与真实值进行比较,计算各个bi-lstm模型的模型特征,用于对各个bi-lstm模型的预测结果进行准确性对比;所述模型特征包括:均方误差mse、均方绝对误差mae和决定系数r2:

34、

35、

36、

37、其中,为真实值,为预测值,sse为残差平方和,sst为总平方和。

38、本专利技术的优点在于:

39、(1)本专利技术创建不同的学习率衰减函数来解决模型的非凸优化问题,同时,双向长短时记忆网络模型具有双向性、捕捉长距离依赖关系、减少数据预处理成本、减少模型复杂度、提高模型性能的特点。

40、(2)本专利技术通过自定义不同的学习率衰减函数,实现了对于固定初始化学习率下nadam优化器的再优化,配合使用学习率衰减策略来进一步优化训练过程,通过设置一个初始化的学习率,并在一定训练步数或周期后按照预设的策略降低学习率,可以帮助模型在后期训练阶段更好的探索解空间并避免陷入局部极小值。

41、(3)本专利技术的双向长短时记忆网络模型可以从正反两个方向上捕捉输入序列的信息,使得模型能够更好地捕捉到序列中的复杂关系并处理长序列数据,可以减少数据预处理的成本,避免了传统lstm不适合处理变长序列的缺点。

42、(4)本专利技术以时间维度下的车流量数据作为研究对象,有效解决了道路交通上短期车流量预测问题。

43、(5)本专利技术采用的双向长短时记忆网络模型,相比于传统自适应长短时记忆网络模型具有双向性、更好特征提取、参数共享、更好长序列处理的特点,双向长短时记忆网络模型在捕捉序列信息、处理长序列数据、减少数据预处理成本、减少模型复杂度以及提高模型性能等方面具有优势,尤其在需要同时考虑前向和后向信息的任务中表现更为出色。

44、(6)不同的学习率衰减函数对模型进行优化具有提升训练速度、避免过拟合、跳出局部最小值、适应不同场景等好处。在具体的实践中,需要根据不同的场景和需求选择适当的学习率衰减函数,以达到更好的模型性能和泛化能力。

本文档来自技高网...

【技术保护点】

1.基于双向网络的多种学习率下时空数据预测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于双向网络的多种学习率下时空数据预测方法,其特征在于,步骤S2的具体过程如下:

3.根据权利要求1所述的基于双向网络的多种学习率下时空数据预测方法,其特征在于,Bi-LSTM模型中的第i个节点的计算公式如下:

4.根据权利要求1所述的基于双向网络的多种学习率下时空数据预测方法,其特征在于,Bi-LSTM模型的结构如下所示:

5.根据权利要求1所述的基于双向网络的多种学习率下时空数据预测方法,其特征在于,创建不同的学习率衰减函数,具体包括:

6.根据权利要求1所述的基于双向网络的多种学习率下时空数据预测方法,其特征在于,利用测试集分别对各个的Bi-LSTM模型进行测试,并将预测值与真实值进行比较,计算各个Bi-LSTM模型的模型特征,用于对各个Bi-LSTM模型的预测结果进行准确性对比;所述模型特征包括:均方误差MSE、均方绝对误差MAE和决定系数R2:

【技术特征摘要】

1.基于双向网络的多种学习率下时空数据预测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于双向网络的多种学习率下时空数据预测方法,其特征在于,步骤s2的具体过程如下:

3.根据权利要求1所述的基于双向网络的多种学习率下时空数据预测方法,其特征在于,bi-lstm模型中的第i个节点的计算公式如下:

4.根据权利要求1所述的基于双向网络的多种学习率下时空数据预测方法,其特征在于,bi-lstm模型的结构如下所示:...

【专利技术属性】
技术研发人员:贾琳周恒宇孟宪伟裴晓辉
申请(专利权)人:中国科学院合肥物质科学研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1