基于层次聚类和分层注意力机制的交通速度预测方法技术

基于层次聚类和分层注意力机制的交通速度预测方法，首先采用层次聚类方法将历史交通速度数据进行划分和聚类；然后，设计基于分层注意力机制的神经网络模型，该模型充分考虑了交通速度数据的时空关联性，有效利用分层注意力机制来捕捉时空特征，并对不同路段和不同历史时间段赋予不同的影响权重。最后，选择合适的簇数据来训练和测试神经网络模型，训练好的模型可以预测目标路段未来若干个时间段的平均交通速度。本发明专利技术方法采用了层次聚类方法对历史数据进行了划分和聚类，簇内数据具有较高相似度，更适合于神经网络模型的训练；同时，采用了分层注意力机制来设计神经网络模型，有效地捕捉了交通速度数据的时空特性，更好地提高了预测准确性。

【技术实现步骤摘要】
基于层次聚类和分层注意力机制的交通速度预测方法
本专利技术涉及智能交通的交通速度预测，可以预测未来若干个时间段的路段平均速度，交通速度预测可以用于路径规划，也可以用于交通控制、交通诱导和交通管理。
技术介绍
随着交通环境的日益复杂、道路交通车流量的急剧增加，城市道路交通拥堵问题愈加严重。在智能交通系统(IntelligentTransportationSystem，ITS)中，交通速度预测具有重要意义，如果能有效地预测未来一段时间内各个路段的交通速度，便可以提前进行有效的交通管控，能大大缓解甚至避免交通拥堵。在智能交通系统中，交通速度是描述交通流的基本参数，交通速度预测是指预测未来一段时间内通过某条路段的平均速度。交通速度预测方法的研究，不仅有利于旅行者进行路径规划，也有利于交通管理者进行交通信号控制、交通诱导和交通管理。常用的交通速度预测方法主要有自回归差分移动平均模型(AutoregressiveIntegratedMovingAverageModel,ARIMA)、卡尔曼滤波、贝叶斯模型(Bayesian)、支持向量机(SupportVectorMachine,SVM)等。这些方法虽然易于实现，操作简单，但没有充分利用交通流的周期性和时序性，受数据扰动影响较大。近些年，深度学习的迅速发展为交通速度预测提供了更多有效的方法。循环神经网络(RecurrentNeuralNetwork,RNN)具有更优的序列数据处理能力，可以对交通速度的时间依赖性进行分析，获得较优的预测精度。卷积神经网络(ConvolutionalNeuralNetwork,CNN)和RNN综合使用，可以在考虑时序特性的同时，实现利用CNN来提取交通流的空间特性。另外，深度信念网络(DeepBeliefNetwork,DBN)也在短时交通流预测中取得了不错的效果。虽然现有的深度学习方法在算法效率与预测精度上有所提高，但由于没有考虑历史数据对当前时间段的影响，这些基于深度学习的交通速度预测方法仍具有一定的局限性。交通速度预测作为序列预测任务，历史数据中不同时间段的速度对未来时间段的预测具有不同的影响效果，然而各种深度学习模型并未挖掘这种内在的特征，从而在一定程度上影响了预测精度。目前，现有的交通速度预测方法主要存在以下问题：1)常用的各种预测方法，如ARIMA模型、卡尔曼滤波、贝叶斯模型和支持向量机等，没有充分利用交通流的周期性和时序性，受数据扰动影响较大，预测准确性有限；2)基于深度学习的预测方法，虽然在一定程度上提高了算法效率和预测精度，但忽略了历史数据的影响，影响了预测精度；
技术实现思路
本专利技术要克服现有技术的上述不足之处，提供基于层次聚类和分层注意力机制的交通速度预测方法。本专利技术方法首先采用层次聚类方法将历史交通速度数据划分为若干个簇；然后，设计基于分层注意力机制的神经网络模型，该模型充分考虑了交通速度数据的时空关联性，分别利用空间注意力机制和时间注意力机制来捕捉空间特征和时间特征。最后，根据当前日期的数据，选择合适的簇数据，生成样本数据集，训练和测试神经网络模型，训练好的模型可以预测目标路段未来若干个时间段的平均交通速度。本专利技术方法采用了层次聚类方法，以时间为单位对历史数据进行了划分和聚类，簇内数据具有较高相似度，并以此为基础训练神经网络模型，提高了预测精度。同时，本专利技术方法设计的神经网络模型，采用了分层注意力机制，对上下游各个路段和不同的历史时间段分别赋予了不同的影响权重，有效地捕捉了交通速度数据的时空特性，更好地提高了预测准确性。本专利技术是通过以下技术方案来达到上述目的，即基于层次聚类和分层注意力机制的交通速度预测方法，具体的实施步骤如下：(1)获取目标路段及其上下游路段的历史交通速度数据。根据路段中安装的电警卡口装置，采集并记录过车数据。在过车数据的基础上，根据同一辆车在上下游出现的时间差和路段距离，计算各个时间段的路段平均速度。(2)数据预处理。由于检测器故障或数据传输失败，采集的数据存在缺失或异常，所以需要进行数据预处理，修正这些异常数据。(3)对目标路段的历史交通速度数据进行层次聚类。由于天气变化、节假日和突发事故，某一天或某几天的交通速度数据分布会不同于正常情况下的数据分布。如果直接把交通速度数据拆分为训练数据集和测试数据集，模型预测的准确性可能会很低。因此，为了考虑不同交通环境的影响，采用层次聚类方法对预处理数据进行处理，将分布相似的数据进行合并，从而把历史交通速度数据划分成若干个簇，簇内数据具有较高的相似度，聚类后的簇数据更适合模型的训练和测试，有效地提高了模型的预测精度。层次聚类方法的具体过程如下：s31.按天划分目标路段的历史交通速度数据。将预处理后的交通速度数据按天进行划分，形成若干个初始簇，所述的初始簇就是层次聚类的底层节点；s32.初始化阈值θ和最大相似度SIM_MAX。阈值θ用于判断算法是否结束，根据经验值设定阈值θ的初值。最大相似度SIM_MAX的初值为相对较大的值，远大于阈值θ。s33.采用自下而上的聚合策略进行层次聚类。如果当前SIM_MAX大于或等于θ，则采用皮尔森相关系数计算任意两个簇的相似度，并比较这些相似度值，选取相似度最大的两个簇将其合并为一个簇，同时将SIM_MAX的值更新为当前的最大相似度；s34.重复步骤s33，直至当前SIM_MAX小于阈值θ，最后获得M个簇的交通速度数据，其中M为簇的个数。(4)设计基于分层注意力机制的神经网络模型。基于分层注意力机制的神经网络模型是以Seq2Seq模型为基础，包括Encoder层、Decoder层和全连接层。在Encoder层，将上下游路段的历史交通速度数据作为输入，利用空间注意力机制来捕捉交通速度数据的空间特征，并通过一个双向LSTM(LongShort-TermMemory：长短期记忆)网络来确定每条上下游路段的影响权重；在Decoder层，将Encoder层的输出和目标路段的历史交通速度数据作为输入，利用时间注意力机制来挖掘交通速度数据的时间特征，并通过另外一个双向LSTM网络来确定过去若干个时间段的影响权重；最后，由全连接层计算得到预测结果。由于注意力机制也称为Attention，所以Encoder层的空间注意力机制也称为空间Attention，Decoder层的时间注意力机制也称为时间Attention。Encoder层主要用于提取上下游路段对目标路段未来交通速度的影响程度，Encoder层的输入为上下游路段的历史交通速度数据S。其中，i取值范围为[1,n]，n表示选取的上下游路段数，l表示时间段的个数，t表示某个时间段，而l与t表示过去的某个时间段，如t-l+1表示t时间段之前的第(l-1)个时间段。S表示所选取的n条上下游路段在过去l个时间段的平均交通速度矩阵，Si表示路段i在过去l个时间段的平均交通速度向量，表示路段i在j时间段的平均交通速度，j取值范围为[t-l+1,t]。Encoder层中的空间注意力机制的内部状态变化为：本文档来自技高网...

【技术保护点】
1.基于层次聚类和分层注意力机制的交通速度预测方法，包括如下步骤：/n(1)获取目标路段及其上下游路段的历史交通速度数据；根据路段中安装的电警卡口装置，采集并记录过车数据；在过车数据的基础上，根据同一辆车在上下游出现的时间差和路段距离，计算各个时间段的路段平均速度；/n(2)数据预处理；由于检测器故障或数据传输失败，采集的数据存在缺失或异常，所以需要进行数据预处理，修正这些异常数据；/n(3)对目标路段的历史交通速度数据进行层次聚类；层次聚类方法的具体过程如下：/ns31.按天划分目标路段的历史交通速度数据；将预处理后的交通速度数据按天进行划分，形成若干个初始簇，所述的初始簇就是层次聚类的底层节点；/ns32.初始化阈值θ和最大相似度SIM_MAX；阈值θ用于判断算法是否结束，根据经验值设定阈值θ的初值；最大相似度SIM_MAX的初值为相对较大的值，远大于阈值θ；/ns33.采用自下而上的聚合策略进行层次聚类；如果当前SIM_MAX大于或等于θ，则采用皮尔森相关系数计算任意两个簇的相似度，并比较这些相似度值，选取相似度最大的两个簇将其合并为一个簇，同时将SIM_MAX的值更新为当前的最大相似度；/ns34.重复步骤s33，直至当前SIM_MAX小于阈值θ，最后获得M个簇的交通速度数据，其中M为簇的个数；/n(4)设计基于分层注意力机制的神经网络模型；基于分层注意力机制的神经网络模型是以Seq2Seq模型为基础，包括Encoder层、Decoder层和全连接层；在Encoder层，将上下游路段的历史交通速度数据作为输入，利用空间注意力机制来捕捉交通速度数据的空间特征，并通过一个双向LSTM网络来确定每条上下游路段的影响权重；在Decoder层，将Encoder层的输出和目标路段的历史交通速度数据作为输入，利用时间注意力机制来挖掘交通速度数据的时间特征，并通过另外一个双向LSTM网络来确定过去若干个时间段的影响权重；最后，由全连接层计算得到预测结果；/nEncoder层主要用于提取上下游路段对目标路段未来交通速度的影响程度，Encoder层的输入为上下游路段的历史交通速度数据S；...

【技术特征摘要】
1.基于层次聚类和分层注意力机制的交通速度预测方法，包括如下步骤：
(1)获取目标路段及其上下游路段的历史交通速度数据；根据路段中安装的电警卡口装置，采集并记录过车数据；在过车数据的基础上，根据同一辆车在上下游出现的时间差和路段距离，计算各个时间段的路段平均速度；
(2)数据预处理；由于检测器故障或数据传输失败，采集的数据存在缺失或异常，所以需要进行数据预处理，修正这些异常数据；
(3)对目标路段的历史交通速度数据进行层次聚类；层次聚类方法的具体过程如下：
s31.按天划分目标路段的历史交通速度数据；将预处理后的交通速度数据按天进行划分，形成若干个初始簇，所述的初始簇就是层次聚类的底层节点；
s32.初始化阈值θ和最大相似度SIM_MAX；阈值θ用于判断算法是否结束，根据经验值设定阈值θ的初值；最大相似度SIM_MAX的初值为相对较大的值，远大于阈值θ；
s33.采用自下而上的聚合策略进行层次聚类；如果当前SIM_MAX大于或等于θ，则采用皮尔森相关系数计算任意两个簇的相似度，并比较这些相似度值，选取相似度最大的两个簇将其合并为一个簇，同时将SIM_MAX的值更新为当前的最大相似度；
s34.重复步骤s33，直至当前SIM_MAX小于阈值θ，最后获得M个簇的交通速度数据，其中M为簇的个数；
(4)设计基于分层注意力机制的神经网络模型；基于分层注意力机制的神经网络模型是以Seq2Seq模型为基础，包括Encoder层、Decoder层和全连接层；在Encoder层，将上下游路段的历史交通速度数据作为输入，利用空间注意力机制来捕捉交通速度数据的空间特征，并通过一个双向LSTM网络来确定每条上下游路段的影响权重；在Decoder层，将Encoder层的输出和目标路段的历史交通速度数据作为输入，利用时间注意力机制来挖掘交通速度数据的时间特征，并通过另外一个双向LSTM网络来确定过去若干个时间段的影响权重；最后，由全连接层计算得到预测结果；
Encoder层主要用于提取上下游路段对目标路段未来交通速度的影响程度，Encoder层的输入为上下游路段的历史交通速度数据S；其中，i取值范围为[1,n]，n表示选取的上下游路段数，l表示时间段的个数，t表示某个时间段，而l与t表示过去的某个时间段，如t-l+1表示t时间段之前的第(l-1)个时间段；S表示所选取的n条上下游路段在过去l个时间段的平均交通速度矩阵，Si表示路段i在过去l个时间段的平均交通速度向量，表示路段i在j时间段的平均交通速度，j取值范围为[t-l+1,t]；
Encoder层中的空间注意力机制的内部状态变化为：






其中，公式(1)用于计算各个上下游路段在l个时间段的空间权重，表示路段i在t时间段的空间权重，i取值范围为[1,n]，t时间段的空间权重向量为m是隐藏层尺寸，是元状态，是隐藏层状态，Si是输入的上下游路段i的历史交通速度数据，是Encoder层中上一次迭代的隐藏层状态、元状态和路段i的交通速度数据的拼接，和是权重项，和是偏置项，且tanh(·)函数是双曲正切函数，为激活函数；公式(2)是Softmax函数，即归一化指数函数，用于空间权重的归一化计算，是路段i在t时间段的归一化空间权重，归一化t时间段的空间权重向量为Encoder层在迭代运算的过程中生成l个时间段的空间权重向量，依次为et-l+1,et-l+2,…,et，相应的归一化空间权重向量为αt-l+1,αt-l+2,…,αt，运算过程总共迭代l次，第一次生成et-l+1和αt-l+1，第二次生成et-l+2和αt-l+2，以此类推，第l次生成et和αt；随后，根据t时间段的空间权重向量，输入的历史交通速度数据被加权转换为：



因此，向量包含了各个上下游路段的空间特征信息，类似地计算出其它时间段加权转换后的历史交通速度数据，即
Encoder层中的双向LSTM网络的内部状态变化为：









he,t＝We,tht+be,t(7)
其中，和分别表示前向LSTM网络的隐藏层状态和权重项，和分别表示反向LSTM网络的隐藏层状态和权重项，将两者拼接则得到了双向LSTM的隐藏层状态是对ht的线性变换，用于计算公式(1)的空间权重，是权重项，是偏置项；Encoder层中的双向LSTM网络的输入为加权转换后的历史交通速度数据，即双向LSTM网络将进行l次迭代，每次迭代输出其隐藏层状态，分别为ht-l+1,ht-l+2,…,ht，因此，Encoder层输出的隐藏层状态包含加权转换后的历史交通速度数据；
Decoder层的输入为Encoder层输出的l隐藏层状态和目标路段的历史交通速度数据，分别为ht-l+1,ht-l+2,…,ht和y，其中，y＝(yt-l+1,yt-l+2,…,yt)，yj是目标路段在j时间段的平均交通速度，j取值范围为[...

【专利技术属性】
技术研发人员：刘端阳，徐鑫博，唐龙峰，范鑫烨，陈雪，沈国江，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33