一种基于动态自适应生成对抗网络的交通数据修复方法技术

本发明专利技术公开了一种基于动态自适应生成对抗网络的交通数据修复方法。所述方法包括以下步骤：获取原始交通数据，构成原始交通数据矩阵；利用数据标准化处理原始交通数据矩阵，确定异常数据位置，并对其进行预处理；构建多个待修复交通数据矩阵；组建由全连接神经网络构成的生成对抗网络，并基于博弈思想迭代训练生成器与对抗器；引入一种动态自适应机制，自动识别生成对抗网络的最佳迭代次数，并利用待修复交通数据矩阵完成生成对抗网络的模型训练；利用多种模型评价指标评估动态自适应生成对抗网络的修复性能。本发明专利技术具有算法计算复杂度低、修复精度高、实时动态性强等优点，可为智能城市交通规划与管理、实时公交调度与优化等提供保障。供保障。供保障。

【技术实现步骤摘要】
一种基于动态自适应生成对抗网络的交通数据修复方法


[0001]本专利技术涉及智能交通
，具体涉及一种基于动态自适应生成对抗网络的交通数据修复方法。

技术介绍

[0002]城市道路交通网络是一个数据丰富且存在特定运行规律的复杂系统，它有序支撑了城市居民的便捷生活，也促进了现代城市的稳健发展。然而，随着传感器技术、通信技术等先进方法的迅猛发展，交通数据迎来了爆炸性增长，缺失、异常等劣质数据也随之产生。导致交通数据缺失的主要因素包括软件或硬件故障，数据的缺失比率和缺失类型也依实际环境呈复杂变化。因此，采用有效算法对缺失交通数据进行高精度修复，从而保障交通数据的后续建模与分析甚至城市路网交通系统稳定运行都有极为重要的作用。
[0003]现阶段的交通数据修复方法主要包括传统插值方法、统计学习与生成对抗网络算法(王力,李敏,闫佳庆,张玲玉,潘科,&李正熙.(2018).基于生成式对抗网络的路网交通流数据补全方法.交通运输系统工程与信息,18(6),9.)。存在的主要缺陷包括无法有效修复缺失的交通数据以及无法解决高缺失率交通数据修复等问题。特别对于大规模交通数据集，数据的时空特性十分复杂，传统的修复方法已经无法应对新形式下的修复目标。因此，建立稳定且高效的交通数据修复模型十分必要。

技术实现思路

[0004]为克服现有技术的不足，本专利技术提供了一种基于动态自适应生成对抗网络的交通数据修复方法。该方法动态驱使生成对抗网络自适应其数据生成过程，解决GAN迭代过程不稳定、过拟合与欠拟合等问题，进而有效提高交通数据的修复精度和效率。
[0005]本专利技术的目的至少通过如下技术方案之一实现。
[0006]一种基于动态自适应生成对抗网络的交通数据修复方法，包括以下步骤：
[0007]S1、通过布置在城市路网干道上的传感器不间断获取原始交通数据，构成原始交通数据矩阵；
[0008]S2、利用数据标准化处理原始交通数据矩阵，并通过可视化方式绘制交通数据随时间变化的热力图，确定异常数据位置，并对其进行预处理；
[0009]S3、构造时空交通数据矩阵，并按不同的缺失类型和比例随机删除部分数据，构建多个待修复交通数据矩阵；
[0010]S4、组建由全连接神经网络构成的生成对抗网络(GAN)，并基于博弈思想迭代训练生成器与对抗器；
[0011]S5、引入一种动态自适应机制，自动识别生成对抗网络的最佳迭代次数，并利用待修复交通数据矩阵完成生成对抗网络的模型训练；
[0012]S6、利用多种模型评价指标评估动态自适应生成对抗网络的修复性能。
[0013]进一步地，步骤S1中，采集的原始交通数据包括交通流量、速度或者密度。
[0014]进一步地，步骤S2具体如下：
[0015]对原始交通数据进行预处理，按如下标准化公式完成不同数据量纲的统一：
[0016][0017]其中，为城市路网传感器检测的原始交通数据；为对应传感器观测值的最小值；为对应传感器观测值的最大值；为数据标准化后的原始交通数据；对于优化后的原始交通数据矩阵，通过可视化的方式绘制交通数据随时间变化的热力图，热力图中的0值颜色块和数值超过设定阈值的极大值颜色块的所在位置即是异常数据点位置；进一步通过设置交通数据的阈值，采用网格搜索法逐个对比交通数据与阈值的大小，锁定异常数据的坐标；求取锁定的异常数据的坐标的前后左右数据的均值以替代异常数据，或者直接删除采集锁定的异常数据的传感器所测量的所有数据，剩余的原始交通数据用于构成最终交通数据矩阵。
[0018]进一步地，步骤S3具体如下：
[0019]采用表示城市路网的拓扑结构，构建最终交通数据矩阵其中，I和J分别表示布置在城市路网干道上的传感器数量与传感器测量的时间点数量；
[0020]最终交通数据矩阵中，x
ij
表示第i个传感器在第j个时间点测量的交通数据；
[0021]构建最终交通数据矩阵对应的掩码矩阵掩码矩阵中的元素m
ij
表示交通数据矩阵中对应位置的元素是否缺失的标记值，表示如下：
[0022][0023]其中，属于最终交通数据矩阵中被观察到的部分交通数据的集合，Ω属于该集合索引；部分交通数据的集合与最终交通数据矩阵还存在还存在的关系，符号代表矩阵间的哈达玛积。
[0024]进一步地，为了模拟自然环境下的数据缺失现象，人为设置掩码矩阵中0的比率和位置，具体如下：
[0025]未缺失状况下的掩码矩阵中的数据全为1，缺失率为0；用0替代1表示数据的缺失，设置0的个数占掩码矩阵总个数的比率，该比率即为缺失率；对于随机缺失(RM)情况，掩码矩阵中用0替代1的过程是随机的，所生成的缺失值在最终交通数据矩阵中呈分散分布；而对于聚类缺失(CM)情况，掩码矩阵中0值的分布呈明显的连续分布，典型表现为同一个传感器在一段时间内发生故障，导致采集的交通数据值为0；最后，按照多种缺失比例和两种缺失类型构建多个待修复交通数据矩阵，并统一命名为
[0026]进一步地，步骤S4具体如下：
[0027]设置生成对抗网络的生成器(G)和对抗器(D)，生成器(G)和对抗器(D)均为三层全连接神经网络，采用博弈思想迭代训练生成对抗网络模型，以填补步骤S3中的待修复交通数据矩阵；生成对抗网络模型被定义为如下的最大最小值博弈优化过程：
[0028][0029]其中，L
G
和L
D
分别代表生成对抗网络中生成器(G)的生成过程与对抗器(D)的对抗过程；z是噪声数据，来自于分布p
z
，满足z～p
z
；p
real
(x)代表步骤S3中的待修复交通矩阵中的数据的真实分布；V(D,G)代表修复任务的目标函数；p
z
(z)代表随机噪声分布；和均为带掩体矩阵的三层全连接神经网络；和分别表示p
real
(x)和p
z
(z)的期望值；
[0030]通过固定生成器(G)，最大化公式(3)的V(D,G)函数，得到最优对抗器D为：
[0031][0032]其中，p
g
代表生成器(G)定义的概率分布，其初始分布为随机噪声，经过模型训练后逐渐逼近代表待修复交通数据矩阵的真实分布；公式(3)可进一步转化为：
[0033][0034]其中，代表在固定判别器D的情况下优化生成器G的目标函数；代表p
g
的期望值；当满足时，生成器(G)能完整的复制待修复交通数据的生成过程。
[0035]进一步地，步骤S5中，标准生成对抗网络根据生成器(G)与对抗器(D)的损失值进行迭代训练，但该过程对迭代次数的固定设置导致模型训练过程不稳定，训练结束后模型易出现过拟合或欠拟合现象；
[0036]因此，提出一种动态自适应机制，通过更改生成对抗网络的误差反馈对象以修改模型训练的损失函数，并利用Savizkg
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态自适应生成对抗网络的交通数据修复方法，其特征在于，包括以下步骤：S1、通过布置在城市路网干道上的传感器不间断获取原始交通数据，构成原始交通数据矩阵；S2、利用数据标准化处理原始交通数据矩阵，并通过可视化方式绘制交通数据随时间变化的热力图，确定异常数据位置，并对其进行预处理；S3、构造时空交通数据矩阵，并按不同的缺失类型和比例随机删除部分数据，构建多个待修复交通数据矩阵；S4、组建由全连接神经网络构成的生成对抗网络(GAN)，并基于博弈思想迭代训练生成器与对抗器；S5、引入一种动态自适应机制，自动识别生成对抗网络的最佳迭代次数，并利用待修复交通数据矩阵完成生成对抗网络的模型训练；S6、利用多种模型评价指标评估动态自适应生成对抗网络的修复性能。2.根据权利要求1所述的一种基于动态自适应生成对抗网络的交通数据修复方法，其特征在于，步骤S1中，采集的原始交通数据包括交通流量、速度或者密度。3.根据权利要求1所述的一种基于动态自适应生成对抗网络的交通数据修复方法，其特征在于，步骤S2具体如下：对原始交通数据进行预处理，按如下标准化公式完成不同数据量纲的统一：其中，为城市路网传感器检测的原始交通数据；为对应传感器观测值的最小值；为对应传感器观测值的最大值；为数据标准化后的原始交通数据；对于优化后的原始交通数据矩阵，通过可视化的方式绘制交通数据随时间变化的热力图，热力图中的0值颜色块和数值超过设定阈值的极大值颜色块的所在位置即是异常数据点位置；进一步通过设置交通数据的阈值，采用网格搜索法逐个对比交通数据与阈值的大小，锁定异常数据的坐标；求取锁定的异常数据的坐标的前后左右数据的均值以替代异常数据，或者直接删除采集锁定的异常数据的传感器所测量的所有数据，剩余的原始交通数据用于构成最终交通数据矩阵。4.根据权利要求3所述的一种基于动态自适应生成对抗网络的交通数据修复方法，其特征在于，步骤S3具体如下：采用表示城市路网的拓扑结构，构建最终交通数据矩阵其中，I和J分别表示布置在城市路网干道上的传感器数量与传感器测量的时间点数量；最终交通数据矩阵中，x
ij
表示第i个传感器在第j个时间点测量的交通数据；构建最终交通数据矩阵对应的掩码矩阵掩码矩阵中的元素表示交通数据矩阵中对应位置的元素是否缺失的标记值，表示如下：
其中，属于最终交通数据矩阵中被观察到的部分交通数据的集合，Ω属于该集合索引；部分交通数据的集合与最终交通数据矩阵还存在还存在的关系，符号代表矩阵间的哈达玛积。5.根据权利要求4所述的一种基于动态自适应生成对抗网络的交通数据修复方法，其特征在于，为了模拟自然环境下的数据缺失现象，人为设置掩码矩阵中0的比率和位置，具体如下：未缺失状况下的掩码矩阵中的数据全为1，缺失率为0；用0替代1表示数据的缺失，设置0的个数占掩码矩阵总个数的比率，该比率即为缺失率；对于随机缺失(RM)情况，掩码矩阵中用0替代1的过程是随机的，所生成的缺失值在最终交通数据矩阵中呈分散分布；而对于聚类缺失(CM)情况，掩码矩阵中0值的分布呈明显的连续分布，典型表现为同一个传感器在一段时间内发生故障，导致采集的交通数据值为0；最后，按照多种缺失比例和两种缺失类型构建多个待修复交通数据矩阵，并统一命名为6.根据权利要求1所述的一种基于动态自适应生成对抗网络的交通数据修复方法，其特征在于，步骤S4具体如下：设置生成对抗网络的生成器(G)和对抗器(D)，生成器(G)和对抗器(D)均为三层全连接神经网络，采用博弈思想迭代训练生成对抗网络模型，以填补步骤S3中的待修复交通数据矩阵；生成对抗网络模型被定义为如下的最大最小值博弈优化过程：其中，L
G
和L
D
分别代表生成对抗网络中生成器(G)的生成过程与对抗器(D)的对抗过...

【专利技术属性】
技术研发人员：李金龙，李若南，许伦辉，吴攀，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：