【技术实现步骤摘要】
本专利技术属于智能交通与深度强化学习的交叉领域，涉及一种数据缺失下的多交叉口图深度强化学习信号灯控制方法。
技术介绍
1、随着城市化水平的快速提升，车辆保有量不断增加，交通拥堵已经成为城市急需解决的问题。多交叉路口的通行效率影响着城市交通的拥堵问题，而多交叉路口高效的通行效率依赖于高效可靠信号灯控制。因此，多交叉口的信号灯控制对缓解交通拥堵有着重大影响。
2、现阶段的传统交叉口信号灯控制的方法主要有固定配时、最大压力控制等，该类无法有效适应动态的交通变化从而做出实时高效信号灯控制。随着神经网络和强化学习的发展，基于深度强化学习(drl)的方法逐渐应用于信号灯控制，该类方法能够适应实时变化的道路交通状态，提升交叉口的通行效率，但是目前大多数基于drl的多交叉口信号灯控制方法对每个信号灯都采用离散控制，无法和其他信号灯智能体进行有效的信息交互和表征，对整个路网的运行效率提升有限。基于drl的多交叉口信号灯控制十分依赖于准确实时的道路交通状态信息，缺失的交通状态信息会导致智能体决策错误。由于传感器损坏，数据传输故障等原因，存在实时道路交通状态信息缺失的情况。
技术实现思路
1、为了克服现有多交叉口信号灯控制方法在效率和鲁棒性上的不足，本专利技术提供了一种数据缺失下的多交叉口图深度强化学习信号灯控制方法，以实现对缺失的智能体交通状态进行修复，对多智能体信息进行有效交互和表征，实现数据缺失下的多交叉口信号灯的有效控制，提升多交叉口通行效率。
2、本专利技术解决其技术问
3、一种数据缺失下的多交叉口图深度强化学习信号灯控制方法，包括以下步骤：
4、步骤1：基于sumo仿真平台搭建多交叉口信号灯控制场景，将每个交通信号灯定义为一个智能体，利用sumo观测获取多交叉口场景交通路网数据，定义智能体的状态空间；
5、步骤2：基于状态空间，构建掩膜矩阵模拟多交叉口的交通状态缺失情况，并生成含有缺失数据的交通状态矩阵；
6、步骤3：构建生成对抗网络wgan，基于全连接神经网络构建生成器和判别器，实现智能体状态空间的修复；
7、步骤4：构建智能体状态图神经网络，基于两阶段注意力网络构建多智能体间动态交互图，基于graphsage聚合提取多智能体状态空间特征，并构建映射决策q值网络输出q值；
8、步骤5：基于交叉口信号灯可选择相位构建智能体动作空间，基于路口等待时间构建智能体奖励函数；
9、步骤6：基于ε-贪婪策略，经验回放池，和估计-目标网络进行整体模型训练，测试模型在多交叉路口的控制效率。
10、本专利技术的技术构思为：首先，针对交通状态缺失时，利用生成对抗网络实现智能体状态空间的修复；其次，根据两阶段注意力构建智能体间的动态交互图，根据graphsage实现状态空间的有效聚合和特征提取，根据映射决策网络输出q值；再次，根据智能体状态空间、动作空间、奖励函数构建多智能体信号灯控制器；最后，基于q值输出信号灯相位动作，实现多交叉口信号灯的有效控制。
11、本专利技术的有益效果为：利用生成对抗网络解决多交叉路口交通状态缺失的问题；利用两阶段注意力网络构建多交叉路口的动态图关系，提升多智能体间的交互效率；利用graphsage聚合智能体状态空间，实现状态特征的有效聚合；利用图深度强化学习实现多交叉口信号灯的有效控制。本专利技术提出了一种数据缺失下的多交叉口图深度强化学习信号灯控制方法，可以提升多交叉路口交通信号灯的控制效率，减少多交叉路口的车辆等待时间和等待长度，提升车辆通行效率，并且在交通状态缺失的情况下仍然适用。
本文档来自技高网...【技术保护点】
1.一种数据缺失下的多交叉口图深度强化学习信号灯控制方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的数据缺失下的多交叉口图深度强化学习信号灯控制方法，其特征在于，所述步骤1的过程如下：
3.如权利要求1或2所述的数据缺失下的多交叉口图深度强化学习信号灯控制方法，其特征在于，所述步骤2的过程如下：
4.如权利要求1或2所述的数据缺失下的多交叉口图深度强化学习信号灯控制方法，其特征在于，所述步骤3的过程如下：
5.如权利要求1或2所述的数据缺失下的多交叉口图深度强化学习信号灯控制方法，其特征在于，所述步骤4的过程如下：
6.如权利要求1或2所述的数据缺失下的多交叉口图深度强化学习信号灯控制方法，其特征在于，所述步骤5的过程如下：
7.如权利要求1或2所述的数据缺失下的多交叉口图深度强化学习信号灯控制方法，其特征在于，所述步骤6的过程如下：
【技术特征摘要】
1.一种数据缺失下的多交叉口图深度强化学习信号灯控制方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的数据缺失下的多交叉口图深度强化学习信号灯控制方法，其特征在于，所述步骤1的过程如下：
3.如权利要求1或2所述的数据缺失下的多交叉口图深度强化学习信号灯控制方法，其特征在于，所述步骤2的过程如下：
4.如权利要求1或2所述的数据缺失下的多交叉口图深度强化学习信号灯...
【专利技术属性】
技术研发人员：徐东伟，余泽锋，廖祥旺，郭海锋，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。