一种用于混合交通环境下的多车队协同控制方法、系统及模型技术方案

本发明专利技术公开了一种用于混合交通环境下的多车队协同控制方法、系统及模型，使用残差多尺度卷积神经网络，较大程度上解决了车流图像或视频中存在着严重的遮挡、视角的失真以及显著的密度变化等问题，引入的残差单元可以避免梯度消失或者梯度爆炸以及网络退化问题，且能够减少模型中的参数数量和计算复杂度，提高预测效率；使用中继节点实现多个车队之间的通信，提高了多车队间的通信效率，以便更好地管理和协调车队之间的行动；本发明专利技术仅基于软件层面的改变实现了混合交通环境下的多车队协同控制目标，不增加硬件成本，本发明专利技术将对象从人工驾驶车辆与智能网联车辆混合的单车队推广到混合交通环境下的多车队，更符合工程实际，具有更大的应用价值。具有更大的应用价值。具有更大的应用价值。

【技术实现步骤摘要】
一种用于混合交通环境下的多车队协同控制方法、系统及模型


[0001]本专利技术属于智能交通
，特别涉及了一种用于混合交通环境下的多车队协同控制方法、系统及模型。

技术介绍

[0002]近年来，发达的汽车工业为人类出行带来巨大便利的同时，也造成了能源消耗、交通事故、运输效率低等问题。车辆队列协同控制技术作为其中一种解决途径在近些年逐渐成为研究热点。
[0003]现有研究大多集中在完全网联交通环境，即车辆队列全部由网联自动驾驶车辆(CAV)组成，且研究对象大多都是单车队。通过车车通信获得车辆的运动状态信息，网联自动驾驶汽车可以协同驾驶，以缓解交通干扰产生的冲击波。然而，当前由以人工驾驶车辆(HDV)为主导的交通环境向完全自动驾驶交通环境过渡的过程中，必然存在着既有人工驾驶车辆又有网联自动驾驶车辆的混合交通环境。这里为了研究方便起见，将混合交通环境下的车辆类型和大小同质化，仅分成CAV和HDV两类，且定义HDV为没有通信能力的人工驾驶车辆。因此，可以将混合交通环境等效为由m个子队列组成的系统，其中，每个子队列均为两端是CAV、中间是HDVs组成的子系统。由于人类驾驶行为存在随机性，可能会降低混合交通环境中自动驾驶车辆在安全和机动方面的控制性能。目前已经有诸多混合交通环境下的车辆队列协同相关的控制技术来减轻人工驾驶车辆可能产生的负面影响，但是，由于HDV与CAV之间没有V2V通信，CAV无法得知HDV的数量及实时运动状态，因此大部分的研究都只考虑了自动驾驶车辆直接前车的影响，并没有将多个前车引起的干扰进行建模，这导致了交通震荡下的预测和实际车辆状态之间存在较大偏差而限制了队列的控制性能，从而降低整个混合交通流的行驶效率，增加安全隐患。因此，为了主动缓解人工驾驶车对混合交通环境可能产生的负面影响，提出了一种用于混合交通环境下的多车队协同控制方法及系统。

技术实现思路

[0004]本专利技术的目的在于提供一种用于混合交通环境下的多车队协同控制方法、系统及模型。旨在从宏观层面解决交通效率低、能源消耗高以及由于人工驾驶行为的随机性与异质性导致自动驾驶车辆控制效果较差的问题。
[0005]为实现上述目的，本专利技术提供了一种用于混合交通环境下的多车队协同控制方法及系统，所述混合交通环境下多车队由m个子队列组成，每个子队列由沿纵向排列行驶的n+1辆车组成，按照从前到后的顺序依次采用序号0到n进行编号，0号车和n号车为自动驾驶车辆，中间的1～n
‑
1号车为人工驾驶车辆；
[0006]其中，所述协同控制方法包括：
[0007]采集混合交通环境下的车流图片数据，然后进行预处理；
[0008]将预处理图片数据集按照子队列的个数划分为m块，使用残差多尺度神经网络
(RMsCNN)生成对应的数量估计密度图；
[0009]基于所述的数量估计密度图进行积分得到最终估计的每个子队列中人工驾驶车辆的数量n
‑
1；
[0010]采集混合交通环境下的车流视频数据，然后进行预处理；
[0011]利用多尺度特征提取和残差连接技术构建深度神经网络模型，将预处理的视频数据作为神经网络的输入，预测人工驾驶车辆在下一时间步长的状态，如速度、加速度、转向角等；
[0012]基于所述子队列中人工驾驶车辆数量估计以及运动学状态预测结果设计混合交通环境下多车队协同控制方法。其中，根据估计的人工驾驶车的数量选取可行的模型结构，运动学状态预测信息用于计算控制决策；
[0013]基于所述的多车队协同控制策略训练残差多尺度神经网络，然后选取评价指标测试神经网络的预测效果；基于多车队协同控制策略训练智能体，使其在与环境的不断交互中取得最大奖励。
[0014]其中，所述采集混合交通环境下的车流图片和视频数据的具体方式为：
[0015]下载Cityscapes Dataset，从数据集中选取不同场景、不同车流密度的数据。
[0016]其中，预处理Cityscapes Dataset中的图片数据的具体方式为：
[0017]将所有图像调整为相同的大小，以便可以被输入到模型中；
[0018]通过裁剪或填充来使其成为方形；
[0019]将像素值标准化为均值为0，标准差为1的分布；
[0020]抽取感兴趣区域便于后续模型训练。
[0021]其中，所述将预处理图片数据集按照子队列的个数划分为m块再生成对应的数量估计密度图的具体方式为：
[0022]利用自动化标注工具自动识别图像中的自动驾驶车并进行标注，根据标注结果划分为m个子队列；
[0023]使用残差多尺度神经网络将混合交通环境下的多个子队列图像标注转换为对应的数量估计密度图。
[0024]其中，预处理Cityscapes Dataset中视频数据的具体方式为：
[0025]选择OpenCV库读取视频文件；
[0026]裁剪视频以获得感兴趣区域，只保留机动车道区域；
[0027]调整视频帧的大小；
[0028]使用平均值和标准偏差对每个像素进行标准化处理，得到具有零均值和单位方差的分布；
[0029]将像素值归一化到0和1之间，作为神经网络的输入；
[0030]将视频序列转换为张量格式，便于神经网络处理。
[0031]其中，所述的残差多尺度神经网络是在尺度自适应卷积神经网络的基础上引入残差，整体的网络构架如图3所示，图中VGG16
‑
10表示经典VGG16模型的前十层,conv表示卷积层，deconv表示反卷积层(Deconvolutional Layer)，concat表示连接操作(Concatenate),residual表示残差学习单元，且MP表示最大池化层。
[0032]其中，所述基于子队列中人工驾驶车辆估计数量以及运动学状态预测结果设计混
合交通环境下多车队协同控制方法的具体方式为：
[0033]根据人工驾驶车辆的估计数量建立单车队的通信拓扑结构，由于CAV与HDV之间不能通信，因此利用V2V将每个子队列头车CAV的运动状态信息传递给尾车CAV；
[0034]建立多车队的通信拓扑结构，使用中继节点进行多个队列之间的通信，每个车队接收除自身外的其余m
‑
1个车队的宏观状态信号；
[0035]使用extended intelligent driver model(EIDM)引导的DDPG算法设计混合交通环境下的多车队协同控制器，通过接收车辆运动学预测状态计算可行的控制决策。
[0036]本专利技术的一种用于混合交通环境下的多车队协同控制系统，包括数据采集及预处理模块、人工驾驶车辆的数量估计模块、人工驾驶车辆下一时间步长的运动学状态预测模块、多车队协同控制模块；
[0037]所述数据采集及预处理模块能够实现所述的步骤1和步骤4的内容；
[0038]所述人工驾驶车辆的数量估计模块能够实现所述的步骤2、3的内容；...

【技术保护点】

【技术特征摘要】
1.一种用于混合交通环境下的多车队协同控制方法，其特征在于，包括：步骤1，采集混合交通环境下的车流图片数据集，然后进行预处理；步骤2，将步骤1预处理的图片数据集按照子队列的个数划分为m块，使用残差多尺度神经网络(RMsCNN)生成对应的数量估计密度图；步骤3，基于步骤2得到的密度图进行积分得到最终估计的每个子队列中人工驾驶车辆的数量n
‑
1；步骤4，采集混合交通环境下的车流视频数据集，然后进行预处理；步骤5，利用多尺度特征提取和残差连接技术构建深度神经网络模型，将步骤4预处理的视频数据作为神经网络的输入，预测人工驾驶车辆在下一时间步长的运动学状态，如速度、加速度、转向角；步骤6，基于步骤3所得的车辆数量估计和步骤5所得的运动学状态预测结果设计混合交通环境下多车队协同控制方法。2.根据权利要求1所述的一种用于混合交通环境下的多车队协同控制方法，其特征在于，所述步骤1的具体过程包括：从Cityscapes Dataset中选取不同场景、不同时间段和不同车流密度的图片数据，经图像调整、裁剪或填充、像素值标准化、抽取感兴趣区域等操作完成整个预处理过程；具体如下：选择740张图像作为车辆密度估计数据集，每张图像车辆数量从6～60不等，并将图像数据集按6∶4划分为训练集和测试集，训练集427张图像，测试集313张图像；将所有图像调整为相同的大小，通过裁剪或填充来使其成为方形；将像素值标准化为均值为0，标准差为1的分布。3.根据权利要求1所述的一种用于混合交通环境下的多车队协同控制方法，其特征在于，所述步骤2的具体过程如下：步骤2.1，利用自动化标注工具自动识别图像中的所有车辆并进行标注；具体如下：使用快速车辆建议网络(FVPN)实时精确定位图片上所有车辆。首先应用softmax损失层来预测车辆置信度，如式(1)，实现车辆与背景的二元分类，每个边界框由四个预测编码项组成，x,y,w和h，x和y分别表示车辆的左上位置坐标，w和h分别表示车辆尺寸的宽度和高度，将四个值归一化，且所有背景的四个值都设置为零，平滑的L1损失层用于边界框回归，以输出精细的坐标向量，如式(2)，最后，使用交叉熵损失L
know
指导从更深的网络中提取的N维向量的潜在数据驱动知识，如式(3)，采用多任务损失L
FVPN
，根据背景、边界框回归和从更深的网络学习潜在知识，共同优化车辆的二元分类，函数如式(4)所示：深的网络学习潜在知识，共同优化车辆的二元分类，函数如式(4)所示：深的网络学习潜在知识，共同优化车辆的二元分类，函数如式(4)所示：L
FVPN
(loc,p
bic
,p
know
)＝L
bic
(p
bic
)+αL
bbox
(loc)+βL
know
(p
know
)
ꢀꢀꢀ
(4)其中，P
c
表示置信度；表示车辆置信度；表示背景置信度；p
bic
表示车辆和背景的二元分类变量；p
know
表示向量驱动；分别表示i维向量的潜在数据驱动知识；
loc表示坐标向量；分别表示车辆的左上角在坐标系中的水平向量和垂直向量；分别表示车辆的宽度和高度向量；L
know
表示交叉熵损失；L
FVPN
表示多任务损失；L
bic
表示用于车辆和背景的二元分类的softmax损失；L
bbox
表示平滑损失；α、β均为加权值，且背景样本的α取0，车辆样本的α取0.5，β取固定值0.5；步骤2.2，使用残差多尺度神经网络识别自动驾驶车并进行特殊标注，然后根据标注结果划分为m个子队列，最后去除自动驾驶车将车辆图像标注转换为对应的数量估计密度图；具体的：按照序号为0和n的车为自动驾驶车，中间n
‑
1辆车为人工驾驶车的方式划分m个子队列，一张图像中的x
i
位置有一个人工驾驶车，将其表示为函数δ(x
‑
xi)，则一个标记有N个人工驾驶车的标注图像可以表示为式(5)所示的函数:使用高斯核函数将标注的中心点的像素值用其周围点像素值的加权平均代替，使模糊半径内的像素点的权值相加等于1，对于每一张图像i，将标注图像函数与高斯核G
σ
进行卷积，得到式(6)所示的密度:其中:为真实密度信息；σ为高斯协方差；H
i
(x)表示含有N个人工车的图像i的标注函数；G
σ
(x)表示高斯核函数；其中，残差多尺度卷积神经网络由前端特征提取网络、后端多尺度特征感知模块以及回归头组成；VGG16
‑
10表示经典VGG16模型的前十层,conv表示卷积层，deconv表示反卷积层(Deconvolutional Layer)，concat表示连接操作(Concatenate),residual表示残差学习单元，且MP表示最大池化层，VGG
‑
16网络由四个卷积层模块(conv1—conv4，共十个卷积层)和三个最大池化层组成；四个卷积层模块的卷积层个数分别为2、2、3和3，相邻卷积层模块中间有一个最大池化层，用来提取特征和减少参数，然而，由于池化层的存在，不同卷积层提取的特征图的分辨率往往不同，因此选用反卷积层来保证反卷积操作前后和池化操作前后的特征图具有相同的分辨率；为了和VGG16
‑
10得到的特征图进行连接，对conv6输出的特征图进行上采样，使得这些特征图与conv4输出的特征图具有相同的分辨率，使用反卷积层deconv对conv6输出的特征图进行上釆样，在conv5和conv6之间引入残差学习单元；后端由三个多尺度残差特征感知模块组成，该模块利用其多个尺度的感受野，提取更深层的语义信息，并通过密集连接的方式保存浅层的特征信息；最后通过一个密度回归头得到回归的密度，再进行八倍上采样，将密度图还原到原图分辨率，得到最终的预测密度图。4.根据权利要求1所述的一种用于混合交通环境下的多车队协同控制方法，其特征在于，所述步骤4的具体过程如下：从Cityscapes Dataset中选取不同场景、不同时间段和不同车流密度的视频数据，经读取、裁剪、标准化、归一化、序列化等操作完成整个预处理过程；具体地：选择OpenCV库读取视频文件，选择520张图像作为车辆状态预测数据集，每个视频序列车辆数量从6～60不等，并将图像数据集按6∶4划分为训练集和测试集，训练集312个序列，测试集208个序列，数据集按照场景分为高速公路和城市道路，按照时间段可分为白天和夜晚，按照车流密度可分为高峰期和低峰期；
裁剪视频以获得感兴趣区域，只保留机动车道区域；调整视频帧的大小；使用平均值和标准偏差对每个像素进行标准化处理，得到具有零均值和单位方差的分布；将像素值归一化到0和1之间；将视频序列转换为张量格式。5.根据权利要求1所述的一种用于混合交通环境下的多车队协同控制方法，其特征在于，所述步骤5的具体过程如下：步骤5.1，车辆状态提取与编码；使用多尺度残差特征感知模块提取人工驾驶车辆的运动状态，然后将车的速度、加速度和转向角三维状态联合进行一维编码，最终实现车辆状态之间的转移概率计算；设置速度、加速度和转向角取值区间，整个速度—加速度—转向角三维序列可被分成多个小隔间，每一个隔间内存在速度

【专利技术属性】
技术研发人员：蔡英凤，占丽丽，陈龙，董钊志，袁朝春，刘擎超，孙晓强，王海，
申请(专利权)人：江苏大学，
类型：发明
国别省市：