【技术实现步骤摘要】
本专利技术涉及十字路口灯塔轨迹规划领域，更具体地说，本专利技术涉及一种基于深度强化学习的十字路口灯塔轨迹规划方法。
技术介绍
1、在自动驾驶领域，十字路口是复杂的交叉场景之一，涉及车辆的路径规划和决策制定。传统的十字路口规划方法通常依赖于预定义的规则和规定的交通信号，但这些方法可能无法适应各种复杂和动态的交通状况。在十字路口经常会出现各种复杂交通问题，自动驾驶汽车自身很难快速顺利的通过，在路口接管率高，容易造成相互车辆之间的博弈行为。
技术实现思路
1、为了克服现有技术的上述缺陷，本专利技术的实施例提供一种基于深度强化学习的十字路口灯塔轨迹规划方法，通过灯塔协同，基于深度强化学习算法协同规划技术，从自动驾驶领域扩展到协同驾驶领域，通过灯塔的全场景无死角的感知能力，配合对整个十字路口交通流的协同，能够极大的提高整体交通通行的速度，为智能网联自动驾驶车辆更加灵活、智能地应对复杂的十字路口情境，本专利技术为应用于复杂道路场景下道路车辆引导，在灯塔可控制范围内对智能网联车辆进行编队，并通过规划算法对编队车辆进行轨迹规划，达到快速通过复杂路口的方法。
2、为实现上述目的，本专利技术提供如下技术方案：一种基于深度强化学习的十字路口灯塔轨迹规划方法，所述步骤如下：
3、步骤一：建立十字路口通信模块，保持十字路口通信范围内网络连接稳定，进入通信区域的车辆加入进入区域车辆集合中，开始向灯塔传输信息；
4、步骤二：灯塔获取车辆静态信息和动态行驶数据；
5
6、步骤三：黄灯亮时，未跳过终止线的车辆不得通行，故在建立车速引导模型时，将黄灯情况下的情况与红灯下的情况相同；
7、在车辆车速引导过程中，车速的变化主要来自于车辆的加速度变化，假设系统信息处理频率为f(1hz)，对车辆引导时，车辆的推荐速vnext就可以表示为vnext＝vcurrent+a/f，若系统计算得到的加速度a可取的值为一定区间内的值时，系统会选取区间中值作为最优加速度；
8、步骤四：灯塔对路口各车道实行编队协同规划，以编队左转为例，对编队内的车辆相互间距通过协同驾驶编队线性跟驰模型进行保持；
9、步骤五：利用灯塔的大视野保证编队行驶的间距后，灯塔对编队进行左转轨迹规划，采用ddpg深度强化学习算法，在连续动作空间中计算编队行驶轨迹进行规划；
10、步骤六：基于灯塔每隔δt秒对十字路口交通状态进行采集，初始化深度强化学习算法ddpg中actor和critic网络，以交通路口各车辆行驶位置与信号灯状态作为actor神经网络的输入；
11、步骤七：通过灯塔与信号灯之间的相互信息传输，灯塔控制器计算出每个相位的最佳时间，灯塔快速对编队车辆进行轨迹规划，以保证车辆之间能相互快速通过十字路口；
12、步骤八：设计人工势场奖励函数，将获得的奖励函数与深度强化学习算法ddpg奖励函数进行结合，获得总奖励，完成该过程后，对应通过critic神经网络输出关于信号灯相位与对车辆编队的轨迹；
13、步骤九：当编队车辆进入另一灯塔控制区域，灯塔间相互移交灯塔控制权；
14、步骤十：编队在灯塔的规划下进入下一阶段的内容，完成规划任务，编队车辆离开通信区域；
15、步骤十一：离开通信区域的车辆从灯塔车辆集中删除，灯塔自动清除所有相关车辆数据，灯塔继续对其它进入通信区域车辆进行轨迹规划任务。
16、进一步的，所述步骤二中的车辆静态信息具体为车辆的车牌号、obu终端编号、车辆型号。
17、进一步的，所述步骤二中动态行驶数据包括车辆的瞬时速度、加速度、行驶方向、即将采取的动作。
18、进一步的，所述步骤二中灯塔获取车辆静态信息和动态行驶数据使用通用数据交换格式，上传频率为1hz。
19、进一步的，所述步骤四中具体模型如下所示：
20、s(t)＝xn(t)-xn+1(t)＝d1+d2+l-d3
21、d1＝un+1(t)t＝un+1(t+t)t＝xn+1(t+t)t
22、其中，xi(t)为第i辆车在时刻t的位置；s(t)为两车在时刻t的间距；d1为后车在反应时间t内行驶的距离；d2为后车在减速期间行驶的距离；d3为前车在减速期间行驶的距离；l为停车后的车头间距。
23、进一步的，所述步骤四中通信区域内不考虑不同道路类型与天气状况因素造成的网络延迟影响，定义此区域内通信状态都达到最优情况。
24、进一步的，所述设计人工势场奖励函数包括目标引力、障碍物斥力、车道引力。
25、本专利技术的技术效果和优点：
26、本专利技术通过灯塔协同，基于深度强化学习算法协同规划技术，从自动驾驶领域扩展到协同驾驶领域，通过灯塔的全场景无死角的感知能力，配合对整个十字路口交通流的协同，能够极大的提高整体交通通行的速度，为智能网联自动驾驶车辆更加灵活、智能地应对复杂的十字路口情境，本专利技术为应用于复杂道路场景下道路车辆引导，在灯塔可控制范围内对智能网联车辆进行编队，并通过规划算法对编队车辆进行轨迹规划，达到快速通过复杂路口的方法。
本文档来自技高网...【技术保护点】
1.一种基于深度强化学习的十字路口灯塔轨迹规划方法，其特征在于，所述步骤如下：
2.根据权利要求1所述的一种基于深度强化学习的十字路口灯塔轨迹规划方法，其特征在于：所述步骤二中的车辆静态信息具体为车辆的车牌号、OBU终端编号、车辆型号。
3.根据权利要求1所述的一种基于深度强化学习的十字路口灯塔轨迹规划方法，其特征在于：所述步骤二中动态行驶数据包括车辆的瞬时速度、加速度、行驶方向、即将采取的动作。
4.根据权利要求1所述的一种基于深度强化学习的十字路口灯塔轨迹规划方法，其特征在于：所述步骤二中灯塔获取车辆静态信息和动态行驶数据使用通用数据交换格式，上传频率为1Hz。
5.根据权利要求1所述的一种基于深度强化学习的十字路口灯塔轨迹规划方法，其特征在于：所述步骤四中具体模型如下所示：
6.根据权利要求1所述的一种基于深度强化学习的十字路口灯塔轨迹规划方法，其特征在于：所述步骤四中通信区域内不考虑不同道路类型与天气状况因素造成的网络延迟影响，定义此区域内通信状态都达到最优情况。
7.根据权利要求1所述的一种基于深度
...【技术特征摘要】
1.一种基于深度强化学习的十字路口灯塔轨迹规划方法，其特征在于，所述步骤如下：
2.根据权利要求1所述的一种基于深度强化学习的十字路口灯塔轨迹规划方法，其特征在于：所述步骤二中的车辆静态信息具体为车辆的车牌号、obu终端编号、车辆型号。
3.根据权利要求1所述的一种基于深度强化学习的十字路口灯塔轨迹规划方法，其特征在于：所述步骤二中动态行驶数据包括车辆的瞬时速度、加速度、行驶方向、即将采取的动作。
4.根据权利要求1所述的一种基于深度强化学习的十字路口灯塔轨迹规划方法，其特征在于：所述步骤二中灯塔获取车辆静态信...
【专利技术属性】
技术研发人员：李伯琪，张伟伟，陈江，徐杰杰，曹静，陈洋，余王鹏飞，郭文锋，高宽，李骏，
申请(专利权)人：上海智能汽车融合创新中心有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。