本发明专利技术提供基于强化学习的高速铁路列车运行图冲突智能消解方法，属于铁路运输和运筹优化技术领域，该方法包括：获取铁路运行图数据和铁路冲突事件；基于铁路运行图数据构建高速铁路列车运行图冲突消解模型；利用铁路运行图数据和铁路冲突事件对高速铁路列车运行图冲突消解模型进行训练，得到训练完成的高速铁路列车运行图冲突消解模型；将待处理的铁路冲突事件导入训练完成的高速铁路列车运行图冲突消解模型中，得到针对铁路冲突事件的铁路冲突消解方案。构建出一个可与强化学习交互的铁路运行图基础模型，对铁路可能遇到的不同类型的冲突设计简单算子集和复杂算子集，实现启发式算法作为基线算法，完成了高速铁路列车运行图冲突智能消解。
1、铁路运行图是铁路运输的基础，它直接影响铁路运输的效率。通常，编制一张优质且无冲突的铁路运行图需要约两三百人投入一个月的时间，这是一个既繁琐又耗时的任务。由于获得最优的铁路运行图是一个np-hard问题，现有的所有方法都只能通过启发式算法来尽可能接近最优解。目前，国内在铁路运行图编制领域的研究还不够充分，常用的方法是数学规划、启发式算法或者二者的结合来寻找可行解。具体地，例如将铁路运行图编制问题建模为多目标规划问题，利用ε- 约束方法得到该问题的pareto frontier；或者利用分层优化策略的协同进化蚁群算法求解铁路运行图编制问题；还可以采用时间循环迭代法、对偶算法、最小平移时间法则、平移作业时间等方法来消解图面冲突、优化图面。然而，面对如京沪高铁这样的复杂繁忙干线通道型案例，这些算法仍然难以胜任。因此，目前的优化算法存在以下问题：1. 传统优化算法难以处理大规模非线性的组合优化问题，无法满足铁路调度的实时性需求；2. 铁路运行图的变量空间巨大，面对组合爆炸问题，无法在短时间内找到满意的解决方案；3. 这类启发式算法存在一定的缺陷，可能会陷入局部最优的情况。此外，近期强化学习方法开始在列车时刻表调整中崭露头角，但大多仅基于q-learning算法。即便采用ppo算法，其采用的动作算子也相对简单，抽象程度低，对运行图冲突的针对性较差,不利于运行图的高效调整。
>1、本专利技术提供基于强化学习的高速铁路列车运行图冲突智能消解方法，用以解决现有技术中难以处理大规模非线性的组合优化问题，无法满足铁路调度的实时性需求等问题。2、本专利技术提供基于强化学习的高速铁路列车运行图冲突智能消解方法，包括如下步骤。
3、获取铁路运行图数据和铁路冲突事件；
4、基于所述铁路运行图数据构建高速铁路列车运行图冲突消解模型；
5、利用所述铁路运行图数据和所述铁路冲突事件对所述高速铁路列车运行图冲突消解模型进行训练，得到训练完成的高速铁路列车运行图冲突消解模型；
6、将待处理的铁路冲突事件导入所述训练完成的高速铁路列车运行图冲突消解模型中，得到铁路冲突事件的铁路冲突消解方案。
7、根据本专利技术提供的基于强化学习的高速铁路列车运行图冲突智能消解方法，所述基于所述铁路运行图数据构建高速铁路列车运行图冲突消解模型，包括：
8、预设列车三类基础动作，在所述三类基础动作上引出算子集以及复杂冲突算子集，在基础模型上进行封装处理，进行数学建模，获得所述高速铁路列车运行图冲突消解模型。
9、根据本专利技术提供的基于强化学习的高速铁路列车运行图冲突智能消解方法，所述基于所述铁路运行图数据构建高速铁路列车运行图冲突消解模型前，包括：
10、对所述铁路运行图数据和铁路冲突事件进行预处理，得到预处理数据；
11、基于所述预处理数据对铁路不同类型冲突构建简单算子集和复杂算子集。
12、根据本专利技术提供的基于强化学习的高速铁路列车运行图冲突智能消解方法，所述利用所述铁路运行图数据和所述铁路冲突事件对所述高速铁路列车运行图冲突消解模型进行训练，包括：
13、基于铁路运行图中列车的三类事件，获取标准运行时间、最大慢行时间单位和最大慢行时间；
14、将所述标准运行时间、所述最大慢行时间单位和所述最大慢行时间利用预设关系进行第一限定；
15、基于预设条件将不同作业时间间隔进行第二限定；
16、基于强化学习算法，利用所述第一限定、所述第二限定、所述简单算子集和所述复杂算子集对所述高速铁路列车运行图冲突消解模型进行训练，得到训练完成的高速铁路列车运行图冲突消解模型。
17、根据本专利技术提供的基于强化学习的高速铁路列车运行图冲突智能消解方法，所述第一限定公式为：
18、
19、其中，为列车从站到站的标准运行时间，为列车标准运行时间内的最大慢行时间单位，为列车实际运行时间；
20、所述第二限定公式为：
21、
22、其中，和为预设变量，其中为火车与车站之间的时间间隔约束，为列车和列车不同作业时间间隔。
23、根据本专利技术提供的基于强化学习的高速铁路列车运行图冲突智能消解方法，还包括：
24、统计停站类冲突个数、运行时间类冲突个数、间隔类冲突个数和超车类冲突个数，获得铁路运行图全图冲突个数；
25、基于np-hard 的组合优化，将所述全图冲突个数作为所述高速铁路列车运行图冲突消解模型的目标函数。
26、根据本专利技术提供的基于强化学习的高速铁路列车运行图冲突智能消解方法，还包括：
27、采用启发式算法采集样本，对所述高速铁路列车运行图冲突消解模型进行预训练，利用强化学习对所述高速铁路列车运行图冲突消解模型互进行自探索训练，并对采样时的动作概率加入熵。
28、本专利技术还提供基于强化学习的高速铁路列车运行图冲突智能消解装置，包括如下模块：
29、数据获取模块，获取铁路运行图数据和铁路冲突事件；
30、模型构建模块，基于所述铁路运行图数据构建高速铁路列车运行图冲突消解模型；
31、模型训练模块，利用所述铁路运行图数据和所述铁路冲突事件对所述高速铁路列车运行图冲突消解模型进行训练，得到训练完成的高速铁路列车运行图冲突消解模型；
32、预测模块，将待处理的铁路冲突事件导入所述训练完成的高速铁路列车运行图冲突消解模型中，得到铁路冲突事件的铁路冲突消解方案。
33、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述方法。
34、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述方法。
35、本专利技术提供的基于强化学习的高速铁路列车运行图冲突智能消解方法，通过构建铁路运行图编制的数学优化问题，基于这个优化问题构建铁路运行图的环境，并设计相应的强化学习算法，在这个环境中训练该算法，以解决铁路运行图冲突的动态优化问题。对数据进行预处理，构建出一个可与强化学习交互的铁路运行图基础模型，对铁路可能遇到的不同类型的冲突设计相应的简单算子集和复杂算子集，作为后续强化学习算法的动作，以便针对性地选取算子消解对应冲突。在该算子集的基础上，提出强化学习算法来消解冲突，实现了启发式算法作为基线算法。
本文档来自技高网...
【技术保护点】
1.一种基于强化学习的高速铁路列车运行图冲突智能消解方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于强化学习的高速铁路列车运行图冲突智能消解方法，其特征在于，所述基于所述铁路运行图数据构建高速铁路列车运行图冲突消解模型，包括：
3.根据权利要求1所述的基于强化学习的高速铁路列车运行图冲突智能消解方法，其特征在于，所述基于所述铁路运行图数据构建高速铁路列车运行图冲突消解模型前，包括：
4.根据权利要求3所述的基于强化学习的高速铁路列车运行图冲突智能消解方法，其特征在于，所述利用所述铁路运行图数据和所述铁路冲突事件对所述高速铁路列车运行图冲突消解模型进行训练，包括：
5.根据权利要求4所述的基于强化学习的高速铁路列车运行图冲突智能消解方法，其特征在于，所述第一限定公式为：
6.根据权利要求4所述的基于强化学习的高速铁路列车运行图冲突智能消解方法，其特征在于，还包括：
7.根据权利要求4所述的基于强化学习的高速铁路列车运行图冲突智能消解方法，其特征在于，还包括：
8.一种基于强化学习的高速铁路列车运行图冲突智能消解装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法。
...
【技术特征摘要】
1.一种基于强化学习的高速铁路列车运行图冲突智能消解方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于强化学习的高速铁路列车运行图冲突智能消解方法，其特征在于，所述基于所述铁路运行图数据构建高速铁路列车运行图冲突消解模型，包括：
3.根据权利要求1所述的基于强化学习的高速铁路列车运行图冲突智能消解方法，其特征在于，所述基于所述铁路运行图数据构建高速铁路列车运行图冲突消解模型前，包括：
4.根据权利要求3所述的基于强化学习的高速铁路列车运行图冲突智能消解方法，其特征在于，所述利用所述铁路运行图数据和所述铁路冲突事件对所述高速铁路列车运行图冲突消解模型进行训练，包括：
5.根据权利要求4所述的基于强化学习的高速铁路列车运行图...
【专利技术属性】
技术研发人员：杨宁，李博，郭一唯，张海峰，姜纪文，张新，曾勇程，范家铭，周进，戎亚萍，王宇强，薛佳荣，田方晓，周政铎，刘琳玥，贺俊源，李靖，刘明玮，王岩，韩睿昊，韦君仁，刘晓欢，周培宇，陈昂扬，
申请(专利权)人：中国国家铁路集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。