【技术实现步骤摘要】
本专利技术提供一种适应铁路货运瓶颈节点的车流调配优化方法，属于铁路装车端空车调配。
技术介绍
1、在铁路货物运输中，重车在卸车端进行卸车作业，卸后产生的空车将运输至装车端进行装车。我国铁路装车端的空车调配主要采用经验方法，依据装车端的装车需求，按照由远及近的原则均衡调配空车至装车站。此方法虽然能够较好满足距分界口较远站点的装车需求，但也可能导致部分车站所需空车无法在合适的时段送达，从而影响装车计划的实施。合理配置空车资源可以提高装车计划兑现率以提升铁路运输企业的运输效率。
2、在空车调配优化问题求解方法上，分别有：单纯形法、表上作业法、启发式算法等。上述文献大多借鉴运输问题(tp)的建模过程，将空车调配问题转换为在约束条件下最小化(最大化)目标函数的优化问题。由于决策空间是有限的，所以直观上可以通过穷举法得到问题的最优解，但通常可行解的数量随路网规模成指数级增长，无法在多项式时间内求得可行解。启发式算法利用设定的启发式规则提高了对解空间搜索的效率，如模拟退火算法、粒子群算法[5]和遗传算法等，但是一旦问题发生变化，如约束条件和目标函数发生变化或问题规模增大时，就需要修改启发式规则，而强化学习方法可以通过智能体与环境交互自动发现启发式规则，算法所需的改动更少。
3、铁路装车端空车调配背景介绍：
4、在铁路运输中列车运行方式较为单一，且车底一般为循环运输方式：即在卸车端完成卸车并返回至装车端装车后再由装车端送至卸车端，其运行示意图如图1。
5、装车端接入的空车类型有两类：①5000吨的
6、现有技术，基于非支配排序遗传算法(nsgz-ⅱ)的求解方法(徐禾颖,吕红霞,吕苗苗等.重载铁路装车端空车调配优化研究[j].交通运输系统工程与信息,2023,23(01):141-151.)，通过对铁路装车端空车调配场景建模，并设置目标函数、约束条件和解的支配关系，使用nsgz-ⅱ算法求解。
7、具体如下：
8、1.使用数学符号对铁路装车端空车调配问题进行建模，包括定义约束条件和目标函数。将铁路装车端空车调配问题建模为组合优化问题。
9、2.定义nsgz-ⅱ算法解的编码形式，nsgz-ⅱ算法的解代表一种铁路装车端空车调配方案，nsgz-ⅱ算法的最优解代表最大化目标函数的解。若有多个目标函数，需要定义目标函数的重要度，并根据重要度定义解的支配关系。
10、3.定义nsgz-ⅱ算法的交叉和变异操作，交叉操作旨在对两个解不同或相同位置的数据进行交换，变异操作旨在对解随机位置的数据进行更改。
11、最后nsgz-ⅱ算法的流程为：
12、step1设置算法参数：种群规模psize、迭代次数nmax、交叉概率控制参数α、变异概率参数β，初始化迭代次数n为0。
13、step2随机生成psize个初始可行解。
14、step3对初始种群进行非支配排序及选择、交叉、变异操作，生成第1代子群，n＝n+1。
15、step4将父代与子代种群合并，进行快速非支配排序，并计算个体的拥挤度。
16、step5通过二元锦标赛的方式生成新的父代种群。
17、step6对新生成的父代种群进行选择、交叉及变异操作，生成新的子代种群。
18、step7 n＝n+1
19、step8判断n＞nmax是否满足，若满足，输出结果，若不满足转step4。
20、该技术存在的缺点：
21、1.现有技术一使用遗传算法求解，在交叉变异操作时容易出现新产生的解不满足约束条件的情况，交叉变异操作对解进行优化的效率较低。
22、2.当需要修改或增加约束条件和目标函数时，算法所需的改动较多，且实际的空车调配作业场景中有些约束条件用数学符号进行表示较为繁琐。
技术实现思路
1、本专利技术提出一种基于dqn的铁路装车端空车调配方法，完成已知某一时段装车端各装车站空车需求信息和接入空车信息的空车调配功能。
2、本专利技术所要解决的技术问题：
3、1.专利技术目的：以铁路装车端空车调配场景为研究对象，将空车调配过程建模为马尔可夫决策过程，并采用强化学习算法中的dqn算法进行求解，与传统的启发式方法进行对比，发现dqn算法的求解过程更为直观和贴合实际，并且较好地迁移到其他算例当中。
4、2.通过设置奖励函数，解决现有技术一存在的表达约束条件和目标函数较为繁琐的问题。dqn算法可以设置奖励函数对违反约束条件的空车调配策略进行惩罚和对有助于最大化目标函数的空车调配策略进行奖励，奖励函数的设置符合人类直觉经验并且较为简单。
5、3.解决了传统启发式方法在修改目标函数或约束条件，算法改动较多的问题，dqn算法只需简单对奖励函数进行修改，修改过程更为简单、方便。
6、本专利技术具体的术方案：
7、一种适应铁路货运瓶颈节点的车流调配优化方法，包括以下过程：
8、通过装车站空车需求信息、来分界口接入空车信息和装车端线路和技术站的参数信息，利用dqn算法，求解出优选的空车调配方案：当分界口接入一列空车时，安排它去满足某个装车站的某个装车需求。求解时段内有许多空车列从分界口接入，时间上是依次接入的，不存在同一时刻有两列及以上的列车从分界口接入，求解时段内也有许多装车站的装车需求。dqn算法安排求解时段内所有的接入空车列，目标函数和约束条件评价空车调配策略的优劣，最后dqn算法找出一条优选的空车调配策略。
9、其中：
10、车站空车需求信息包括：该装车站需求空车的时间窗，空车的类型，空车的车型；
11、未来分界口接入空车信息包括：空车接入分界口的时刻，空车的类型，空车的车型；
12、装车端线路和技术站的参数信息包括：求解时段内装车端路网内各个区间的列车通过能力；装车端各个技术站的列车组合能力和分解能力；装车站的装车时间；技术站分解作业时间；列车在区间的运行时间。
13、其中，目标函数和约束条件，具体包括：区间列车的通过次数不能超过区间的列车通过能力，技术站的列车组合和分解次数不能超过该技术站的组合和分解能力。
14本文档来自技高网...
【技术保护点】
1.一种适应铁路货运瓶颈节点的车流调配优化方法，其特征在于，包括以下过程：
2.根据权利要求1所述的一种适应铁路货运瓶颈节点的车流调配优化方法，其特征在于：
3.根据权利要求1所述的一种适应铁路货运瓶颈节点的车流调配优化方法，其特征在于：所述的目标函数和约束条件，具体包括：区间列车的通过次数不能超过区间的列车通过能力，技术站的列车组合和分解次数不能超过该技术站的组合和分解能力；
4.根据权利要求1所述的一种适应铁路货运瓶颈节点的车流调配优化方法，其特征在于：所述的DQN算法找出一条优选的空车调配策略，具体为，设计DQN算法，求解出满足约束条件并优化上述三个目标函数的空车调配策略；
5.根据权利要求4所述的一种适应铁路货运瓶颈节点的车流调配优化方法，其特征在于：强化学习装车端空车调配的环境状态定义、智能体动作定义和奖励函数设置如下：
6.根据权利要求1所述的一种适应铁路货运瓶颈节点的车流调配优化方法，其特征在于：DQN算法中的神经网络作为智能体，利用经验回放池中的数据进行训练；神经网络的输入是环境的当前状态st，输出为下一
...【技术特征摘要】
1.一种适应铁路货运瓶颈节点的车流调配优化方法，其特征在于，包括以下过程：
2.根据权利要求1所述的一种适应铁路货运瓶颈节点的车流调配优化方法，其特征在于：
3.根据权利要求1所述的一种适应铁路货运瓶颈节点的车流调配优化方法，其特征在于：所述的目标函数和约束条件，具体包括：区间列车的通过次数不能超过区间的列车通过能力，技术站的列车组合和分解次数不能超过该技术站的组合和分解能力；
4.根据权利要求1所述的一种适应铁路货运瓶颈节点的车流调配优化方法，其特征在于：所述的dqn算法找出一条优选的空车调配策略，具体...
【专利技术属性】
技术研发人员：马亮，张亚东，杨扬，陶淑美，王蒙蒙，胡宸瀚，阳勇杰，
申请(专利权)人：中国国家铁路集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。