【技术实现步骤摘要】
本专利技术涉及智能制造与智能调度领域，具体涉及一种基于深度强化学习的柔性作业车间调度方法。
技术介绍
1、在当今全球经济竞争日益激烈的环境下，制造业正经历着深刻的变革。随着信息技术的飞速发展，特别是大数据、人工智能、物联网等前沿技术的不断涌现，工业智能制造已成为制造业转型升级的重要方向。过去，传统的制造业主要依赖人工操作和经验决策，生产效率低下，产品质量不稳定，难以满足市场快速变化的需求。而工业智能制造通过将先进的信息技术与制造业深度融合，实现了生产过程的自动化、数字化和智能化。
2、我国政府出台了一系列政策，鼓励和支持工业智能化的发展。在工业智能制造的体系中，智能调度起着至关重要的作用。有效的智能调度能够优化生产资源的配置，提高设备利用率，减少生产周期，降低生产成本，从而提升企业的竞争力。然而，目前我国制造业在智能调度方面仍面临诸多挑战。
3、柔性作业车间调度是现代生产管理中的一个重要研究领域，它旨在优化生产过程中的资源分配和作业顺序，以提高生产效率、降低成本和满足客户需求。在传统的作业车间调度中，机器和工序的对应关系通常是固定的。然而，柔性作业车间调度引入了更多的灵活性。机器不再被严格限定于特定的工序，而是可以处理多种不同的工序，这大大增加了调度的可能性和复杂性。柔性作业车间调度的目标通常包括最小化生产周期、最小化生产成本、最大化设备利用率等。为了实现这些目标，需要综合考虑多种因素，如工件的加工顺序、机器的可用时间、不同工序的加工时间、运输时间等。
4、近年来，深度强化学习在柔性作业车间调
5、现阶段，提高处理机器和操作之间的重要特征和关系的能力十分重要，而更高效的计算方式和更精确的特征提取方法可以使网络能够更好地应对大规模和高维度的数据，优化后的网络在性能上可能会有提升，能够更好地处理时间序列，在计算资源的利用上更加高效。减少训练时间和计算成本，使得在资源有限的情况下也能进行有效的模型训练和部署。同时，增强网络的泛化能力，使其不仅在特定的训练数据集上表现出色，还能在新的、未曾见过的数据上保持良好的性能，从而增加网络的适用性和实用性。因此，研究基于深度强化学习的柔性作业车间调度新方法具有重要意义。
技术实现思路
1、本专利技术的目的在于提供一种基于深度强化学习的柔性作业车间调度方法，可以利用其特定的架构和训练方式，更好地捕获数据中复杂模式和关系，从而提高模型的性能和泛化能力。
2、为实现上述目的，本专利技术采用的技术方案是：
3、一种基于深度强化学习的柔性作业车间调度方法，包括以下步骤：
4、s1、以作业最大完成时间最小化和平均机器利用率最大化为优化目标，得到目标模型；
5、s2、利用析取图模型对柔性作业车间调度问题进行表示，得到调度状态；
6、s3、根据调度状态和目标模型，构建端到端学习框架，该框架结合用于深度特征提取的多重注意力网络和可扩展决策的决策网络，利用马尔可夫决策过程，得到作业调度模型；所述多重注意力网络包括相互连接的agv信息注意力块、操作信息注意力块和机器信息注意力块，所述决策网络以深度强化学习的方式训练；
7、s4、多重注意力网络利用操作、agv和机器之间的复杂关系构建生产适应性操作-agv-机器方案，以支持决策网络的决策，利用作业调度模型，得到调度计划表，完成柔性作业车间调度。
8、本专利技术的有益效果为：本方法基于深度强化学习与图注意力网络，在柔性作业车间调度中做出最优决策；本方法可根据需求灵活地选择优化目标，并通过智能体间的协作来实现目标的实时优化，在满足市场需求的同时，还能进一步提高生产效率，解决大规模的车间调度任务。
9、进一步地，所述步骤s1中目标模型的表达式为：
10、
11、式中，fjspmod为目标模型；minimize为最小化函数；makespan为第i个作业完成所有操作的最大完工时间；max为最大化函数；为第i个作业完成所有操作的时间；i为作业编号；n为作业数量；ni为第i个作业的总操作数；uave为平均机器利用率；m为机器数量；k为机器编号；j为第i个作业的操作编号；tijk为第i个作业的第j个操作在第k个机器的加工时间；xijk为第i个作业的第j个操作是否可以在第k个机器进行的标识符，如果可以，为1，否则，为0；time为环境当前时刻。
12、上述方案的有益效果为：柔性作业车间调度问题通过数学建模具体描述，以优化作业调度方案，最大程度地提高生产效率。
13、进一步地，所述步骤s2中调度状态的表达式为：
14、v＝(o,m,c,d,g)
15、
16、式中，v为调度状态，o为操作节点；m为机器节点；c为合取弧；d为析取弧；g为agv节点；oij为第i个作业的第j个操作；i为作业编号；j为第i个作业的操作编号；start为处理时间为零的虚拟开始节点；end为结束节点。
17、上述方案的有益效果为：调度状态用析取图来表示，清晰地描述了作业车间中各个操作-agv-机器之间的复杂关系，通过节点和边的连接，直观地呈现出不同操作的前后顺序、操作-机器的兼容性以及agv的可用性等约束。这种图形化建模使问题更易于理解，有助于问题的形式化描述和可视化分析。
18、进一步地，所述步骤s3具体为：
19、s301、获取实例数据；
20、s302、根据实例数据、调度状态和目标模型，利用马尔可夫决策过程对智能体进行训练，采用多重注意力网络进行操作、agv和机器特征提取，通过决策网络输出策略分布和状态值，使用近端策略优化算法训练智能体，选择并记录状态、动作和奖励值，得到作业调度模型。
21、上述方案的有益效果为：这种方法能够深度提取操作-agv-机器组合对的特征，综合考虑目标、学习和适应性强以及策略过程优化的优势，使模型能够有效适应更复杂的作业调度问题，提高模型的泛化能力和鲁棒性，实现更灵活的生产调度。
22、进一步地，所述步骤s302具体为：
23、s3021、根据预设规则随机生成训练实例，包括作业长度、操作处理时间和agv运输时间；
24、s3022、利用调度状态，将操作特征输入操作信息注意力块进行计算，输出操作节点特征；将agv特征输入agv信息注意力块进行计算，输出agv节点特征；将机器特征输入机器信息注意力块进行计算，输出机器节点特征，分别对操作节点特征、agv节点特征和机器节点特征进行平均池化并连接，生成操作全局特征、agv全局特征和机器全局特征；...
【技术保护点】
1.一种基于深度强化学习的柔性作业车间调度方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度强化学习的柔性作业车间调度方法，其特征在于，所述步骤S1中目标模型的表达式为：
3.根据权利要求1所述的一种基于深度强化学习的柔性作业车间调度方法，其特征在于，所述步骤S2中调度状态的表达式为：
4.根据权利要求1所述的一种基于深度强化学习的柔性作业车间调度方法，其特征在于，所述步骤S3具体为：
5.根据权利要求4所述的一种基于深度强化学习的柔性作业车间调度方法，其特征在于，所述步骤S302具体为：
6.根据权利要求5所述的一种基于深度强化学习的柔性作业车间调度方法，其特征在于，所述近端策略优化算法中的总损失函数为：
7.根据权利要求5所述的一种基于深度强化学习的柔性作业车间调度方法，其特征在于，所述步骤S3022具体为：
8.根据权利要求7所述的一种基于深度强化学习的柔性作业车间调度方法，其特征在于，所述S3022具体包括：操作信息注意力块、AGV信息注意力块和机器信息注意力块均为多个
9.根据权利要求5所述的一种基于深度强化学习的柔性作业车间调度方法，其特征在于，所述步骤S3023具体为：
10.根据权利要求5所述的一种基于深度强化学习的柔性作业车间调度方法，其特征在于，步骤S3024具体为：
...【技术特征摘要】
1.一种基于深度强化学习的柔性作业车间调度方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度强化学习的柔性作业车间调度方法，其特征在于，所述步骤s1中目标模型的表达式为：
3.根据权利要求1所述的一种基于深度强化学习的柔性作业车间调度方法，其特征在于，所述步骤s2中调度状态的表达式为：
4.根据权利要求1所述的一种基于深度强化学习的柔性作业车间调度方法，其特征在于，所述步骤s3具体为：
5.根据权利要求4所述的一种基于深度强化学习的柔性作业车间调度方法，其特征在于，所述步骤s302具体为：
6.根据权利要求5所述的一种基于深度强化学习的柔性作业车间调度方法，其特征在于，所述近端策略优化算法...
【专利技术属性】
技术研发人员：张明川，李晨蒙，冯嘉美，吴庆涛，赵旭辉，刘牧华，朱军龙，杨磊，王琳，冀治航，张茉莉，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。