一种基于需求驱动的不相容工件组在线分批加工方法技术

本发明专利技术公开了一种基于需求驱动的不相容工件组在线分批加工方法，包括：1、首先把工件随机到达的在线加工过程描述为半Markov决策过程，并初始化在线生产系统的控制策略表；2、令k＝1，初始化Q值表；3、在第k个决策时刻，观察系统的当前状态，并根据控制策略表控制系统进行加工；4、计算状态转移过程中产生的累计代价，并通过差分公式和Q值更新公式，更新Q值表；5、由Q值表更新控制策略表；6、将k+1赋值给k，并返回步骤3，以更新后的控制策略表来控制在线生产系统进行加工，直到所述控制策略表不再变化为止。本发明专利技术能对需求驱动下的生产加工系统进行有效的在线优化控制，从而能在满足随机需求的同时减少生产资源以及库存空间的浪费。

【技术实现步骤摘要】
一种基于需求驱动的不相容工件组在线分批加工方法
本专利技术属于生产调度
，具体的说是一种基于需求驱动的不相容工件组在线分批加工方法。
技术介绍
调度在大多数生产制造系统以及信息处理环境中扮演着重要的角色。在生产制造业中，合理的调度方案可以大幅提高生产效益和资源利用率，节省生产成本，从而增强企业的竞争力，推动生产制造业的发展。不相容工件组的分批加工问题属于调度问题，其广泛存在于生产生活中，如钢铁生产、生物制药、金属镀膜和货物运输等。由于生产调度问题的广泛性和重要性，国内外学者对该领域进行了深入的研究；但是，过去的研究主要集中在工件加工信息确定的问题。Lozano等人以安防玻璃制造为研究背景，针对安防玻璃的预热、加工和冷却等分批加工过程进行优化控制，其中相同防护等级的待制品属于相容工件组，并且假设工件的处理时间确定可知，见文献LozanoAJ,MedagliaA.Schedulingofparallelmachineswithsequence-dependentbatchesandproductincompatibilitiesinanautomotiveglassfacility[J].JournalofScheduling,2014,17(6):521-540。由于现实生产环境中的调度问题通常是多约束、多目标、具有随机性的不确定优化问题。通过确定性调度方法获得的调度方案应用在调度信息具有随机性的现实生产环境中，将引起生产系统不能长期稳定运行、加工浪费以及生产效率低下等现象。此外，已有生产系统通常以最大化系统生产效率为目标；但是在现代化市场中，顾客或下游厂商对产品具有个性化和随机性需求，所以单纯的以生产效率最大化为目标的企业必将出现产能过剩和生产浪费现象。
技术实现思路
本专利技术是为解决上述现有技术存在的不足之处，提出一种基于需求驱动的不相容工件组在线分批加工方法，以期能对需求驱动下的生产加工系统进行有效的在线优化控制，从而能在满足随机需求的同时减少生产资源以及库存空间的浪费。本专利技术为解决技术问题采用如下技术方案：本专利技术一种基于需求驱动的不相容工件组在线分批加工方法的特点是应用于由传送带、工件、自动搬运设备、缓存库、批处理机器和成品库组成的在线生产系统中；在所述在线生产系统中，工件随机到达，并存放在所述缓冲库中等待所述批处理机器加工，加工完成的工件存放在所述成品库中；假设所述缓冲库和成品库中各存在m个不相容工件组，令所述缓冲库中属于第j个不相容工件组的工件个数为bfj、所述成品库中属于第j个不相容工件组的工件个数为bkj；从所述成品库的m个不相容工件组中各取一个工件所形成的一套成品即能响应随机到达的一次需求；所述基于需求驱动的不相容工件组在线分批加工方法是按如下步骤进行：步骤1、定义所述在线生产系统的状态空间Φ＝{s|s＝(bf1,bf2,…,bfm,bk1,bk2,…,bkm)}，其中，s为所述状态空间Φ中的任一状态，s∈Φ；定义所述在线生产系统的行动空间为D＝{v0,v1,…,vj,…,vm}；v0表示所述批处理机器等待一个工件到达缓冲库中，vj表示所述批处理机器选择第j个不相容工件组进行加工；定义所述在线生产系统的决策时刻为所述批处理机器空闲，且有一个工件到达所述缓冲库的时刻，或为所述批处理机器完成加工的时刻；步骤2、利用所述在线生产系统在所有历史状态下所采取的行动来初始化控制策略表；步骤3、定义变量k，并初始化k＝1，设置玻尔兹曼常数K和温度T；定义Q值表中的元素为状态-行动对值，并初始化所述Q值表中的元素均为“0”；步骤4、在所述在线生产系统的第k个决策时刻，观察所述在线生产系统的当前状态并记为sk，令所述第k个决策时刻的当前状态sk在Q值表中所对应的状态记为s′，则sk＝s′；令所述第k个决策时刻的当前状态sk下采取的行动记为在第k个决策时刻的当前状态sk下，从行动空间D中选择任意行动vr，并以概率将vr赋值给以概率将vs′赋值给其中，Q(s′,vr)表示第k个决策时刻的状态sk＝s′时采取行动vr的状态-行动对值；Q(s′,vs′)表示第k个决策时刻的状态sk＝s′下采取行动vs′的状态-行动对值；采取行动后，系统在第k+1个决策时刻的当前状态sk转移到下一状态sk+1，将下一状态sk+1在Q值表中所对应的状态记为s″，则sk+1＝s″；其中，s′,s″∈Φ；步骤5、利用式(1)计算所述在线生产系统从第k个决策时刻的当前状态sk，采取行动转移到第k+1个决策时刻的状态sk+1的状态转移过程中产生的累计代价式(1)中，N表示所述状态转移过程中产生随机需求的总数；R表示所述状态转移过程中随机需求得到响应的次数，并有R＝min(min(bk1,bk2,…,bkm),N)；W表示一次需求未得到响应所产生的惩罚代价；Lj表示所述成品库中单位时间存储第j个不相容工件组的代价；Δti表示第i次需求与第i+1次需求的时间间隔，i＝0时表示第k个决策时刻与第i+1次需求的时间间隔，i＝R时表示第R次需求与第k+1个决策时刻的时间间隔；步骤6、利用式(2)和式(3)所示的差分公式和Q值更新公式，更新所述Q值表中当前状态sk下采取行动的状态-行动对值得到更新后的当前状态sk下采取行动的状态-行动对值式(2)中，ΔTk,k+1表示第k个决策时刻与第k+1个决策时刻的时间间隔；表示在第k个决策时刻之前所有状态为s′时采取行动vs′转移到下一状态s″过程中产生的累计代价的平均估计值；vr表示所述行动空间D中的任一行动；Q(sk+1,vr)表示转移到第k+1个决策时刻的状态sk+1下采取任一行动vr的状态-行动对值；式(3)中，为第k个决策时刻的当前状态sk下采取行动的学习步长；步骤7、选择更新后Q值表中每行最小的状态-行动对值所对应的行动构成当前行动集合，并利用当前行动集合更新所述控制策略表；步骤8、将k+1赋值给k，并返回步骤4，直到所述控制策略表不再变化为止，从而以最终的控制策略表对m个不相容工件组进行在线分批加工。与现有技术相比，本专利技术的有益效果在于：1、本专利技术以最大化需求满足率和最小化工件的存储代价为优化目标，通过Q学习方法对不相容工件组的在线分批加工问题进行优化控制；相比单纯以最大化生产效率为目标的生产加工，本专利技术在满足了随机需求的同时，减少了生产资源以及库存空间的浪费。2、本专利技术以缓冲库和成品库为在线生产系统的联合状态；以批处理机器空闲，且有一个工件到达缓冲库的时刻，或批处理机器完成加工的时刻为决策时刻；把工件随机到达的在线生产加工过程描述为半Markov决策过程，并根据系统的实时状态采取相应行动；因此本专利技术能够有效的处理工件和需求随机到达的不相容工件组在线分批加工问题。3、本专利技术通过Q学习方法对不相容工件组的在线分批加工问题进行优化控制，相比理论求解方法，本专利技术不需要模型的完整参数，并且可以根据实际生产系统的加工过程进行在线学习；4、本专利技术给出的生产调度方法，实现简单且效果明显，可用于生物制药、金属镀膜等带有不相容工件组的生产调度问题。附图说明图1为本专利技术方法流程图；图2为本专利技术在线生产系统的示意图。具体实施方式本实施例中，一种基于需求驱动的不相容工件组在线分批加工方法，应用于如图2所示传送带本文档来自技高网...

【技术保护点】
一种基于需求驱动的不相容工件组在线分批加工方法，其特征是应用于由传送带、工件、自动搬运设备、缓存库、批处理机器和成品库组成的在线生产系统中；在所述在线生产系统中，工件随机到达，并存放在所述缓冲库中等待所述批处理机器加工，加工完成的工件存放在所述成品库中；假设所述缓冲库和成品库中各存在m个不相容工件组，令所述缓冲库中属于第j个不相容工件组的工件个数为bfj、所述成品库中属于第j个不相容工件组的工件个数为bkj；从所述成品库的m个不相容工件组中各取一个工件所形成的一套成品即能响应随机到达的一次需求；所述基于需求驱动的不相容工件组在线分批加工方法是按如下步骤进行：步骤1、定义所述在线生产系统的状态空间Φ＝{s|s＝(bf1,bf2,…,bfm,bk1,bk2,…,bkm)}，其中，s为所述状态空间Φ中的任一状态，s∈Φ；定义所述在线生产系统的行动空间为D＝{v0,v1,…,vj,…,vm}；v0表示所述批处理机器等待一个工件到达缓冲库中，vj表示所述批处理机器选择第j个不相容工件组进行加工；定义所述在线生产系统的决策时刻为所述批处理机器空闲，且有一个工件到达所述缓冲库的时刻，或为所述批处理机器完成加工的时刻；步骤2、利用所述在线生产系统在所有历史状态下所采取的行动来初始化控制策略表；步骤3、定义变量k，并初始化k＝1，设置玻尔兹曼常数K和温度T；定义Q值表中的元素为状态‑行动对值，并初始化所述Q值表中的元素均为“0”；步骤4、在所述在线生产系统的第k个决策时刻，观察所述在线生产系统的当前状态并记为sk，令所述第k个决策时刻的当前状态sk在Q值表中所对应的状态记为s′，则sk＝s′；令所述第k个决策时刻的当前状态sk下采取的行动记为...

【技术特征摘要】
1.一种基于需求驱动的不相容工件组在线分批加工方法，其特征是应用于由传送带、工件、自动搬运设备、缓存库、批处理机器和成品库组成的在线生产系统中；在所述在线生产系统中，工件随机到达，并存放在所述缓冲库中等待所述批处理机器加工，加工完成的工件存放在所述成品库中；假设所述缓冲库和成品库中各存在m个不相容工件组，令所述缓冲库中属于第j个不相容工件组的工件个数为bfj、所述成品库中属于第j个不相容工件组的工件个数为bkj；从所述成品库的m个不相容工件组中各取一个工件所形成的一套成品即能响应随机到达的一次需求；所述基于需求驱动的不相容工件组在线分批加工方法是按如下步骤进行：步骤1、定义所述在线生产系统的状态空间Φ＝{s|s＝(bf1,bf2,…,bfm,bk1,bk2,…,bkm)}，其中，s为所述状态空间Φ中的任一状态，s∈Φ；定义所述在线生产系统的行动空间为D＝{v0,v1,…,vj,…,vm}；v0表示所述批处理机器等待一个工件到达缓冲库中，vj表示所述批处理机器选择第j个不相容工件组进行加工；定义所述在线生产系统的决策时刻为所述批处理机器空闲，且有一个工件到达所述缓冲库的时刻，或为所述批处理机器完成加工的时刻；步骤2、利用所述在线生产系统在所有历史状态下所采取的行动来初始化控制策略表；步骤3、定义变量k，并初始化k＝1，设置玻尔兹曼常数K和温度T；定义Q值表中的元素为状态-行动对值，并初始化所述Q值表中的元素均为“0”；步骤4、在所述在线生产系统的第k个决策时刻，观察所述在线生产系统的当前状态并记为sk，令所述第k个决策时刻的当前状态sk在Q值表中所对应的状态记为s′，则sk＝s′；令所述第k个决策时刻的当前状态sk下采取的行动记为在第k个决策时刻的当前状态sk下，从行动空间D中选择任意行动vr，并以概率将vr赋值给以概率将vs′赋值给其中，Q(s′,vr)表示第k个决策时刻的状态sk＝s′时采取行动vr的状态-行动对值；Q(s′,vs′)表示第k个决策时刻的状态sk＝s′下采取行动vs′的状态-行动对值；采取行动后，系统在第k+1个决策时刻的当前状态sk转移到下一状态sk+1，将下一状态sk+1在Q值表中所对应的状态记为s″，则sk+1＝s″；其中，s′,s″∈Φ；步骤5、利用式(1)计算所述在线生产系统从...

【专利技术属性】
技术研发人员：谭琦，王永青，肖奕霖，唐昊，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽,34