【技术实现步骤摘要】
本专利技术涉及决策系统，更具体地说，涉及一种智能工厂决策支持系统及其方法。
技术介绍
1、智能制造是新一轮工业革命的核心，其关键是充分利用工业大数据、人工智能等新兴技术，深度挖掘数据价值，实现制造全流程的智能优化和决策。当前，工业互联网、5g、边缘计算等信息基础设施的发展，为海量工业数据的实时采集、传输、处理提供了基础。机器学习、知识图谱等人工智能技术的进步，使得从数据中快速提取特征、构建模型、优化决策成为可能。
2、然而，当前智能工厂的建设仍面临诸多技术挑战：
3、(1)缺乏工业大数据的有效融合利用机制。工业数据种类繁多(结构化、半结构化、非结构化)，数据源分散(设备、mes、erp、crm等)，不同系统间缺乏统一的语义表示和关联机制，数据孤岛问题严重，难以形成全局数据视图，数据价值未得到充分释放。
4、(2)工业知识沉淀不足，优化决策经验难以复用。机理模型、操作规程、专家经验等工业知识分散在文档、系统、人脑中，缺乏形式化的表示方法，难以沉淀为可计算的知识模型，导致优化决策对人力依赖大、周期长，难以应对快速变化的市场需求。
5、(3)工业场景的复杂性导致优化决策陷入组合爆炸。设备故障、产能波动、物料短缺、人员流动等不确定因素交织，使得工厂运行处于动态复杂环境。传统的启发式规则、数学规划等优化方法，在跨车间、跨工厂的大规模调度场景中易陷入维度灾难，泛化能力不足。
6、尤其在工业调度优化这一关键领域，现有技术存在明显不足。传统的工业调度主要采用数学规划、元启发式搜索等方法
7、因此，亟需一种融合工业大数据、人工智能、专家知识的智能决策系统，构建从数据采集、特征提取、知识建模到优化决策的全流程解决方案。尤其要针对工业调度这一核心优化问题，创新算法框架和机制，在满足多约束、强实时的前提下，实现大规模协同调度优化。
技术实现思路
1、本专利技术正是在这一背景下提出的，旨在解决现有技术的局限性，提供一种智能工厂决策支持系统及其方法，通过数据汇聚、知识赋能、分层优化、多智能体协同机制的创新集成，为破解上述技术难题、加速智能制造发展提供了可能。
2、本专利技术提供一种智能工厂决策支持系统，所述系统包括：数据采集模块、数据分析模块、优化决策模块、人机交互模块和知识库模块；所述数据采集模块用于采集生产设备、物料、环境等数据并上传至数据库；所述数据分析模块用于对采集数据进行分析挖掘，提炼特征；所述优化决策模块调用分层强化学习驱动的多智能体协同优化算法，求解多目标优化模型，输出决策方案；所述人机交互模块通过可视化界面呈现决策结果，供用户调整；所述知识库模块存储领域知识，对优化决策提供支持。
3、具体地，所述数据采集模块包括：传感器子模块，用于通过振动传感器、温度传感器、电流传感器等采集设备状态数据；rfid子模块，用于通过rfid子模块采集物料数据；数据传输子模块，用于将采集数据通过工业以太网传输至数据库服务器。
4、具体地，所述数据分析模块包括：数据清洗单元，用于对数据进行去噪、归一化等预处理；特征提取单元，用于提取数据的统计特征和频域特征；机器学习建模单元，用于构建设备健康度评估、质量预测模型。
5、具体地，所述人机交互模块包括：可视化单元，采用web框架和图表库开发交互式仪表盘；交互设计单元，提供拖拽、钻取等功能；权限管理单元，基于rbac实现功能权限控制。
6、具体地，所述知识库模块包括：本体构建单元，采用本体语言定义领域知识；语义存储单元，通过图数据库存储知识；知识更新单元，将优化结果作为新知识更新入库。
7、具体地，所述优化决策模块基于分层强化学习驱动的多智能体协同优化算法，所述算法包括：分层强化学习框架，定义k个层级，每层对应一个马尔科夫决策过程(sk,ak,pk,rk)，其中sk为状态空间，ak为动作空间，pk为状态转移概率，rk为奖励函数；
8、采用hdqn算法学习每层最优策略q函数为其中θk为q网络参数，θ′k为目标网络参数γ∈[0,1]为折扣因子；
9、多智能体协同优化，定义每层nk个智能体，智能体i的观察为动作为局部策略为
10、采用ac-marl算法训练多智能体协同策略，包括actor网络和critic网络其中为所有智能体的联合观察，为联合动作，为智能体i的actor网络参数，为critic网络参数，目标函数为智能体i的奖励函数：
11、知识引导策略搜索，定义知识引导函数f(s,a；φ)，其中φ为从知识库查询的引导知识将f嵌入强化学习目标，得到修正后的目标函数为t时刻从知识库查询得到的引导知识。
12、具体地，所述分层强化学习驱动的多智能体协同优化算法的详细执行步骤如下：
13、1.输入层级数k，每层智能体数量nk，状态空间sk，动作空间ak，奖励函数rk，折扣因子γ，知识库φ；
14、2.对k从1到k，执行：
15、2.1)定义并随机初始化k层的hdqn网络qk(s,a；θk)，目标网络qk(s,a；θ′k)，参数θk,θ′k；
16、2.2)定义并随机初始化k层每个智能体i的actor网络critic网络qi,k(ok,ak；φi,k)，参数θi,k,φi,k；
17、2.3)初始化经验回放缓冲区dk，设置批大小bi学习率α；
18、2.4)重复，直至算法收敛：
19、2.5)输出k层训练得到的actor网络即为层级k的多智能体协同策略πk；
20、3.输出分层多智能体强化学习得到的最优分层策略π*＝(π1,π2,...,πk)。
21、具体地，在执行步骤2.1)中，k层hdqn的q网络qk(s,a；θk)采用双层神经网络结构，包含输入层第一隐藏层(h1个神经元)，第二隐藏层(h2个神经元)和输出层其中输入为状态s∈sk，输出为所有可能动作a∈ak的q值估计，隐藏层激活函数为relu函数，即f(x)＝max(0,x)，输出层激活函数为线性函数，损失函数为均方误差：
22、
23、其中(s,a,r,s′)为从经验回放dk中采样的转移样本。
24、具体地，在执行步骤2.2)中，智能体i的actor网络和critic网络qi,k(ok,ak；φi,k)均采用双层神经网络结构，acto本文档来自技高网...
【技术保护点】
1.一种智能工厂决策支持系统，其特征在于，所述系统包括：数据采集模块、数据分析模块、优化决策模块、人机交互模块和知识库模块；所述数据采集模块用于采集生产设备、物料、环境数据并上传至数据库；所述数据分析模块用于对采集数据进行分析挖掘，提炼特征；所述优化决策模块调用分层强化学习驱动的多智能体协同优化算法，求解多目标优化模型，输出决策方案；所述人机交互模块通过可视化界面呈现决策结果，供用户调整；所述知识库模块存储领域知识，对优化决策提供支持。
2.根据权利要求1所述的智能工厂决策支持系统，其特征在于，所述数据采集模块包括：传感器子模块，用于通过振动传感器、温度传感器、电流传感器采集设备状态数据；RFID子模块，用于通过RFID子模块采集物料数据；数据传输子模块，用于将采集数据通过工业以太网传输至数据库服务器。
3.根据权利要求1所述的智能工厂决策支持系统，其特征在于，所述数据分析模块包括：数据清洗单元，用于对数据进行去噪、归一化预处理；特征提取单元，用于提取数据的统计特征和频域特征；机器学习建模单元，用于构建设备健康度评估、质量预测模型。
4.根据权
5.根据权利要求1所述的智能工厂决策支持系统，其特征在于，所述知识库模块包括：本体构建单元，采用本体语言定义领域知识；语义存储单元，通过图数据库存储知识；知识更新单元，将优化结果作为新知识更新入库。
6.根据权利要求1所述的智能工厂决策支持系统，其特征在于，所述优化决策模块基于分层强化学习驱动的多智能体协同优化算法，所述算法包括：分层强化学习框架，定义K个层级，每层对应一个马尔科夫决策过程(Sk,Ak,Pk,Rk)，其中Sk为状态空间，Ak为动作空间，Pk为状态转移概率，Rk为奖励函数；
7.根据权利要求6所述的智能工厂决策支持系统其特征在于，所述分层强化学习驱动的多智能体协同优化算法的详细执行步骤如下：
8.根据权利要求7所述的智能工厂决策支持系统，其特征在于，在执行步骤2.1)中，k层HDQN的Q网络Qk(s，a；θk)采用双层神经网络结构，包含输入层第一隐藏层(H1个神经元)，第二隐藏层(H2个神经元)和输出层其中输入为状态s∈Sk，翰出为所有可能动作a∈Ak的Q值估计，隐藏层激活函数为ReLU函数，即f(x)＝max(0，x)，输出层激活函数为线性函数，损失函数为均方误差：
9.根据权利要求7所述的智能工厂决策支持系统，其特征在于，在执行步骤2.2)中，智能体i的Actor网络和Critic网络Qi，k(ok，ak；φi，k)均采用双层神经网络结构，Actor网络的输入为智能体的局部观察输出为动作分布参数，包括均值μ和方差σ，动作从高斯分布N(μ，σ2)中采样得到：Critic网络的输入为所有智能体的联合观察ok和联合动作ak，输出为Q值估计，即其中为所有智能体的Actor网络组成的联合策略。
10.一种基于权利要求1-9任一项所述系统的智能工厂决策支持方法，其特征在于，包括以下步骤：
...【技术特征摘要】
1.一种智能工厂决策支持系统，其特征在于，所述系统包括：数据采集模块、数据分析模块、优化决策模块、人机交互模块和知识库模块；所述数据采集模块用于采集生产设备、物料、环境数据并上传至数据库；所述数据分析模块用于对采集数据进行分析挖掘，提炼特征；所述优化决策模块调用分层强化学习驱动的多智能体协同优化算法，求解多目标优化模型，输出决策方案；所述人机交互模块通过可视化界面呈现决策结果，供用户调整；所述知识库模块存储领域知识，对优化决策提供支持。
2.根据权利要求1所述的智能工厂决策支持系统，其特征在于，所述数据采集模块包括：传感器子模块，用于通过振动传感器、温度传感器、电流传感器采集设备状态数据；rfid子模块，用于通过rfid子模块采集物料数据；数据传输子模块，用于将采集数据通过工业以太网传输至数据库服务器。
3.根据权利要求1所述的智能工厂决策支持系统，其特征在于，所述数据分析模块包括：数据清洗单元，用于对数据进行去噪、归一化预处理；特征提取单元，用于提取数据的统计特征和频域特征；机器学习建模单元，用于构建设备健康度评估、质量预测模型。
4.根据权利要求1所述的智能工厂决策支持系统，其特征在于，所述人机交互模块包括：可视化单元，采用web框架和图表库开发交互式仪表盘；交互设计单元，提供拖拽、钻取功能；权限管理单元，基于rbac实现功能权限控制。
5.根据权利要求1所述的智能工厂决策支持系统，其特征在于，所述知识库模块包括：本体构建单元，采用本体语言定义领域知识；语义存储单元，通过图数据库存储知识；知识更新单元，将优化结果作为新知...
【专利技术属性】
技术研发人员：常留栓，张胜超，李闯，
申请(专利权)人：广东精工智能系统有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。