【技术实现步骤摘要】
本专利技术涉及工业机器人、数字孪生，具体涉及基于强化学习算法的数字孪生模型自更新方法。
技术介绍
1、michael grieves教授早期就提出数字孪生(digital twin,dt)概念。此概念刚被提出时用于军事、航天领域。由于数字孪生具有虚实融合、实时交互、迭代运算与优化、全要素/全流程/全业务数据驱动等特点，因此已被应用到产品全生命周期的各个阶段，包括产品设计、制造、运行和维护等。
2、近年来，将故障预测与健康管理(prognostics and health management,phm)与dt技术相结合成为了一种趋势。例如wenjun fan等人提出了一种以弛豫电压为特征序列的非线性退化拐点预测方法，建立了一个结合拐点退化特征的剩余使用寿命预测框架，对拐点和剩余使用寿命进行联合预测，稳定地提高了剩余使用寿命的预测精度。pietro foti等人介绍了用于多轴疲劳载荷下添加制造部件疲劳损伤评估的主要寿命预测方法。qw li为500米口径球面射电望远镜(fast)提出了一种基于先进数字孪生技术的phm系统。phm系统利用dt的有限元分析来评估fast系统索网结构的安全状态并预测其疲劳寿命，实现有效的基于状态的维护，保证结构的健康安全运行，同时提高维护效率并减少成本。
3、在机器人领域中，wenna,wang等人提出了一种用于大跨度曲臂龙门机器人三维路径规划的dt模型，保证实际龙门机器人的控制安全，提高生产效率，并具有令人满意的实时性。malik,ali ahmad等人探讨了使用dt技术来解决人-
4、例如中国专利技术专利申请号202410931883.1，公开了一种工业机器人数字孪生模型位姿精度补偿方法、装置和系统，该方法包括：构建工业机器人数字孪生模型，并通过神经网络训练建立相同末端位姿条件下实际工业机器人与其数字孪生模型机械臂的关节角度之间的映射关系，通过实时采集实际工业机器人的关节角度，基于神经网络的方法进行数据预测，得到与实际机器人相同末端位姿条件下数字孪生模型的驱动关节角，用此关节角来驱动数字孪生模型，减小数字孪生模型与实际机器人末端位姿的之间的误差，实现工业机器人机器人物理实体与数字孪生模型的末端位姿同步，进而提升数字孪生模型重构能力与工行机器人的误差控制性能。其存在的技术缺陷：1、该方案需要神经网络做大量的训练，准确地对每一个关节转角的具体数值进行预测，并且整体工作对预测数值的精确度有非常高的要求。这使得整体工作量巨大，需要大量的计算资源作为支撑。2、该方案仅采集了工业机器人多个末端位姿状态，以及它们的实际关节转角数据，以便于后续做相关正逆运动学解。我们的这项专利技术结合了每个关节的实时转角、速度、加速度、力矩这四项数据，减小了总体计算量。3、该方案的最终目的为通过补偿数字孪生模型每个关节的转角，使得数字孪生模型末端位姿的精确度更高。我们的这项专利技术的主要目的为通过强化学习的最大熵增，来决定智能体π的下一步决策。
技术实现思路
1、为了克服现有技术的不足，本专利技术提出了一种基于强化学习算法的工业机器人数字孪生模型自更新方法，通过优化控制策略来修正孪生模型的故障特征参数，实现模型的自更新。
2、本专利技术解决其技术问题所采用的技术方案是：
3、一种基于强化学习算法的工业机器人数字孪生模型自更新方法，所述方法包括以下步骤：
4、第一步、训练集及参数采集，过程如下：
5、步骤(1.1)通过传感器收集工业机器人的各项实时运动参数作为数字孪生模型的训练集，在迭代训练过程后得到最优控制策略；
6、步骤(1.2)对工业机器人不同行为进行分类，并对采集过程中的数据做平衡处理；
7、第二步、模型预测控制建模，过程如下：
8、步骤(2.1)构建工业机器人数字孪生模型；
9、步骤(2.2)构建数字孪生系统的四元组；
10、第三步，基于dq-sac算法的参数更新过程，在sac算法的基础上中再增加一个q值形成双q网络，过程如下：
11、步骤(3.1)actor为策略网络，以当前的状态作为输入，输出为动作的概率分布或者连续动作值，再由critic网络来评价该动作的好坏从而调整策略；
12、步骤(3.2)在sac网络中增加一个q值，形成双q网络，最终构成dq-sac网络。
13、所述步骤(1.2)包括以下子步骤：
14、步骤(1.2.1)对现实工业机器人不同行为进行分类；
15、对于工业机器人正常运行数据采集，一个样本为设定动作运动的一个周期；对于故障数据采集，一个样本为故障时刻的前后各4秒的数据；对不同的故障进行分类；
16、步骤(1.2.2)对采集过程中的数据做平衡处理；
17、通过欠采样的方式，从出现频次最大的故障中随机选择一部分与其他故障数量相近的样本，重新构建训练数据集，得到最终的实验样本；
18、获取完实验样本后，对不同类别的故障数据特征进行提取和学习，再将对应故障的数据打上标签，使用dq-sac算法对数字孪生体进行自更新。
19、所述步骤(2.1)中，采用强化学习实现孪生模型对现实系统的实时工况反馈，工业机器人数字孪生模型(digital twin model,dtm)在模拟现实物理系统行为的过程中，在输入ut，状态变量xt，状态参数θt与性能指标j的条件下，根据状态方程得到孪生系统状态变量xt的最佳估计值同时提供了系统真实输出量yt与孪生系统的最佳估计因此模型跟踪问题如下描述，
20、
21、θi＝π(xt,yt,yt+1,ut+1)；
22、
23、强化学习框架将跟踪问题通过模型预测控制过程(model predictive control,mpc)建模，应用最大熵深度强化学习算法找到最符合显示物理模型的性能指标j用于更新孪生模型性能的参数，最终使得系统真实输出量yt+1与孪生系统的最佳估计量xt+1能够互相匹配，达到模型跟踪的目的。
24、所述步骤(2.2)中，工业机器人模型通过四元组(s,a,j,m)描述，包括以下子步骤：
25、步骤(2.2.1)四元组中s为状态集，包括现实物理系统的输入、输出和状态元素，对于工业机器人为，状态集s为，
26、s＝{ii,ui,pi,xt}；
27、其中i代表实时电流信号，u代表实时电压信号，p代表实时功率，工业机器人为六轴机器人，下角标i则代表不同的关节对应的信息，xt为状态变量，包括位置、速度和温度信息；
28、步骤(2.2.2)四元组中a为动作集，包括本文档来自技高网...
【技术保护点】
1.一种基于强化学习算法的工业机器人数字孪生模型自更新方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的基于强化学习算法的工业机器人数字孪生模型自更新方法，其特征在于，所述步骤(1.2)包括以下子步骤：
3.如权利要求1或2所述的基于强化学习算法的工业机器人数字孪生模型自更新方法，其特征在于，所述步骤(2.1)中，采用强化学习实现孪生模型对现实系统的实时工况反馈，工业机器人数字孪生模型DTM在模拟现实物理系统行为的过程中，在输入ut，状态变量xt，状态参数θt与性能指标J的条件下，根据状态方程得到孪生系统状态变量xt的最佳估计值同时提供了系统真实输出量yt与孪生系统的最佳估计因此模型跟踪问题如下描述，
4.如权利要求1或2所述的基于强化学习算法的工业机器人数字孪生模型自更新方法，其特征在于，所述步骤(3.2)中，Actor为策略网络，以当前的状态作为输入，输出为动作的概率分布或者连续动作值，再由Critic网络来评价该动作的好坏从而调整策略，公式如下：
5.如权利要求4所述的基于强化学习算法的工业机器人数字孪生模型自更
...【技术特征摘要】
1.一种基于强化学习算法的工业机器人数字孪生模型自更新方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的基于强化学习算法的工业机器人数字孪生模型自更新方法，其特征在于，所述步骤(1.2)包括以下子步骤：
3.如权利要求1或2所述的基于强化学习算法的工业机器人数字孪生模型自更新方法，其特征在于，所述步骤(2.1)中，采用强化学习实现孪生模型对现实系统的实时工况反馈，工业机器人数字孪生模型dtm在模拟现实物理系统行为的过程中，在输入ut，状态变量xt，状态参数θt与性能指标j的条件下，根据状态方程得到孪生系统状态变量xt的最佳估计值同时提供了系统真实输出量yt与孪生系统的最佳估计因此模型...
【专利技术属性】
技术研发人员：王琪冰，杨昊，陆佳炜，肖刚，顾月江，徐斌，苏宏业，佘昆，童勤峰，谢磊，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。