基于冗余肌肉骨骼系统的阶段式运动控制方法技术方案

本发明专利技术属于智能机器人领域，具体涉及一种基于冗余肌肉骨骼系统的阶段式运动控制方法、系统、装置，旨在解决高冗余、高耦合导致神经刺激信号求解难的问题。本系统方法包括获取期望运动状态和简化运动状态；计算平均允许误差；判断迭代次数进行跳转；通过预设规则更新运动简化间隔及简化运动状态；通过Hill肌肉模型得到各肌肉对应的肌肉激活信号及肌腱力；基于各肌腱力获取实际运动状态，并计算实际运动状态和简化运动状态的误差；获取带噪声的实际运动状态；通过Q‑network算法和预设的执行噪声更新神经刺激信号；判断仿真时长；判断迭代次数并输出。本发明专利技术降低了肌肉骨骼系统的神经刺激信号的求解难度。

Phased motion control method based on redundant musculoskeletal system

The invention belongs to the field of intelligent robot, in particular to a stage type motion control method, system and device based on redundant musculoskeletal system, aiming at solving the problem that high redundancy and high coupling lead to difficult solution of neural stimulation signal. The method of this system includes obtaining the desired and simplified motion states; calculating the average allowable error; judging the number of iterations to jump; updating the motion simplification interval and simplifying the motion states through preset rules; obtaining the muscle activation signals and tendon forces corresponding to each muscle through Hill muscle model; obtaining the actual motion states based on each tendon force, and calculating the actual motion states and tendon forces Simplify the error of motion state; obtain the actual motion state with noise; update the neural stimulation signal through Q \u2011 network algorithm and preset execution noise; determine the simulation time; determine the number of iterations and output. The invention reduces the difficulty of solving the nerve stimulation signal of the musculoskeletal system.

【技术实现步骤摘要】
基于冗余肌肉骨骼系统的阶段式运动控制方法
本专利技术属于智能机器人领域，具体涉及一种基于冗余肌肉骨骼系统的阶段式运动控制方法、系统、装置。
技术介绍
类人肌肉骨骼机器人通常具有冗余数量的肌肉，即一个关节由多个相互关联的肌肉共同控制。而每块肌肉的控制需要单独的神经刺激信号，在求解信号的过程中，不同于传统机器人关节驱动数与关节数一一对应的情况，冗余的肌肉为刺激信号的解空间带来了冗余的维度。同时，由于每块肌肉是非线性驱动单元，因此大大增加了信号的求解难度。一般的方法，诸如动态优化和强化学习被应用于复杂的肌肉骨骼系统时，通常具有巨大的计算量或不稳定的学习过程，因此不容易探索出一个好的控制效果。由于肌肉骨骼系统是广泛适用于动物和人的身体结构，而人可以完成各种复杂的运动任务，因此，从人的角度展开探索，探究一种简单、高效的运动学习与控制框架，以方便从冗余且耦合的高维解空间中求解神经刺激信号，具有重要的研究与应用价值。
技术实现思路
为了解决现有技术中的上述问题，即为了解决类人肌肉骨骼机器人的肌肉骨骼系统的高冗余、高耦合导致神经刺激信号求解难的问题，本专利技术第一方面，提出了一种基于冗余肌肉骨骼系统的阶段式运动控制方法，该方法包括：步骤S10，采用逆运动学方法获取肌肉骨骼系统t时刻的期望运动状态，并根据预设的运动简化间隔计算该状态对应的简化运动状态；步骤S20，基于所述期望运动状态和所述简化运动状态获取平均允许简化误差；步骤S30，获取当前迭代次数k，若当前迭代次数等于1，执行步骤S50；若当前迭代次数大于1且真实运动误差小于所述平均允许简化误差，执行步骤S40，否则执行步骤S50；步骤S40，根据真实运动误差和所述平均允许简化误差，通过预设规则更新所述运动简化间隔；根据所述期望运动状态和更新后的运动简化间隔，更新所述简化运动状态；步骤S50，获取神经刺激信号，通过Hill肌肉模型得到各肌肉对应的肌肉激活信号，并根据各肌肉激活信号计算其对应的肌腱力；步骤S60，基于各肌腱力，获取肌肉骨骼系统t时刻的实际运动状态，基于t时刻的实际运动状态采用系统动力学方法计算t+1时刻的实际运动状态；并计算所述t时刻的实际运动状态与所述简化运动状态的真实运动误差；步骤S70，基于所述t时刻的实际运动状态、所述t+1时刻的实际运动状态、预设的传感器噪声，获取t时刻带噪声的实际运动状态和t+1时刻带噪声的实际运动状态；步骤S80，根据所述t时刻、t+1时刻带噪声的实际运动状态，通过Q-network算法更新各肌肉对应的神经刺激信号，并基于预设的执行噪声对神经刺激信号进行二次更新；所述Q-network算法基于DQN算法构建；步骤S90，若t小于预设的最大仿真时长，令t＝t+1,执行步骤S50，否则执行步骤S100；步骤S100，若当前迭代次数k小于预设的最大训练迭代次数，令k＝k+1，执行步骤S20，否则输出所述神经刺激信号。在一些优选的实施方式中，步骤S10中“根据预设的运动简化间隔计算该状态对应的简化运动状态”，其计算方法为：其中，s(t)为期望运动状态，d为运动简化间隔，ceil()为向上取整函数，δ()为冲激函数，sT(t)为t时刻的简化运动状态，t表示时刻。在一些优选的实施方式中，步骤S40中“通过预设规则更新所述运动简化间隔”，其方法为：其中，为真实运动误差，为平均允许简化误差，D(d)为满足D(d)<d的减函数。在一些优选的实施方式中，步骤S50中“基于各肌腱力，获取肌肉骨骼系统t时刻的实际运动状态”，其方法为：基于各肌腱力，获取每个关节对应的实际的关节力矩；根据各关节的关节力矩，采用牛顿-欧拉算法得到各关节对应的角加速度；获取关节角度，基于各关节对应的关节角度和角加速度获取肌肉骨骼系统t时刻的实际运动状态。在一些优选的实施方式中，步骤S80中“通过Q-network更新各肌肉对应的神经刺激信号”，其方法为：步骤S81，根据所述t时刻带噪声的实际运动状态、所述t+1时刻带噪声的实际运动状态，基于Q-network获取t时刻的行动值和t+1时刻的行动值；步骤S82，基于所述t时刻的行动值、所述t+1时刻的行动值，采用梯度下降法更新所述t时刻的行动值；步骤S83，基于更新后的t时刻的行动值，通过Q-network算法的神经元层，得到高激活状态行动值、低激活状态行动值；根据预设的神经刺激信号边界值对所述高激活状态行动值、所述低激活状态行动值进行加权，得到各肌肉对应的神经刺激信号并进行更新。在一些优选的实施方式中，所述预设的神经刺激信号边界值为0.001、0.999。在一些优选的实施方式中，步骤S80中“基于预设的执行噪声对神经刺激信号进行二次更新”，其计算方法为：ui＝uNiuNi＝min[max[ui+N2,0],1]其中，uNi为带执行噪声的神经刺激信号，ui为神经刺激信号，N2为执行噪声。本专利技术的第二方面，提出了一种基于冗余肌肉骨骼系统的阶段式运动控制系统，该系统包括运动状态获取模块、获取简化误差模块、判断跳转模块、更新简化模块、获取肌腱力模块、计算真实误差模块、更新实际状态模块、更新刺激信号模块、仿真时长判断模块、迭代输出模块；所述的运动状态获取模块，配置为采用逆运动学方法获取肌肉骨骼系统t时刻的期望运动状态，并根据预设的运动简化间隔计算该状态对应的简化运动状态；所述的获取简化误差模块，配置为基于所述期望运动状态和所述简化运动状态获取平均允许简化误差；所述的判断跳转模块，配置为获取当前迭代次数k，若当前迭代次数等于1，执行获取肌腱力模块；若当前迭代次数大于1且真实运动误差小于所述平均允许简化误差，执行更新简化模块，否则执行获取肌腱力模块；所述的更新简化模块，配置为根据真实运动误差和所述平均允许简化误差，通过预设规则更新所述运动简化间隔；根据所述期望运动状态和更新后的运动简化间隔，更新所述简化运动状态；所述的获取肌腱力模块，配置为获取神经刺激信号，通过Hill肌肉模型得到各肌肉对应的肌肉激活信号，并根据各肌肉激活信号计算其对应的肌腱力；所述的计算真实误差模块，配置基于各肌腱力，获取肌肉骨骼系统t时刻的实际运动状态，基于t时刻的实际运动状态采用系统动力学方法计算t+1时刻的实际运动状态；并计算所述t时刻的实际运动状态与所述简化运动状态的真实运动误差；所述的更新实际状态模块，配置为基于所述t时刻的实际运动状态、所述t+1时刻的实际运动状态、预设的传感器噪声，获取t时刻带噪声的实际运动状态和t+1时刻带噪声的实际运动状态；所述的更新刺激信号模块，配置为根据所述t时刻、t+1时刻带噪声的实际运动状态，通过Q-network算法更新各肌肉对应的神经刺激信号，并基于预设的执行噪声对神经刺激信号进行二次更新；所述Q-network算法基于DQN算法构建；本文档来自技高网...

【技术保护点】
1.一种基于冗余肌肉骨骼系统的阶段式运动控制方法，其特征在于，该方法包括：/n步骤S10，采用逆运动学方法获取肌肉骨骼系统t时刻的期望运动状态，并根据预设的运动简化间隔计算该状态对应的简化运动状态；/n步骤S20，基于所述期望运动状态和所述简化运动状态获取平均允许简化误差；/n步骤S30，获取当前迭代次数k，若当前迭代次数等于1，执行步骤S50；若当前迭代次数大于1且真实运动误差小于所述平均允许简化误差，执行步骤S40，否则执行步骤S50；/n步骤S40，根据真实运动误差和所述平均允许简化误差，通过预设规则更新所述运动简化间隔；根据所述期望运动状态和更新后的运动简化间隔，更新所述简化运动状态；/n步骤S50，获取神经刺激信号，通过Hill肌肉模型得到各肌肉对应的肌肉激活信号，并根据各肌肉激活信号计算其对应的肌腱力；/n步骤S60，基于各肌腱力，获取肌肉骨骼系统t时刻的实际运动状态，基于t时刻的实际运动状态采用系统动力学方法计算t+1时刻的实际运动状态；并计算所述t时刻的实际运动状态与所述简化运动状态的真实运动误差；/n步骤S70，基于所述t时刻的实际运动状态、所述t+1时刻的实际运动状态、预设的传感器噪声，获取t时刻带噪声的实际运动状态和t+1时刻带噪声的实际运动状态；/n步骤S80，根据所述t时刻、t+1时刻带噪声的实际运动状态，通过Q-network算法更新各肌肉对应的神经刺激信号，并基于预设的执行噪声对神经刺激信号进行二次更新；所述Q-network算法基于DQN算法构建；/n步骤S90，若t小于预设的最大仿真时长，令t＝t+1,执行步骤S50，否则执行步骤S100；/n步骤S100，若当前迭代次数k小于预设的最大训练迭代次数，令k＝k+1，执行步骤S20，否则输出各肌肉对应的神经刺激信号。/n...

【技术特征摘要】
1.一种基于冗余肌肉骨骼系统的阶段式运动控制方法，其特征在于，该方法包括：
步骤S10，采用逆运动学方法获取肌肉骨骼系统t时刻的期望运动状态，并根据预设的运动简化间隔计算该状态对应的简化运动状态；
步骤S20，基于所述期望运动状态和所述简化运动状态获取平均允许简化误差；
步骤S30，获取当前迭代次数k，若当前迭代次数等于1，执行步骤S50；若当前迭代次数大于1且真实运动误差小于所述平均允许简化误差，执行步骤S40，否则执行步骤S50；
步骤S40，根据真实运动误差和所述平均允许简化误差，通过预设规则更新所述运动简化间隔；根据所述期望运动状态和更新后的运动简化间隔，更新所述简化运动状态；
步骤S50，获取神经刺激信号，通过Hill肌肉模型得到各肌肉对应的肌肉激活信号，并根据各肌肉激活信号计算其对应的肌腱力；
步骤S60，基于各肌腱力，获取肌肉骨骼系统t时刻的实际运动状态，基于t时刻的实际运动状态采用系统动力学方法计算t+1时刻的实际运动状态；并计算所述t时刻的实际运动状态与所述简化运动状态的真实运动误差；
步骤S70，基于所述t时刻的实际运动状态、所述t+1时刻的实际运动状态、预设的传感器噪声，获取t时刻带噪声的实际运动状态和t+1时刻带噪声的实际运动状态；
步骤S80，根据所述t时刻、t+1时刻带噪声的实际运动状态，通过Q-network算法更新各肌肉对应的神经刺激信号，并基于预设的执行噪声对神经刺激信号进行二次更新；所述Q-network算法基于DQN算法构建；
步骤S90，若t小于预设的最大仿真时长，令t＝t+1,执行步骤S50，否则执行步骤S100；
步骤S100，若当前迭代次数k小于预设的最大训练迭代次数，令k＝k+1，执行步骤S20，否则输出各肌肉对应的神经刺激信号。


2.根据权利要求1所述的基于冗余肌肉骨骼系统的阶段式运动控制方法，其特征在于，步骤S10中“根据预设的运动简化间隔计算该状态对应的简化运动状态”，其计算方法为：



其中，s(t)为期望运动状态，d为运动简化间隔，ceil()为向上取整函数，δ()为冲激函数，sT(t)为t时刻的简化运动状态，t表示时刻。


3.根据权利要求1或2所述的基于冗余肌肉骨骼系统的阶段式运动控制方法，其特征在于，步骤S40中“通过预设规则更新所述运动简化间隔”，其方法为：



其中，为真实运动误差，为平均允许简化误差，D(d)为满足D(d)<d的减函数。


4.根据权利要求1所述的基于冗余肌肉骨骼系统的阶段式运动控制方法，其特征在于，步骤S50中“基于各肌腱力，获取肌肉骨骼系统t时刻的实际运动状态”，其方法为：
基于各肌腱力，获取每个关节对应的实际的关节力矩；
根据各关节的关节力矩，采用牛顿-欧拉算法得到各关节对应的角加速度；
获取关节角度，基于各关节对应的关节角度和角加速度获取肌肉骨骼系统t时刻的实际运动状态。


5.根据权利要求1所述的基于冗余肌肉骨骼系统的阶段式运动控制方法，其特征在于，步骤S80中“通过Q-network算法更新各肌肉对应的神经刺激信号”，其方法为：
步骤S81，根据所述t时刻带噪声的实际运动状态、所述t+1时刻带噪声的实际运动状态，基于Q-network算法获取t时刻的行动值和t+1时刻的行动值；
步骤S82，基于所述t时刻的行动值、所述t+1时刻的行动值，采用梯度下降法更新所述t时刻的行动值；
步骤S8...

【专利技术属性】
技术研发人员：周俊杰，陈嘉浩，邓虎，乔红，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11