一种结合心理安全以及运动预测的机械臂运动规划方法及系统技术方案

本发明专利技术公开了一种结合心理安全以及运动预测的机械臂运动规划方法及系统，包括步骤：实时采集人的头部、眼神朝向以及脸部表情图像，并对采集的图像进行处理；根据得到头部和眼神的图像，预测人的手臂运动距离；根据预测的手臂运动优化机械臂运动轨迹；根据脸部表情调整机械臂运动速度和步长。本发明专利技术实现了在人机交互中实时地检测人的头部或眼神转向以及脸部表情，通过头部或眼神转向以及脸部表情控制机器人的运动速度和步长，同时通过头部或眼神转向预测人的运动，从而在实现动态避障的基础上，优化机械臂的运动轨迹，最终确保人机交互中人的人身安全和心理安全。互中人的人身安全和心理安全。互中人的人身安全和心理安全。

【技术实现步骤摘要】
一种结合心理安全以及运动预测的机械臂运动规划方法及系统


[0001]本专利技术公开了一种结合心理安全以及运动预测的机械臂运动规划方法及系统。

技术介绍

[0002]这里的陈述仅提供与本专利技术相关的
技术介绍
，而不必然地构成现有技术。
[0003]专利技术人发现随着机器人技术的快速发展以及5G时代的到来，人机共存环境越来越普遍，人机交互和人机协作中的人机安全问题至关重要。目前的动态避障方法可以根据障碍物的运动状态及时地进行运动规划得到有效路径，但是对于多关节运动的机械臂来说，为了到达运动规划计算出的指定点，运动过程可能会有奇异的运动方式，这会给人机交互中的人们造成心理不适。同时，处于机械臂附近的动态障碍物突然运动也会导致机械臂的运动出现抖动甚至是尖峰，从而会影响人机交互中人们的心理安全。

技术实现思路

[0004]针对现有技术存在的不足，本专利技术的目的是提供一种结合心理安全以及运动预测的机械臂运动规划方法，该方法使得机械臂可以根据人的脸部表情自适应调整运动速度和步长，同时根据人的头部和眼神朝向预测下一时刻的运动位置，以此优化机械臂的运动规划，从而在实现人身安全的基础上，确保心理安全。相比于现有的动态避障方法，该方法使得机械臂在实现动态避障的基础上，机械臂的运动路径可以更加平缓，从而确保人身安全以及心理安全，使得人们有更好的人机交互体验。
[0005]为了实现上述目的，本专利技术是通过如下的技术方案来实现：
[0006]第一方面，本专利技术的实施例提供了一种结合心理安全以及运动预测的机械臂运动规划方法，包括以下步骤：
[0007]步骤1实时采集人的头部、眼神朝向以及脸部表情图像，并对采集的图像进行处理；
[0008]步骤2根据步骤1中得到头部和眼神的图像，预测人的手臂运动；
[0009]步骤3根据预测的手臂运动优化机械臂运动轨迹；
[0010]步骤4根据脸部表情调整机械臂运动速度和步长。
[0011]第二方面，本专利技术实施例还提供了一种结合心理安全以及运动预测的机械臂运动规划系统，如下：
[0012]第一模块，其被配置为实时采集人的头部、眼神朝向以及脸部表情图像，并对采集的图像进行处理；
[0013]第二模块，其被配置为根据采集的头部和眼神的图像，预测人的手臂运动；
[0014]第三模块，其被配置为根据预测的手臂运动优化机械臂运动轨迹；
[0015]第四模块，其被配置为根据脸部表情调整机械臂运动速度和步长。
[0016]第三方面，本专利技术还提供了一种计算机可读存储介质，所述存储介质上存储有机
械运动规划程序，所述机械运动规划程序被处理器执行时实现前面所述的结合心理安全以及运动预测的机械臂运动规划方的步骤。
[0017]第四方面，本专利技术还提供了一种服务器，所述服务器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机械运动规划程序，所述机械运动规划程序被处理器执行时实现前面所述的结合心理安全以及运动预测的机械臂运动规划方的步骤。
[0018]上述本专利技术的实施例的有益效果如下：
[0019]本专利技术实现了在人机交互中实时地检测人的头部或眼神转向以及脸部表情，通过头部或眼神转向以及脸部表情控制机器人的运动速度和步长，同时通过头部或眼神转向预测人的运动，从而在实现动态避障的基础上，优化机械臂的运动轨迹，最终确保人机交互中人的人身安全和心理安全。
附图说明
[0020]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0021]图1(a)是本专利技术实施例部分OpenFace2.0处理的头部和眼神稍微朝向左方的示意图；
[0022]图1(b)是本专利技术实施例部分OpenFace2.0处理的头部和眼神朝向左方的示意图；
[0023]图1(c)是本专利技术实施例部分OpenFace2.0处理的开心情绪的示意图；
[0024]图1(d)是本专利技术实施例部分OpenFace2.0处理的开心情绪对应的脸部动作单元；
[0025]图1(e)是本专利技术实施例部分OpenFace2.0处理的悲伤情绪的示意图；
[0026]图1(f)是本专利技术实施例部分OpenFace2.0处理的悲伤情绪对应的脸部动作单元；
[0027]图2是本专利技术实施例部分人的手臂运动距离和头部或眼神转向角度的拟合曲线；
[0028]图3是实验场景的四帧图片；
[0029]图4(a)、图4(b)则分别是单纯动态避障和结合运动预测并考虑心理安全的动态避障三维轨迹图。
具体实施方式
[0030]应该指出，以下详细说明都是例示性的，旨在对本专利技术提供进一步的说明。除非另有指明，本专利技术使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0031]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非本专利技术另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合；
[0032]正如
技术介绍
所介绍的，现有技术中存在不足，为了解决如上的技术问题，本专利技术提出了一种结合心理安全以及运动预测的机械臂运动规划方法及系统。
[0033]实施例1
[0034]本专利技术的一种典型的实施方式中，提出了一种结合心理安全以及运动预测的机械臂动态避障方法。该方法使得机械臂可以根据人的脸部表情自适应调整运动速度和步长，
同时根据人的头部和眼神朝向预测下一时刻的运动位置，以此优化机械臂的运动规划，从而在实现人身安全的基础上，确保心理安全。相比于现有的动态避障方法，该方法使得机械臂在实现动态避障的基础上，机械臂的运动路径可以更加平缓，从而确保人身安全以及心理安全，使得人们有更好的人机交互体验，本实施例的方案实现步骤如下：
[0035]步骤1、实时处理图像得到人的头部和眼神朝向以及脸部表情
[0036]使用一个开源、功能强大并且使用方便的OpenFace2.0工具实时处理摄像头捕捉的图像，得到人的头部和眼神朝向以及脸部表情，如图1(a)、图1(b)、图1(c)、图1(d)、图1(e)、图1(f)对于摄像头捕捉的每一帧图像，使用OpenFace2.0得到人脸的轮廓并且框出来，眼神的注视朝向也用一种不同的颜色线段表示；同时，不同的脸部表情会有不同的脸部动作单元数值，根据这个数值可以推断脸部表情。
[0037]步骤2、根据头部或眼神朝向预测人的运动
[0038]在人机交互中，当人的头部或者眼神没有朝向机器人，我们可以预测人手臂的运动方向和头部或眼神的朝向是一致的，并且手臂运动距离和头部或眼神的转向角度之间的关系可以通过实验数据拟合得到，如图2。从拟合曲线可知，手臂运动距离和头部或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合心理安全以及运动预测的机械臂运动规划方法，其特征在于，包括以下步骤：步骤1实时采集人的头部、眼神朝向以及脸部表情图像，并对采集的图像进行处理；步骤2根据步骤1中得到头部和眼神的图像，预测人的手臂运动距离；步骤3根据预测的手臂运动优化机械臂运动轨迹；步骤4根据脸部表情调整机械臂运动速度和步长。2.如权利要求1所述的结合心理安全以及运动预测的机械臂运动规划方法，其特征在于，步骤1中，捕捉头部、眼神朝向以及脸部表情的每一帧图像，得到人脸的轮廓并且利用线段框出，眼神的注视朝向也用线段表示出；不同的脸部表情会有不同的脸部动作单元数值，根据这个数值可推断脸部表情。3.如权利要求1所述的结合心理安全以及运动预测的机械臂运动规划方法，其特征在于，步骤2中，手臂运动距离和头部或眼神转向角度的关系表达式为其中A
t
表示某一时刻的转向角度，A
t_max
表示可以检测的头部或眼神最大转向角度值，D
arm_max
是转向角度最大值时相对应的手臂运动距离，D
arm
是手臂运动距离。4.如权利要求3所述的结合心理安全以及运动预测的机械臂运动规划方法，其特征在于，步骤3中，通过预测的手臂运动得到下一时刻手臂的运动位置和速度的表达式分别为其中P
t
表示当前时刻手臂的位置，P
t
‑1表示上一时刻手臂的位置，D
arm
则是步骤2中预测的手臂运动距离，Δt则是上一时刻机械臂运动的时长；在得到预测的手臂运动位置和速度后，对改进的人工势场法计算结果进行更新，则可优化机械臂运动轨迹。5.如权利要求1所述的结合心理安全以及运动预测的机械臂运动规划方法，其特征在于，步骤4中，当人的头部或眼神朝向没有偏离，此时在机械臂运动规划时考虑人的脸部表情；当脸部...

【专利技术属性】
技术研发人员：刘国良，凌和靖，田国会，
申请(专利权)人：山东大学，
类型：发明
国别省市：