基于视觉实时示教与自适应DMPS的机械臂运动控制方法和系统技术方案

本发明专利技术涉及一种基于视觉实时示教与自适应DMPS的机械臂运动控制方法和系统。首先设定示教物，然后控制示教物进行示范运动，使用Kinect获取深度图并结合PnP算法对示教物进行三维位姿定位与跟踪，建立空间映射系统将示教物位姿映射到机械臂末端，根据逆运动学解算机械臂各关节控制信息并实时发送以间接控制机械臂运动，最后在线记录示教运动信息并运用自适应DMPS算法对其进行局部线性优化与学习。本发明专利技术摆脱了传统示教模式中机械臂硬件结构的束缚与对复杂传感器的依赖，降低了示教的硬件成本与示教难度，无接触特性增强了示教过程的安全性的同时还具有广泛适用性，本发明专利技术提出的自适应DMPS方法使整个系统具有良好的抗干扰性。

Control Method and System of Manipulator Motion Based on Visual Real-time Teaching and Adaptive DMPS

The invention relates to a manipulator motion control method and system based on visual real-time teaching and adaptive DMPS. Firstly, the teaching material is set up, and then the demonstration motion is controlled. Kinect is used to obtain depth map and PnP algorithm is used to locate and track the teaching material in three dimensions. A space mapping system is established to map the teaching material position and attitude to the end of the manipulator. According to the inverse kinematics, the control information of each joint of the manipulator is calculated and sent in real time to indirectly control the manipulator motion. Finally, the motion of the manipulator is recorded online. Teach motion information and use adaptive DMPS algorithm to optimize and learn its local linearity. The invention gets rid of the restriction of the hardware structure of the manipulator and the dependence on complex sensors in the traditional teaching mode, reduces the hardware cost and difficulty of teaching, enhances the safety of teaching process and has wide applicability at the same time, and the self-adaptive DMPS method proposed by the invention makes the whole system have good anti-interference performance.

【技术实现步骤摘要】
基于视觉实时示教与自适应DMPS的机械臂运动控制方法和系统
本专利技术属于机械臂运动规划领域，具体涉及一种基于QR码(二维条码的一种)进行的机械臂在线视觉示教学习的运动控制方法和系统。
技术介绍
运动规划主要针对机器人上具有高维度运动空间的机械臂模块，不同于平面的路径规划，其主要分为关节空间轨迹规划与笛卡尔空间轨迹规划两大类，前者在传统中主要运用样条插值方法，后者主要运用空间直线或者空间圆弧等规划方法。由于机械臂自身的多自由度空间特性，使得这几种方法实际运用中不仅规划计算复杂大，还对于每一个新的目标都要重新计算运动过程中机械臂的每个姿态，尤其当机械臂与运动目标点之间存在障碍物时，传统的方法更难规划出机械臂的运动，所以传统方法存在计算复杂、智能化低、适应性差等缺陷。美国莱斯大学Kavraki等人开发的开源运动规划库(OpenMotionPlanningLibrary，OMPL)成为目前主流机械臂运动规划平台。在OMPL中适用于高维的运动规划方法主要有概率路图法(ProbabilisticRoadMap，PRM)、快速拓展随机树法(RapidlyRandomTree，RRT)与人工势场法等，这些算法使用不同的采样方式搜索区域，具有规划速度快、概率完备等优点，但由于算法随机采样的特性，使得同一任务每次规划的结果都不同，不仅有时无法达到满意的规划效果，还无法对规划结果作出预判。近年来，机器学习发展迅速，研究者们致力于开发示教学习模式的机械臂运动方法让机械臂的使用变得简单。如何对机械臂进行在线示教是研发的一大难题，一些研究机构采用定制的可示教类型的机械臂如KUKA机械臂，此类机械臂可将机械臂与使用者手臂绑定使其同时运动进行在线示教，这类方法不仅需要专业的硬件设备，示教过程还存在着一定的危险性；另一些研究机构采用大量的传感器安于使用者运动部位进行示教，这种方法既需要依赖大量且昂贵的传感器，又容易出现干扰等问题影响学习效果，当减少传感器数量时无法保证精度，而为了增加精度又不得不人为配置若干辅助装置。因而如何实施一种既安全又适用性广泛的示教方法是业界一直追求的目标。
技术实现思路
本专利技术针对上述机械臂运动规划领域示教学习模式中示教困难与学习抗干扰性差等问题，提出一种基于视觉实时示教与自适应DMPS的机械臂运动控制方法和系统，该方法大幅减少传感器数目并保证精度，摆脱了传统示教模式中机械臂硬件结构的束缚与对复杂传感器的依赖，降低了示教的硬件成本与示教难度，无接触特性增强了使用者安全性的同时还具有广泛适用性，针对示教信息存在干扰等问题，本专利技术提出的自适应DMPS方法使整个系统具有良好的抗干扰性。为解决上述技术问题，本专利技术采用如下技术方案：一种基于视觉实时示教与自适应DMPS的机械臂运动控制方法，其特征在于通过计算机视觉对具有设定QR码特征的示教物进行三维位姿识别、定位、跟踪，QR码中心为二维码示教识别部位，二维码示教识别部位外围为白色矩形区域和四角的黑色小矩形连接形成的矩形框；同时建立空间映射系统将示教物空间信息映射到机械臂末端，示教时使用者通过操控示教物间接实时控制机械臂运动。进一步的，上述方法包括如下步骤：首先设定示教物，通过控制示教物进行示范运动，使用Kinect摄像头获取深度图并结合PnP算法对示教物进行识别、三维位姿定位与跟踪；建立空间映射系统将示教物空间位姿映射到机械臂末端位姿，根据逆运动学实时解算得出各关节角控制信息并发送给机械臂间接实时控制机械臂运动，最后在线采集记录示教运动信息并运用自适应DMPS算法对运动信息进行局部线性优化与学习；所述示教物深度信息主要从Kinect深度摄像头得到的深度图中提取。进一步的，在线记录示教运动信息并运用自适应DMPS算法对其进行局部线性优化与学习的过程如下：在线记录训练时示教物空间运动特征，将记录的运动特征先进行三自由度分解，并在每个自由度上运用DMPS进行学习得到最佳非线性项权证序列，设定新目标空间信息并在每个自由度上泛化出对新目标的运动特征；设定泛化后目标精度阈值，学习泛化效果的好坏通过泛化结果是否符合精度阈值来判断，当示教运动中存在的干扰导致学习泛化结果超出精度阈值时，将超出阈值对应自由度上的样本进行局部最小二乘高阶多项拟合进行优化，将优化后的样本运动特征重新运用DMPS学习泛化，使泛化结果最终能精确泛化到新目标点；根据最终符合阈值的三自由度泛化结果在同一正则系统下拟合成机械臂末端空间运动特征，然后由逆动力学解算出机械臂各关节的运动信息控制机械臂运动。上述技术方案中，示教运动信息与机械臂命令信息在ROS下实时交互于以下步骤：步骤1：搭建ROS环境，建立Kinect摄像头、机械臂信息交互节点，校正Kinect摄像头参数并设置图像传输大小与频率；初始化机械臂的控制模块，设置机械臂命令接收与发布频率；步骤2：设定具有设定QR码的物体为示教物，使用Kinect摄像头对设定QR码进行识别，结合识别结果与相应深度信息图提取示教物深度信息，通过设定QR码图像二维信息与深度信息通过PnP算法求解其空间位姿，同时在示教物QR码处建立三维位姿坐标系；用于求解PnP算法的4个已知点为识别设定QR码外围四个黑色小矩形的中心点；步骤3：建立机械臂D-H模型，根据正运动学设计机械臂末端相对于基座转换系统，然后结合示教物相对于Kinect的空间位姿建立空间映射系统；步骤4：在Kinect摄像头前控制示教物进行示范运动，在线记录示范运动中示教物三维运动信息；步骤5：根据步骤3中建立的空间映射系统将示教物运动映射为机械臂末端运动，由逆动力学解算出机械臂各关节的运动信息，通过节点向下位机运动控制卡发送关节运动命令驱动机械臂实时运动，实现机械臂视觉实时示教；步骤6：将步骤4记录的训练运动信息在x、y、z三自由度上分解为三个一维的运动信息，单个一维运动信息为一组位移、速度和加速度的连续时间序列表示，取步长Δt将所述运动信息离散化，此时t∈{Δt，2Δt，…，nΔt}，运动起点x0＝xdemo(0)，终点g＝xdemo(0)，运动时间常数τ＝nΔt，在三个自由度上分别利用DMPS算法对单自由度运动特征进行学习，计算出学习权重序列wi；步骤7：设定新的运动目标与泛化精度阈值，通过学习得到的权重序列与新目标信息泛化出新目标运动特征，若某一自由度的泛化结果大于精度阈值，则对相应自由度的训练运动特征进行局部最小二乘高阶多项拟合进行优化，并将优化后的训练运动返回步骤6重新学习；步骤8：将步骤7中学习所得到的x、y、z三个符合精度要求的新目标一维运动特征在同一正则系统下进行拟合，得到机械臂对于新目标的三维空间运动信息，接着运用逆运动学将其分解，解算机械臂各关节的运动信息；步骤9：将步骤8所得的机械臂各关节的运动信息发送给下位机运动控制卡，使机械臂根据运动信息自主精确地运动到新目标点。上述技术方案中，步骤1中，设置图像大小为640×480，图像获取频率为每秒30帧，设置机械臂节点命令发布与接收频率为30HZ。上述技术方案中，步骤2中，，示教物定位算法为PnP算法，示教物深度信息为Kinect深度图中设定QR码中心深度；定位精度为1mm。上述技术方案中，步骤3中，设置空间转换系统中连接点为Kinect与机械臂基座，即示本文档来自技高网...

【技术保护点】
1.一种基于视觉实时示教与自适应DMPS的机械臂运动控制方法，其特征在于通过计算机视觉对具有设定QR码特征的示教物进行三维位姿识别、定位、跟踪，QR码中心为二维码示教识别部位，二维码示教识别部位外围为白色矩形区域和四角的黑色小矩形连接形成的矩形框；同时建立空间映射系统将示教物空间信息映射到机械臂末端，示教时使用者通过操控示教物间接实时控制机械臂运动。

【技术特征摘要】
1.一种基于视觉实时示教与自适应DMPS的机械臂运动控制方法，其特征在于通过计算机视觉对具有设定QR码特征的示教物进行三维位姿识别、定位、跟踪，QR码中心为二维码示教识别部位，二维码示教识别部位外围为白色矩形区域和四角的黑色小矩形连接形成的矩形框；同时建立空间映射系统将示教物空间信息映射到机械臂末端，示教时使用者通过操控示教物间接实时控制机械臂运动。2.根据权利要求1所述的基于视觉实时示教与自适应DMPS的机械臂运动控制方法，其特征在于上述方法包括如下步骤：首先设定示教物，通过控制示教物进行示范运动，使用Kinect摄像头获取深度图并结合PnP算法对示教物进行识别、三维位姿定位与跟踪；建立空间映射系统将示教物空间位姿映射到机械臂末端位姿，根据逆运动学实时解算得出各关节角控制信息并发送给机械臂间接实时控制机械臂运动，最后在线采集记录示教运动信息并运用自适应DMPS算法对运动信息进行局部线性优化与学习；所述示教物深度信息主要从Kinect深度摄像头得到的深度图中提取。3.根据权利要求1所述的基于视觉实时示教与自适应DMPS的机械臂运动控制方法，其特征在于在线记录示教运动信息并运用自适应DMPS算法对其进行局部线性优化与学习的过程如下：在线记录训练时示教物空间运动特征，将记录的运动特征先进行三自由度分解，并在每个自由度上运用DMPS进行学习得到最佳非线性项权证序列，设定新目标空间信息并在每个自由度上泛化出对新目标的运动特征；设定泛化后目标精度阈值，学习泛化效果的好坏通过泛化结果是否符合精度阈值来判断，当示教运动中存在的干扰导致学习泛化结果超出精度阈值时，将超出阈值对应自由度上的样本进行局部最小二乘高阶多项拟合进行优化，将优化后的样本运动特征重新运用DMPS学习泛化，使泛化结果最终能精确泛化到新目标点；根据最终符合阈值的三自由度泛化结果在同一正则系统下拟合成机械臂末端空间运动特征，然后由逆动力学解算出机械臂各关节的运动信息控制机械臂运动。4.根据权利要求1所述的基于视觉实时示教与自适应DMPS的机械臂运动控制方法，其特征在于示教运动信息与机械臂命令信息在ROS下实时交互于以下步骤：步骤1：搭建ROS环境，建立Kinect摄像头、机械臂信息交互节点，校正Kinect摄像头参数并设置图像传输大小与频率；初始化机械臂的控制模块，设置机械臂命令接收与发布频率；步骤2：设定具有设定QR码的物体为示教物，使用Kinect摄像头对设定QR码进行识别，结合识别结果与相应深度信息图提取示教物深度信息，通过设定QR码图像二维信息与深度信息通过PnP算法求解其空间位姿，同时在示教物QR码处建立三维位姿坐标系；用于求解PnP算法的4个已知点为识别设定QR码外围四个黑色小矩形的中心点；步骤3：建立机械臂D-H模型，根据正运动学设计机械臂末端相对于基座转换系统，然后结合示教物相对于Kinect的空间位姿建立空间映射系统；步骤4：在Kinect摄像头前控制示教物进行示范运动，在线记录...

【专利技术属性】
技术研发人员：吴怀宇，张思伦，陈洋，吴杰，梅壮，代雅婷，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：湖北,42