一种机器人的视觉跟随控制方法及机器人技术

本发明专利技术涉及一种机器人的视觉跟随控制方法及机器人，传感器检测单元检测周围环境获取环境的深度数据图，并将获取的深度数据图传送给数据处理控制单元；数据处理控制单元接收到深度数据图后对数据进行处理，获取真实世界坐标系，对环境中的人和障碍物进行识别，并对跟随目标进行骨架和动作识别和跟踪，获取执行命令；运动执行单元根据获取的跟随目标信息控制机器人对跟随目标进行跟踪，根据获取的执行命令对机器人进行控制，执行所述命令。本发明专利技术可以快速识别跟随目标，完成对多人环境中跟随目标的有效辨识，在跟随过程中根据跟随目标的位置变化迅速做出反应，适应绝大多数的商用应用场景。

【技术实现步骤摘要】

本专利技术涉及机器人领域，特别涉及一种机器人的视觉跟随控制方法及机器人。
技术介绍
随着机器人相关技术不断在生产生活领域的应用，人们对机器人的交互功能需求越来越高，机器人跟随技术是人机交互领域的重要组成部分，机器人跟随技术在机器人家用、商用以及军用多个领域都有重要的作用。目前的机器人跟随技术大部分存在两种缺陷，一是无法在多人环境下实现目标跟随，二手在跟随过程中无法与人进行有效的动作交互，本专利技术就是在这样的背景下诞生的，实现复杂环境跟随并为用户提供友好的跟随交互。
技术实现思路
本专利技术的目的在于提供一种机器人的视觉跟随控制方法及机器人，解决机器人应用过程中的跟随问题，重点解决多人环境下的目标跟随以及目标跟随过程中的动作识别问题。本专利技术提供了一种机器人的视觉跟随控制方法，所述机器人包括传感器检测单元，数据处理控制单元，和运动执行单元，所述控制方法包括：步骤一：传感器检测单元检测周围环境获取环境的深度数据图，并将获取的深度数据图传送给数据处理控制单元；步骤二：数据处理控制单元接收到深度数据图后对数据进行处理，获取真实世界坐标系，对环境中的人和障碍物进行识别，并对跟随目标进行骨架和动作识别和跟踪，获取执行命令；步骤三：运动执行单元根据获取的跟随目标信息控制机器人对跟随目
标进行跟踪，根据获取的执行命令对机器人进行控制，执行所述命令。步骤一中，传感器检测单元使用景深摄像头通过景深红外发射装置和接受装置生成红外线光编码图，最后算出深度图，通过深度图可以获得人物影像，人物骨架。步骤二中包括目标位置，所述目标位置跟踪中需要进行目标识别，根据识别出来的人物进行编号，并对人物的骨骼比例进行记录。步骤二中在完成人物识别之后根据人物的深度图像不断通过加权质心算法计算跟踪目标的质心，根据质心判断人物目标的位置变化，得到目标质心之后，转化为真实世界坐标系，计算目标距离机器人的距离和偏移角度，完成跟随目标位置的跟踪。步骤二中包括目标动作识别，所述目标动作识别采用openni手势库和nite骨架相结合，可以识别目标动作，根据识别出来的动作获取执行命令。步骤三中机器人根据跟随目标的距离和角度确定是否需要进行调整，如果偏离角度大于设定角度或者距离大于设定的跟随距离，就进行跟随。步骤三中跟随开始前会利用通过深度图去生成环境路径地图进行路径规划，动态路径规划过程中会根据机器人的可行半径进行可行目标点搜索，如果没有可行路径控制机器人就保持静止，得到可行路径控制机器人就会根据目标的位置进行跟踪，并根据目标的位置变化不断调整运动轨迹。步骤三中机器人根据用户的动作完成相应的操作，并在跟随过程中良好的交互。一种具有上述控制方法的机器人。本专利技术所述控制方法及机器人可以快速识别跟随目标，并可以完成对多人环境中跟随目标的有效辨识，在跟随过程中根据跟随目标的位置变化迅速做出反应，并可以根据用户的手势做出交互响应，实现了机器人复杂环境的跟随交互，能适应绝大多数的商用应用场景。附图说明图1是本专利技术所述控制方法流程图具体实施方式将结合附图描述根据本专利技术的恒压涨紧装置和履带式机器人的具体实施方式。下面的详细描述和附图用于示例性地说明本专利技术的原理，本专利技术不限于所描述的优选实施例，本专利技术的范围由权利要求书限定。本专利技术所述一种机器人的视觉跟随控制方法，所述机器人包括传感器检测单元，数据处理控制单元，和运动执行单元，如图1所示，所述控制方法包括：步骤一：传感器检测单元检测周围环境获取环境的深度数据图，并将获取的深度数据图传送给数据处理控制单元；该种方法操作简单，获取的数据信息准确可靠。步骤二：数据处理控制单元接收到深度数据图后对数据进行处理，获取真实世界坐标系，对环境中的人和障碍物进行识别，并对跟随目标进行骨架和动作识别和跟踪，获取执行命令；步骤三：运动执行单元根据获取的跟随目标信息控制机器人对跟随目标进行跟踪，根据获取的执行命令对机器人进行控制，执行所述命令。步骤一中，传感器检测单元使用景深摄像头通过景深红外发射装置和接受装置生成红外线光编码图，最后算出深度图，通过深度图可以获得人物影像，人物骨架。景深摄像头使用xtion通过景深红外发射和接受装置生成红外线光编码图，最后算出深度图，深度图通过openni和nite加工后可以获得人物影像，人物骨架。步骤二中包括目标位置，所述目标位置跟踪中需要进行目标识别，根据识别出来的人物进行编号，并对人物的骨骼比例进行记录。目标位置跟踪首先需要进行目标识别，根据openni识别出来的人物进行编号，并对人物的骨骼比例进行记录，可以做到多人物环境中的人物目标区分。在跟踪目标从机器人视野消失和返回后可以通过骨骼比例比对继续进行目标跟踪，保证在多人环境中的稳定性，解决了大部分机器人视野受限后无法继续跟随的问题。在完成人物识别之后根据人物的深度图像不断通过加权质心算法计算跟踪目标的质心，根据质心判断人物目标的位置变化，得到目标质心之后，转化为真实世界坐标系，计算目标距离机器人的距离和偏移角度，完成跟随目标位置的跟踪。目标动作识别采用openni手势库和nite骨架相结合，可以识别目标动作，根据识别出来的动作获取执行命令。可以识别目标抬手，挥手等动作以及众多的姿势识别，根据识别出来的动作传输给运动执行部分进行相应的处理。步骤三中机器人根据跟随目标的距离和角度确定是否需要进行调整，如果偏离角度大于设定角度或者距离大于设定的跟随距离，就进行跟随。跟随开始前会利用通过深度图去生成环境路径地图进行路径规划，动态路径规划过程中会根据机器人的可行半径进行可行目标点搜索，如果没有可行路径控制机器人就保持静止，得到可行路径控制机器人就会根据目标的位置进行跟踪，并根据目标的位置变化不断调整运动轨迹。机器人根据用户的动作完成相应的操作，并在跟随过程中良好的交互。机器人跟随过程中需要的运动指令分为左转、右转、向前走、向左前走、向右前走等命令，运动指令可以控制机器人运动的具体时间和距离。一种具有上述控制方法的机器人，所述机器人包括传感器检测单元，数据处理控制单元，和运动执行单元：所述传感器检测单元中，使用景深摄像头，传感器的景深摄像头使用xtion通过景深红外发射和接受装置生成红外线光编码图，最后算出深度图，深度图通过openni和nite加工后可以获得人物影像，人物骨架。所述数据处理控制单元中，数据处理层要完成目标位置的跟踪和目标动作的识别。目标位置跟踪首先需要进行目标识别，根据openni识别出来的人物进行编号，并对人物的骨骼比例进行记录，可以做到多人物环境中的人物目标区分。在跟踪目标从机器人视野消失和返回后可以通过骨骼比例比对继续进行目标跟踪，保证在多人环境中的稳定性，解决了大部分机器人视野受限后无法继续跟随的问题。在完成人物识别之后需要根据人物的深度图像不断通过加权质心算法计算跟踪目标的质心，根据质心判断人物目标的位置变化。得到目标质心之后，转化为真实世界坐标系，计算目
标距离机器人的距离和偏移角度，完成跟随目标位置的跟踪。目标动作识别部分采用openni手势库和nite骨架相结合，可以识别目标抬手，挥手等动作以及众多的姿势识别，根据识别出来的动作传输给运动执行单元进行相应的处理。所述运动执行单元：根据数据处理层得到的人物位置信息和用户本文档来自技高网...

【技术保护点】
一种机器人的视觉跟随控制方法，其特征在于，所述机器人包括传感器检测单元，数据处理控制单元，和运动执行单元，所述控制方法包括：步骤一：传感器检测单元检测周围环境获取环境的深度数据图，并将获取的深度数据图传送给数据处理控制单元；步骤二：数据处理控制单元接收到深度数据图后对数据进行处理，获取真实世界坐标系，对环境中的人和障碍物进行识别，并对跟随目标进行骨架和动作识别和跟踪，获取执行命令；步骤三：运动执行单元根据获取的跟随目标信息控制机器人对跟随目标进行跟踪，根据获取的执行命令对机器人进行控制，执行所述命令。

【技术特征摘要】
1.一种机器人的视觉跟随控制方法，其特征在于，所述机器人包括传感器检测单元，数据处理控制单元，和运动执行单元，所述控制方法包括：步骤一：传感器检测单元检测周围环境获取环境的深度数据图，并将获取的深度数据图传送给数据处理控制单元；步骤二：数据处理控制单元接收到深度数据图后对数据进行处理，获取真实世界坐标系，对环境中的人和障碍物进行识别，并对跟随目标进行骨架和动作识别和跟踪，获取执行命令；步骤三：运动执行单元根据获取的跟随目标信息控制机器人对跟随目标进行跟踪，根据获取的执行命令对机器人进行控制，执行所述命令。2.根据权利要求1所述的一种机器人的视觉跟随控制方法，其特征在于：步骤一中，传感器检测单元使用景深摄像头通过景深红外发射装置和接受装置生成红外线光编码图，最后算出深度图，通过深度图可以获得人物影像，人物骨架。3.根据权利要求1所述的一种机器人的视觉跟随控制方法，其特征在于：步骤二中包括目标位置，所述目标位置跟踪中需要进行目标识别，根据识别出来的人物进行编号，并对人物的骨骼比例进行记录。4.根据权利要求3所述的一种机器人的视觉跟随控制方法，其特征在于：步骤二中在完成人物识别之后根据人物的深度图像不断通过加权质心算法计算跟踪目标的质...

【专利技术属性】
技术研发人员：王运志，
申请(专利权)人：北京克路德人工智能科技有限公司，
类型：发明
国别省市：北京;11