基于主-辅通道融合的机械臂抓取定位方法技术

本发明专利技术公开了一种基于主

【技术实现步骤摘要】
基于主
‑
辅通道融合的机械臂抓取定位方法


[0001]本专利技术属于人机交互领域，具体涉及基于主
‑
辅通道融合的机械臂抓取定位方法。

技术介绍

[0002]人机交互技术是一门研究系统与用户之间交互关系的系统学问，其要广泛体现用户意图，旨在不断提升表达意图的用户体验。传统的人机交互方式多为单一通道的界面、键盘等交互方式，依靠用户的单一视觉、触觉信息进行意图的表达显示，但当前用户与计算机交互方式多样性以及信息交互多样性的快速发展，单一的界面交互模式已经不能满足人们日常的交互任务，因此如何提高人机交互的自然协作性成为了一个亟待解决的问题
[0003]多通道人机交互技术，通过一定的方法将多种通道进行协调，允许用户使用多个通道进行信息输入，并且能够通过多个通道给用户进行信息反馈。面对同一时刻的多种信息来源，快速发展的计算机处理技术进行灵活的多通道信息的交互，可显著提高人机交互的协调性、高效性和趣味性。
[0004]视觉通道、手势通道和语音通道作为人与外界交互的最基本、最常用的方式，具有直接性、自然性和双向性等行为特征，广泛应用于人机交互的研究中。通过一定的融合方法将多种通道进行协调，允许用户灵活选择主要通道，并允许多个辅助通道进行实时输入补充人机交互信息，丰富控制信息。用户可以通过更多的输入方式进行更为复杂的操作，并能够从计算机中获取更加丰富的信息，多通道融合计算的快速应用和发展对于提高使用者意图表达体验，提高意图表达准确性和灵活性有重要的现实意义。

技术实现思路
r/>[0005]为解决上述问题，本专利技术公开了基于主
‑
辅通道融合的机械臂抓取定位方法，提供主通道主导的多通道融合策略，利用主通道语音控制与辅助通道视觉指示定位控制高效进行目标定位与抓取，利用指示定位与目标检测结合的目标定位方法，最大程度满足用户日常目标选择习惯，提高复杂环境下人机交互效率。
[0006]为达到上述目的，本专利技术的技术方案如下：
[0007]基于主
‑
辅通道融合的机械臂抓取定位系统其特征在于：包括主通道语音模块、辅助通道手势模块、主
‑
辅通道融合模块、计算机数据处理与通信模块和机械臂模块，其中主通道语音模块用于提供连续性机械臂语音控制命令，辅助通道手势模块用于获取kinect相机深度信息和RGB信息，并利用上述信息进行目标物体的指示定位，主
‑
辅通道融合模块用于对主通道语音信息和辅助通道手势指示信息进行信息融合，得到kinect下目标物体具体位置、属性信息，计算机数据处理与通信模块用于将kinect下目标物体位置转换为机械臂下目标物体位置，并传输给机械臂控制模块进行目标物体抓取，最后机械臂模块对机械臂下目标物体进行轨迹规划与抓取。本系统同时提供基于主
‑
辅通道融合的机械臂抓取定位方法，具体实现为语音通道获取用户机械臂目标物体抓取指令信息，手势通道获取手势信息和物体检测信息确定目标物体位置和属性信息，包括基于深度学习的指示行为目标选择
方法：基于深度学习实时检测21个手部关键点坐标信息，选择食指指尖和末端关键点指示方向得到目标物体方向，发布kinect坐标系下该直线方向tf变换；基于深度学习的目标检测方法：根据采集到的kinect相机深度信息和RGB信息，使用YOLO v3网络结构训练数据集，获取相机视野范围内待选择目标物体位置和属性信息，发布kinect坐标系下tf变换；指示行为结合目标检测的目标定位方法：根据上述两种方法的直线方向和待选择目标物体位置信息，直线方向与待选择目标物体位置重合确定目标物体，并存储该目标物体属性信息和位置信息作为辅助通道提供的信息。对于采集到的主通道语音信息和辅助通道手势信息，采取主
‑
辅通道融合算法确定的目标物体位置和属性信息。其中，主
‑
辅通道融合算法具体实现为：根据所述目标物体位置和属性信息建立任务指令结构，匹配机械臂控制任务，建立连续性任务指令存储结构；根据主通道语音通道信息和并发性辅助手势通道信息，提取主通道目标物体属性和机械臂控制动作，提取目标物体具体三维位置和属性；在融合时间阈值内填充任务控制指令，填充包括主通道机械臂控制动作、主通道目标物体属性与辅助通道目标物体属性匹配、辅助通道目标物体三维位置；根据任务控制指令填充情况，进行任务指令存储结构更新。其中涉及主
‑
辅通道融合算法的任务指令存储结构，其是一种“双向队列式”任务指令储存结构，采用单例设计模式，任务控制指令更新仅由主通道主导进行，不完整任务的删除仅由辅助通道完成。该存储结构任务指令经计算机数据处理与通信模块映射为机械臂控制指令，交由机械臂模块执行，对于辅助通道手势模块kinect下目标物体位置，需转换为机械臂坐标系下位置，具体实现为：根据辅助通道手势模块RGB信息中图像坐标系、像素坐标系和相机坐标系转化关系，结合机械臂模块机械臂位置，多次计算目标物体在相机坐标系和机械臂坐标系下坐标转换关系，获取坐标系变换矩阵，并计算kinect下目标物体在机械臂下位置，机械臂模块接收此位置进行轨迹规划并执行。
[0008]本专利技术的有益效果为：
[0009]1、解决特定环境下任务操作时，单一通道无法完整准确表达任务执行所需要的全部信息的问题。流程见附图1，本专利技术所述的主
‑
辅通道融合算法针对不同环境下定义特定任务执行结构的方式，提出灵活选择当前环境下高识别率、高适应性主通道来提供任务结构主要信息，并在无法单独提供完整控制信息时，灵活选择并发性辅助通道来填补任务结构缺失信息，并根据环境与任务的不同，设置不同的任务结构与任务指标，本方法通过多个通道的实时输入，采取灵活选择适应当前环境的主通道提供关键性控制信息，并在无法单独执行任务时，灵活性选择并发辅助通道填充任务结构，以达到高效、灵活的任务方式。
[0010]2、解决传统多通道融合无法进行连续性任务融合的问题。本专利技术所述的主
‑
辅通道融合算法提出了一种主通道控制任务生成和更新，辅助通道控制任务删除的“双向任务队列”储存结构。该储存结构采用单例模式确保整个系统仅有一个任务队列，排除其他通道生成任务的影响。该结构任务的生成仅仅依靠主通道，新任务按照顺序放置在队列末尾存储，该结构融合失败任务的删除仅仅依靠辅助通道，该方式确保该储存结构内不存在无法进行融合的任务指令。同时，该方法将多通道任务的融合过程与任务的执行过程进行解耦，该队列根据任务执行情况反馈来更新该“双向任务队列”。
[0011]3、解决当前控制方法无法切合用户日常操作习惯的机械臂目标定位问题。本专利技术提出采用视觉方式进行手部关键点实时检测，快速高效定位出21个手部关键点三维坐标信息，并灵活选择单根手指指尖和末端关键点指示得到目标物体方向。该方式基于深度学习
训练手部数据集，可快速有效的得到手部关键点的三维坐标，并能得到手部关键点与腕部关节的深度信息，为之后更灵活的手部关键点控制方式提供了更多的可能。...

【技术保护点】

【技术特征摘要】
1.一种基于主
‑
辅通道融合的机械臂抓取定位系统，其特征在于，包括主通道语音模块、辅助通道手势模块、主
‑
辅通道融合模块、计算机数据处理与通信模块和机械臂模块：所述主通道语音模块用于提供连续性机械臂语音控制命令；所述辅助通道手势模块用于获取kinect相机深度信息和RGB信息，并利用上述信息进行目标物体的指示定位；所述主
‑
辅通道融合模块用于对主通道语音信息和辅助通道手势指示信息进行信息融合，得到kinect下目标物体具体位置、属性信息；所述计算机数据处理与通信模块用于将kinect下目标物体位置转换为机械臂下目标物体位置，并传输给机械臂控制模块进行目标物体抓取；所述机械臂模块用于对机械臂下目标物体进行轨迹规划与抓取。2.一种基于主
‑
辅通道融合的机械臂抓取定位方法，其特征在于，所述方法包含以下步骤：主
‑
辅通道融合模块连接主通道语音模块、辅助通道手势模块和计算机数据处理与通信模块，计算机数据处理与通信模块连接机械臂模块；主通道语音模块获取用户机械臂目标物体抓取指令信息；辅助通道手势模块获取手势信息和物体检测信息确定目标物体位置和属性信息；主
‑
辅通道融合模块获取所述主通道语音模块的目标物体抓取指令信息和辅助通道手势模块信息，采取主
‑
辅通道融合算法确定的目标物体位置和属性信息，融合得到目标物体在kinect下确切位置；根据所述目标物体在kinect下确切位置和机械臂
‑
kinect位置关系获取目标物体在机械臂坐标系下位姿；机械臂根据所述目标物体在机械臂坐标系下位姿进行机械臂轨迹规划并执行抓取。3.根据权利要求2所述的基于主
‑
辅通道融合的机械臂抓取定位方法，其特征在于，所述辅助通道手势模块获取手势信息和物体检测信息确定目标物体位置和属性信息包括：基于深度学习的指示行为目标选择方法、基于深度学习的目标检测方法、指示行为结合目标检测的目标定位方法。4.根据权利要求3所述的基于主
‑
辅通道融合的机械臂抓取定位方法，其特征在于，所述基于深度学习的指示行为目标选择方法包括：根据所述的kinect相机深度信息和RGB信息，基于深度学习实时检测21个手部关键点坐标信息；根据所述的21个手部关键点坐标信息，选择食指指尖和末端关键点指示...

【专利技术属性】
技术研发人员：李会军，姚子鹏，谭丽芬，宋爱国，
申请(专利权)人：东南大学，
类型：发明
国别省市：