基于语义激光交互意图推理的助老助残机器人控制方法技术

本发明专利技术涉及一种基于语义激光交互意图推理的助老助残机器人控制方法，其解决了如何提高现有基于语义激光交互载臂轮椅式助老助残机器人的用户体验，改善人机交互，使操作更加方便，提高实用性的技术问题；本发明专利技术通过激光人机交互，进行意图推理，用户对意图信息是否和自己的想法一致进行决策，最终触发机械臂执行任务。行任务。行任务。

【技术实现步骤摘要】
基于语义激光交互意图推理的助老助残机器人控制方法


[0001]本专利技术涉及助老助残机器人
，具体而言，涉及一种基于语义激光交互意图推理的助老助残机器人控制方法。

技术介绍

[0002]社会上需要护理的老年人以及残疾人的数量日益增多，这就对助老助残机器人的需求越来越大。常见的基于操纵杆遥控模式的助老助残机器人需要用户频繁的肢体运动，这带来了身体和心理负担。因此，如何减少人机交互过程中的肢体运动，是目前的研究重点。
[0003]参考申请公布号为CN 110340893 A，名称为“基于语义激光交互的机械臂抓取方法”中国专利技术专利申请，就公开了一种能够大幅减少用户的肢体运动，基于语义激光交互的载臂轮椅式助老助残机器人，该机器人兼具载运和抓取、移动物体功能。对于此类机器人，如果提高用户体验，改善人机交互，使操作更加方便，提高实用性是本领域技术人员亟待解决的技术问题。

技术实现思路

[0004]本专利技术就是为了解决如何提高现有基于语义激光交互载臂轮椅式助老助残机器人的用户体验，改善人机交互，使操作更加方便，提高实用性的技术问题，提供了一种基于语义激光交互意图推理的助老助残机器人控制方法。
[0005]本专利技术提供一种基于语义激光交互意图推理的助老助残机器人控制方法，包括以下步骤：
[0006]步骤S301，通过RGB
‑
D摄像头对桌子上的物体所在区域进行摄像，获取视频，并将视频信息发送给主控制器；
[0007]步骤S302，主控制按照一定周期对视频信息进行采样处理，获取深度图像和彩色图像；
[0008]步骤S303，激光笔发射出的激光照射在第一目标物体杯子上，主控制器中的激光光斑识别模块识别出图像中存在的激光光斑，此时确定的激光光斑为第一次激光光斑；
[0009]步骤S304，控制器中的位置获取模块计算第一次激光光斑在彩色图像中的二维像素坐标(u，v)，将光斑的二维像素坐标(u，v)转换到相机坐标系下的坐标(X1/Z，Y1/Z)并进行存储；
[0010]步骤S305，主控制器中的目标物体识别模块识别第一目标物体；
[0011]步骤S306，当激光笔关闭时或者激光笔输出的激光从第一目标物体上离开时，主控制器中的激光光斑识别模块确定图像中没有激光光斑，执行步骤S307；
[0012]步骤S307，主控制器中的激光光斑识别模块识别出图像中存在的激光光斑，此时确定的激光光斑为第二次激光光斑；
[0013]步骤S308，主控制器中的位置获取模块计算第二次激光光斑在彩色图像中的二维
像素坐标(u，v)，将光斑的二维像素坐标(u，v)转换到相机坐标系下的坐标(X2/Z，Y2/Z)并进行存储；
[0014]步骤S309，主控制器中的目标物体识别模块识别第二目标物体；
[0015]步骤S310，当激光笔关闭时或者激光笔输出的激光从第二目标物体杯子上离开时，主控制器中的激光光斑识别模块确定图像中没有激光光斑，执行步骤S311；
[0016]步骤S311，将步骤S308计算出的第二次激光光斑的坐标(X2/Z，Y2/Z)和步骤S304计算出的第一次激光光斑的坐标(X1/Z，Y1/Z)比对，计算两个坐标之间的距离L，如果距离L大于设定的阈值S，则认为第二次激光光斑和第一次激光光斑的位置不同，位置不同执行步骤S312；
[0017]步骤S312，主控制器进行意图推理，生成意图信息；
[0018]步骤S313，主控制器将意图信息发送给触摸屏，触摸屏上显示意图信息；
[0019]步骤S314，用户观察触摸屏上显示的意图信息，判断该意图信息是否是与自己的真实意图一致，如果是，则进行步骤S315；否则用户在RGB
‑
D摄像头的视觉范围操作激光笔进行否决，然后返回步骤S312；
[0020]步骤S315，用户在RGB
‑
D摄像头的视觉范围操作激光笔进行确认；
[0021]步骤S316，主控制器中的位姿获取模块计算第一目标物体上的多种可能抓取候选位姿；
[0022]步骤S317，主控制器中的位姿获取模块获取目标物体的抓取位姿；
[0023]步骤S318，计算出机械臂手爪目标位置坐标并存储；
[0024]步骤S319，主控制器控制机械臂执行动作任务。
[0025]优选地，对于目标物体识别过程，结合RGB
‑
D摄像头获得的图像以及机械臂末端安装的深度相机获得的图像生成点云信息。
[0026]优选地，激光光斑识别过程是：
[0027](1)训练激光光斑的RGB图像，在不同的照明条件和家庭环境中收集了大量含有激光斑点的图片以及大量常见的家居物品的图片构建家居环境中的语义激光数据集，通过随机亮度增强、随机旋转和椒盐噪声方式增强语义激光数据集增强；然后将扩增后的数据集输入YOLOv4卷积神经网络函数进行训练，训练的过程能够得激光光斑和相应家居物品的边界框和相应数字标签；
[0028](2)训练语义激光的语义分类器，数据集输入至SVM进行训练。
[0029]优选地，所述步骤S312的具体过程是：构建对象
‑
动作意图网络，采用CRF算法训练对象
‑
动作意图网络。
[0030]优选地，通过Q
‑
learning算法使得OAIN能够在用户做出动作意图决策后自动更新权重参数。
[0031]本专利技术还提供一种基于语义激光交互意图推理的助老助残机器人控制方法，包括以下步骤：
[0032]步骤S301，通过RGB
‑
D摄像头对桌子上的物体所在区域进行摄像，获取视频，并将视频信息发送给主控制器；
[0033]步骤S302，主控制器按照一定周期对视频信息进行采样处理，获取深度图像和彩色图像；
[0034]步骤S303，激光笔发射出的激光照射在第一目标物体杯子上，主控制器中的激光光斑识别模块识别出图像中存在的激光光斑，此时确定的激光光斑为第一次激光光斑；
[0035]步骤S304，控制器中的位置获取模块计算第一次激光光斑在彩色图像中的二维像素坐标(u，v)，将光斑的二维像素坐标(u，v)转换到相机坐标系下的坐标(X1/Z，Y1/Z)并进行存储；
[0036]步骤S305，主控制器中的目标物体识别模块识别第一目标物体；
[0037]步骤S306，当激光笔关闭时或者激光笔输出的激光从第一目标物体上离开时，主控制器中的激光光斑识别模块确定图像中没有激光光斑，执行步骤S307；
[0038]步骤S307，主控制器中的激光光斑识别模块识别出图像中存在的激光光斑，此时确定的激光光斑为第二次激光光斑；
[0039]步骤S308，主控制器中的位置获取模块计算第二次激光光斑在彩色图像中的二维像素坐标(u，v)，将光斑的二维像素坐标(u，v)转换到相机坐标系下的坐标(X2/Z，Y2/Z)并进行存储；
...

【技术保护点】

【技术特征摘要】
1.一种基于语义激光交互意图推理的助老助残机器人控制方法，其特征在于，包括以下步骤：步骤S301，通过RGB
‑
D摄像头对桌子上的物体所在区域进行摄像，获取视频，并将视频信息发送给主控制器；步骤S302，主控制按照一定周期对视频信息进行采样处理，获取深度图像和彩色图像；步骤S303，激光笔发射出的激光照射在第一目标物体杯子上，主控制器中的激光光斑识别模块识别出图像中存在的激光光斑，此时确定的激光光斑为第一次激光光斑；步骤S304，控制器中的位置获取模块计算第一次激光光斑在彩色图像中的二维像素坐标(u，v)，将光斑的二维像素坐标(u，v)转换到相机坐标系下的坐标(X1/Z，Y1/Z)并进行存储；步骤S305，主控制器中的目标物体识别模块识别第一目标物体；步骤S306，当激光笔关闭时或者激光笔输出的激光从第一目标物体上离开时，主控制器中的激光光斑识别模块确定图像中没有激光光斑，执行步骤S307；步骤S307，主控制器中的激光光斑识别模块识别出图像中存在的激光光斑，此时确定的激光光斑为第二次激光光斑；步骤S308，主控制器中的位置获取模块计算第二次激光光斑在彩色图像中的二维像素坐标(u，v)，将光斑的二维像素坐标(u，v)转换到相机坐标系下的坐标(X2/Z，Y2/Z)并进行存储；步骤S309，主控制器中的目标物体识别模块识别第二目标物体；步骤S310，当激光笔关闭时或者激光笔输出的激光从第二目标物体杯子上离开时，主控制器中的激光光斑识别模块确定图像中没有激光光斑，执行步骤S311；步骤S311，将步骤S308计算出的第二次激光光斑的坐标(X2/Z，Y2/Z)和步骤S304计算出的第一次激光光斑的坐标(X1/Z，Y1/Z)比对，计算两个坐标之间的距离L，如果距离L大于设定的阈值S，则认为第二次激光光斑和第一次激光光斑的位置不同，位置不同执行步骤S312；步骤S312，主控制器进行意图推理，生成意图信息；步骤S313，主控制器将意图信息发送给触摸屏，触摸屏上显示意图信息；步骤S314，用户观察触摸屏上显示的意图信息，判断该意图信息是否是与自己的真实意图一致，如果是，则进行步骤S315；否则用户在RGB
‑
D摄像头的视觉范围操作激光笔进行否决，然后返回步骤S312；步骤S315，用户在RGB
‑
D摄像头的视觉范围操作激光笔进行确认；步骤S316，主控制器中的位姿获取模块计算第一目标物体上的多种可能抓取候选位姿；步骤S317，主控制器中的位姿获取模块获取目标物体的抓取位姿；步骤S318，计算出机械臂手爪目标位置坐标并存储；步骤S319，主控制器控制机械臂执行动作任务。2.根据权利要求1所述的基于语义激光交互意图推理的助老助残机器人控制方法，其特征在于，对于目标物体识别过程，结合RGB
‑
D摄像头获得的图像以及机械臂末端安装的深度相机获得的图像生成点云信息。
3.根据权利要求1所述的基于语义激光交互意图推理的助老助残机器人控制方法，其特征在于，激光光斑识别过程是：(1)训练激光光斑的RGB图像，在不同的照明条件和家庭环境中收集了大量含有激光斑点的图片以及大量常见的家居物品的图片构建家居环境中的语义激光数据集，通过随机亮度增强、随机旋转和椒盐噪声方式增强语义激光数据集增强；然后将扩增后的数据集输入YOLOv4卷积神经网络函数进行训练，训练的过程能够得激光光斑和相应家居物品的边界框和相应数字标签；(2)训练语义激光的语义分类器，数据集输入至SVM进行训练。4.根据权利要求1所述的基于语义激光交互意图推理的助老助残机器人控制方法，其特征在于，所述步骤S312的具体过程是：构建对象
‑
动作意图网络，采用CRF算法训练对象
‑
动作意图网络。5.根据权利要求4所述的基于语义激光交互意图推理的助老助残机器人控制方法，其特征在于，通过Q
‑
learning算法使得OAIN能够在用户做出动...

【专利技术属性】
技术研发人员：刘亚欣，刘延，钟鸣，姚玉峰，
申请(专利权)人：哈尔滨工业大学威海，
类型：发明
国别省市：