机器人、机器人的交互方法、装置和存储介质制造方法及图纸

本申请涉及一种机器人、机器人的交互方法、装置和存储介质。该机器人包括相机装置、处理器以及移动组件；相机装置，用于对感兴趣区域进行拍摄得到目标图像，目标图像包括彩色图像和深度图像；处理器，用于对彩色图像进行识别处理，若识别结果指示彩色图像中包含目标下肢部位，则基于彩色图像获取目标下肢部位的平面位置信息；将平面位置信息映射至深度图像中以获取目标下肢部位的深度位置信息；根据目标下肢部位的平面位置信息和深度位置信息确定目标下肢部位的中心位置信息；根据中心位置信息对目标下肢部位的运动轨迹进行识别并输出移动指令；移动组件，用于根据移动指令带动机器人运动。采用本方法无需借助人手即可实现人机交互。机交互。机交互。

【技术实现步骤摘要】
机器人、机器人的交互方法、装置和存储介质


[0001]本申请涉及人工智能领域，特别是涉及一种机器人、机器人的交互方法、装置和存储介质。

技术介绍

[0002]机器人目前已经应用于人流量较大的餐厅、商场、酒店等场所，能够实现良好的人机交互，是机器人得到推广和应用的重要保障。
[0003]现有技术中，通常会用手势控制的方式实现机器人与人的交互。机器人通过识别人的手势以执行相应的动作。
[0004]但是，在实际应用场景中会存在操作员的手不方便做出手势的情况，上述人机交互方式容易因为手不便操作受到限制，人机交互的效率较低。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种提高人机交互效率的机器人、机器人的交互方法、装置和存储介质。
[0006]第一方面，本申请提供了一种机器人。该机器人包括相机装置、处理器以及移动组件；
[0007]相机装置，用于对感兴趣区域进行拍摄得到目标图像，目标图像包括彩色图像和深度图像；
[0008]处理器，用于对彩色图像进行识别处理，若识别结果指示彩色图像中包含目标下肢部位，则基于彩色图像获取目标下肢部位的平面位置信息；将平面位置信息映射至深度图像中，并根据深度图像中映射位置处的深度值获取目标下肢部位的深度位置信息；根据目标下肢部位的平面位置信息和深度位置信息确定目标下肢部位的中心位置信息；根据确定的中心位置信息对目标下肢部位的运动轨迹进行识别，并根据运动轨迹识别结果输出移动指令；
[0009]移动组件，用于根据移动指令带动机器人运动。
[0010]第二方面，本申请还提供了一种机器人的交互方法。该方法包括：
[0011]获取机器人对感兴趣区域进行拍摄得到的目标图像，目标图像包括彩色图像和深度图像；
[0012]对彩色图像进行识别处理，若识别结果指示彩色图像中包含目标下肢部位，则基于彩色图像获取目标下肢部位的平面位置信息；
[0013]将平面位置信息映射至深度图像中，并根据深度图像中映射位置处的深度值获取目标下肢部位的深度位置信息；
[0014]根据目标下肢部位的平面位置信息和深度位置信息确定目标下肢部位的中心位置信息；
[0015]根据确定的中心位置信息对目标下肢部位的运动轨迹进行识别，并根据运动轨迹
识别结果进行移动。
[0016]第三方面，本申请还提供了一种机器人的交互装置。该装置包括：
[0017]获取模块，用于获取机器人对感兴趣区域进行拍摄得到的目标图像，所述目标图像包括彩色图像和深度图像；
[0018]识别模块，用于对彩色图像进行识别处理，若识别结果指示彩色图像中包含目标下肢部位，则基于彩色图像获取目标下肢部位的平面位置信息；
[0019]映射模块，用于将平面位置信息映射至深度图像中，并根据深度图像中映射位置处的深度值获取目标下肢部位的深度位置信息；
[0020]确定模块，用于根据目标下肢部位的平面位置信息和深度位置信息确定目标下肢部位的中心位置信息；
[0021]交互模块，根据确定的中心位置信息对目标下肢部位的运动轨迹进行识别，并根据运动轨迹识别结果进行移动。
[0022]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一所述的机器人的交互方法。
[0023]上述机器人、机器人的交互方法、装置和存储介质，机器人通过相机装置对感兴趣区域进行拍摄得到目标图像，利用该目标图像对目标交互对象的下肢部位的运动轨迹进行识别，并根据识别结果进行移动，由于机器人是根据目标交互对象的下肢部位的动作进行移动的，实现了无需借助人手即可进行人机交互的目的，这种交互方式不易受到限制，人机交互效率高。
附图说明
[0024]图1为一个实施例机器人的结构示意图；
[0025]图2为一个实施例中机器人的交互方法的流程示意图；
[0026]图3为一个实施例中步骤104的流程示意图；
[0027]图4为一个实施例中步骤105的流程示意图；
[0028]图5为一个实施例中步骤302的流程示意图；
[0029]图6为一实施例中步骤105中根据运动轨迹识别结果进行移动的流程示意图；
[0030]图7为另一个实施例中机器人的交互方法的流程示意图；
[0031]图8为一个实施例中机器人的交互装置的结构框图。
具体实施方式
[0032]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0033]请参照图1，本申请实施例提供的机器人包括相机装置1、处理器以及移动组件2。
[0034]该相机装置1，用于对感兴趣区域进行拍摄得到目标图像。
[0035]其中，该目标图像包括彩色图像和深度图像，彩色图像和深度图像的拍摄时间相同。感兴趣区域位于机器人的前下方、左下方、右下方或者后下方。该感兴趣区域与机器人
的相机装置的位置布设有关。
[0036]可选的，该相机装置包括深度相机和彩色相机两个独立的相机，或者，该相机装置包括RGBD相机。
[0037]为保证在相机装置1的视野范围内能够采集到足够的下肢部位的图像信息，一般将相机装置1设置于机器人的上方位置处。图1中仅示例性展示出其中一种相机装置的安装位置情况，如图1所示，该相机装置1安装于机器人的正面上方位置处，此时，该感兴趣区域位于机器人的前下方。在其他情况中，当感兴趣区域为机器人的左下方时，相机装置1可设置于机器人的偏左位置处；当感兴趣区域为机器人的右下方时，相机装置1可设置于机器人的偏右位置处；当感兴趣区域为机器人的后下方时，相机装置1可设置于机器人的背面上方位置处。具体的，根据需要设置相机装置的数量。该相机装置的安装位置不同。
[0038]处理器，用于对彩色图像进行识别处理，若识别结果指示彩色图像中包含目标下肢部位，则基于彩色图像获取目标下肢部位的平面位置信息。
[0039]其中，目标下肢部位至少包括人腿以及人脚中的一种。
[0040]可选的，采用训练好的神经网络模型，例如CNN模型或者DNN模型识别彩色图像中是否包含目标下肢部位，若识别结果指示彩色图像中包含目标下肢位置，获取目标下肢部位的平面位置信息。可选的，该平面位置信息为对彩色图像中目标下肢部位进行边缘提取后的得到边缘位置信息。
[0041]具体的，若识别出多个目标下肢部位时，根据预设条件，确定其中一个目标下肢部位作为目标对象，获取该目标对象的平面位置信息。其中，该预设条件可以为选取彩色图像中占据面积最大的目标下肢部位或者获取深度图像中离机器人最近的目标下肢部位。
[0042]若识别出彩色图像中仅包括一个目标下肢部位，但该目标下肢部位在彩色图像中的位置比较偏离中心位置，则可以根据该目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人，其特征在于，所述机器人包括相机装置、处理器以及移动组件；所述相机装置，用于对感兴趣区域进行拍摄得到目标图像，所述目标图像包括彩色图像和深度图像；所述处理器，用于对所述彩色图像进行识别处理，若识别结果指示所述彩色图像中包含目标下肢部位，则基于所述彩色图像获取所述目标下肢部位的平面位置信息；将所述平面位置信息映射至所述深度图像中，并根据所述深度图像中映射位置处的深度值获取所述目标下肢部位的深度位置信息；根据所述目标下肢部位的所述平面位置信息和所述深度位置信息确定所述目标下肢部位的中心位置信息；根据确定的所述中心位置信息对所述目标下肢部位的运动轨迹进行识别，并根据运动轨迹识别结果输出移动指令；所述移动组件，用于根据所述移动指令带动所述机器人运动。2.根据权利要求1所述的机器人，其特征在于，所述处理器，具体用于若识别结果指示所述彩色图像中包含多个所述目标下肢部位，则获取所述多个目标下肢部位中最接近所述彩色图像的中心位置处的所述目标下肢部位的平面位置信息。3.根据权利要求1所述的机器人，其特征在于，所述平面位置信息包括所述目标下肢部位对应的平面区域框中各目标像素点的平面坐标值，所述深度位置信息包括所述平面区域框中各目标像素点对应的深度值；所述处理器，具体用于对所述平面区域框中各目标像素点的平面坐标值进行求均值处理，得到平面坐标均值；对所述平面区域框中各目标像素点对应的深度值进行求均值处理，得到深度均值；基于所述平面坐标均值和所述深度均值获取所述目标下肢部位的中心位置信息。4.根据权利要求3所述的机器人，其特征在于，所述处理器，还用于过滤掉所述平面区域框中背景区域包含的像素点，并将经过过滤处理后得到的平面区域框中的像素点作为目标像素点。5.根据权利要求1所述的机器人，其特征在于，所述相机装置还用于采集拍摄时刻与所述目标图像的拍摄时刻相邻的多个邻接图像；所述处理器，还用于获取各所述邻接图像所分别对应的所述目标下肢部位的中心位置信息；根据所述目标图像和各所述邻接图像所分别对应的所述目标下肢部位的中心位置信息，对所述目标下肢部位的运动轨迹进行识别。6.根据权利要求5所述的机器人，其特征在于，所述处理器，还具体用于根据所述目标图像和各所述邻接图像所分别对应的所述目标下肢部位的中心位置信息，生成位置信息向量；将所述位置信息向量输入至分类模型中，得到所述分类模型输出的运动轨迹识别结果。7.根据权利要求1所述的机器人，其特征在于，所述处理器，具体用于根据运动轨迹识别结果查询预先设置于所述机器人内的移动动作数据库，所述移动动作数据库中存储有不同类型的运动轨迹与移动动作的对应关系；根据查询结果，确定所述运动轨迹识别结果对应的目标移动动作，并基于所述目标移动动作输出所述移动指令。8.根据权利要求1所述的机器人，其特征在于，所述相机装置包括RGBD相机，所述RGBD相机的成像系统包括彩色相机和红外相机；所述相机装置，还具体用于...

【专利技术属性】
技术研发人员：黄寅，吴翔，
申请(专利权)人：深圳市普渡科技有限公司，
类型：发明
国别省市：