一种移动机器人的目标人员跟随控制方法及系统技术方案

本发明专利技术公开了一种移动机器人的目标人员跟随控制方法及系统，获取待跟随目标人员的图像；获取待跟随目标人员的外观特征，设置待跟随目标人员编号；获取待跟随目标人员的骨骼关节信息，将左右脚踝中间点位置和颈部关节点位置作为待跟随的目标位置；判断是否检测到待跟随目标人员的左右脚踝中间点位置和颈部关节点位置；并根据判断结果对待跟随目标人员进行跟随，或者对待跟随目标人员进行重识别；基于待跟随目标人员的外观特征，机器人对实时获取的每一帧图像进行待跟随目标人员的重识别；若重识别成功，则确保待跟随目标人员ID不变；如果重识别失败，则对下一帧图像进行待跟随目标人员的重识别。可以较好地实现移动机器人对目标人员的跟随。标人员的跟随。标人员的跟随。

【技术实现步骤摘要】
一种移动机器人的目标人员跟随控制方法及系统


[0001]本专利技术涉及移动机器人目标跟随
，特别是涉及一种移动机器人的目标人员跟随控制方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
[0003]近年来，随着自动控制、传感器技术、人工智能等学科的发展，机器人技术也得到极大地提高。尤其是具有自主跟随能力的移动机器人需求越来越大。移动机器人凭借其运动灵活、结构简单等优势，广泛应用于引导、护理、巡逻等领域。具有人员跟随能力的移动机器人，利用人员识别技术，对指定目标人员进行识别和跟随，省去了用户的操控环节，解放了双手，可以有效提高工作效率。
[0004]现有技术方案中，主要采用激光和视觉传感器两种方式来实现机器人的人员跟随，主要存在以下问题：
[0005](1)环境因素。基于结构光的一类视觉传感器，受光照影响较大，在室外环境下，无法使用。
[0006](2)价格限制。激光传感器和双目相机价格往往偏高，且体积、重量偏大，应用于移动机器人会导致成本过高。而单目相机价格低廉，体积小，应用简单。
[0007](3)识别精度。激光传感器虽然能够提供较为精确的距离信息，但只依靠点云数据很难明确区分不同人员。单目相机信息内容丰富，易于识别。

技术实现思路

[0008]为了解决现有技术的不足，本专利技术提供了一种移动机器人的目标人员跟随控制方法及系统；
[0009]第一方面，本专利技术提供了一种移动机器人的目标人员跟随控制方法；
[0010]一种移动机器人的目标人员跟随控制方法，包括：
[0011]初始化过程：获取待跟随目标人员的图像；获取待跟随目标人员的外观特征，设置待跟随目标人员编号ID；获取待跟随目标人员的骨骼关节信息，将左右脚踝中间点位置和颈部关节点位置作为待跟随的目标位置；
[0012]跟随过程：判断是否检测到待跟随目标人员的左右脚踝中间点位置和颈部关节点位置；并如果检测到待跟随目标人员，就对待跟随目标人员进行跟随；
[0013]重识别过程：如果待跟随目标人员从图像中丢失，则基于待跟随目标人员的外观特征，机器人对实时获取的每一帧图像进行待跟随目标人员的重识别；若重识别成功，则确保待跟随目标人员ID不变，并返回跟随过程；如果重识别失败，则对下一帧图像进行待跟随目标人员的重识别。
[0014]第二方面，本专利技术提供了一种移动机器人的目标人员跟随控制系统；
[0015]一种移动机器人的目标人员跟随控制系统，包括：
[0016]初始化模块，其被配置为：获取待跟随目标人员的图像；获取待跟随目标人员的外观特征，设置待跟随目标人员编号ID；获取待跟随目标人员的骨骼关节信息，将左右脚踝中间点位置和颈部关节点位置作为待跟随的目标位置；
[0017]跟随模块，其被配置为：判断是否检测到待跟随目标人员的左右脚踝中间点位置和颈部关节点位置；并如果检测到待跟随目标人员，就对待跟随目标人员进行跟随；
[0018]重识别模块，其被配置为：如果待跟随目标人员从图像中丢失，则基于待跟随目标人员的外观特征，机器人对实时获取的每一帧图像进行待跟随目标人员的重识别；若重识别成功，则确保待跟随目标人员ID不变，并返回跟随模块；如果重识别失败，则对下一帧图像进行待跟随目标人员的重识别。
[0019]第三方面，本专利技术还提供了一种电子设备，包括：
[0020]存储器，用于非暂时性存储计算机可读指令；以及
[0021]处理器，用于运行所述计算机可读指令，
[0022]其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
[0023]第四方面，本专利技术还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
[0024]与现有技术相比，本专利技术的有益效果是：
[0025]本专利技术提出使用深度学习的方法对目标人员进行检测、识别；基于无迹卡尔曼滤波(UKF)对目标人员进行跟随；提出一种递归神经网络(RNN)对目标人员的ID切换进行控制，保证目标因遮挡重识别后ID不改变。
[0026]对单目相机采集的图像进行检测，采用OpenPose算法得到图像中人体的骨骼位置信息，随后基于人体踝关节和颈部关节的位置，利用UKF算法进行跟踪。
[0027]当目标人员由于超出视野、遮挡等原因丢失再出现时，进入重识别模块，首先根据CNN算法提取特征，其次通过Online Boosting算法进行在线分类，识别目标；最后，利用GNN算法保证目标ID不变。
[0028]本专利技术基于单目相机，既可以应用于室外环境，也可应用于室内环境，可以较好地实现移动机器人对目标人员的跟随。
[0029]本专利技术附加方面的优点将在下面的描述中部分给出，或通过本专利技术的实践了解到。
附图说明
[0030]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0031]图1为第一个实施例的方法流程图；
[0032]图2为第一个实施例的OpenPose检测骨骼关节图；
[0033]图3为第一个实施例的针孔相机投影模型；
[0034]图4为第一个实施例的CNN算法流程图；
[0035]图5为第一个实施例的Online Boosting算法流程；
[0036]图6为第一个实施例的RNN算法过程图。
具体实施方式
[0037]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0038]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0039]在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0040]本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
[0041]实施例一
[0042]本实施例提供了一种移动机器人的目标人员跟随控制方法；
[0043]如图1所示，一种移动机器人的目标人员跟随控制方法，包括：
[0044]S101：初始化过程：获取待跟随目标人员的图像；获取待跟随目标人员的外观特征，设置待跟随目标人员编号ID；获取待跟随目标人员的骨骼关节信息，将左右脚踝本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种移动机器人的目标人员跟随控制方法，其特征是，包括：初始化过程：获取待跟随目标人员的图像；获取待跟随目标人员的外观特征，设置待跟随目标人员编号ID；获取待跟随目标人员的骨骼关节信息，将左右脚踝中间点位置和颈部关节点位置作为待跟随的目标位置；跟随过程：判断是否检测到待跟随目标人员的左右脚踝中间点位置和颈部关节点位置；并如果检测到待跟随目标人员，移动机器人持续跟踪待跟随目标人员；重识别过程：如果待跟随目标人员从图像中丢失，则基于待跟随目标人员的外观特征，机器人对实时获取的每一帧图像进行待跟随目标人员的重识别；若重识别成功，则确保待跟随目标人员ID不变，并返回跟随过程：如果重识别失败，则对下一帧图像进行待跟随目标人员的重识别。2.如权利要求1所述的一种移动机器人的目标人员跟随控制方法，其特征是，获取待跟随目标人员的骨骼关节信息，将左右脚踝中间点位置和颈部关节点位置作为待跟随的目标位置；具体包括：基于OpenPose算法，获取待跟随目标人员的骨骼关节信息；将左脚踝关节点与右脚踝关节点之间的中间点位置，和颈部关节点位置作为待跟随的目标位置。3.如权利要求1所述的一种移动机器人的目标人员跟随控制方法，其特征是，如果检测到待跟随目标人员，移动机器人持续跟踪待跟随目标人员；具体包括：如果检测到待跟随目标人员的左右脚踝中间点位置和颈部关节点位置，则移动机器人持续跟踪待跟随目标人员，继续对待跟随目标人员的左右脚踝中间点位置和颈部关节点位置进行检测；如果仅检测到待跟随目标人员的颈部关节点位置，则移动机器人持续跟踪待跟随目标人员，继续对待跟随目标人员的左右脚踝中间点位置和颈部关节点位置进行检测；如果仅检测到待跟随目标人员的左右脚踝中间点位置，则移动机器人停在原地，继续对待跟随目标人员的左右脚踝中间点位置和颈部关节点位置进行检测，直至检测出来待跟随目标人员的左右脚踝中间点位置和颈部关节点位置，对待跟随目标人员进行重识别；如果左右脚踝中间点位置和颈部关节点位置均检测不到，说明目标超出视野范围，移动机器人停在原地，继续对待跟随目标人员的左右脚踝中间点位置和颈部关节点位置进行检测，直至检测出来待跟随目标人员的左右脚踝中间点位置和颈部关节点位置，对待跟随目标人员进行重识别。4.如权利要求1或3所述的一种移动机器人的目标人员跟随控制方法，其特征是，所述移动机器人持续跟踪待跟随目标人员；具体包括：根据当前图像中颈部关节位置、和左右脚踝中间点位置，基于无迹卡尔曼滤波算法，预测出下一帧图像中颈部关节位置、和左右脚踝中间点位置；根据下一帧图像中颈部关节位置、和左右脚踝中间点位置得到一个对应的检测框；如果当前图像中仅存在一人，则直接将检测框与已有跟踪轨迹相关联；如果当前图像中存在多人，得到每一个检测框与已有跟踪轨迹的相匹配程度，并将匹配程度最大的检测框与相应跟踪轨迹进行关联。5.如权利要求4所述的一种移动机器人的目标人员跟随控制方法，其特征是，根据当前
图像中颈部关节位置、和左右脚踝中间点位置，基于无迹卡尔曼滤波算法，预测出下一帧图像中颈部关节位置、和左右脚踝中间点位置；具体包括：根据当前图像中颈部关节位置、和左右脚踝中间点位置，基于无迹卡尔曼滤波算法，预测出下一帧图像中颈部关节位置、和左右脚踝中间点位置，计算预测出的颈部关节点位置到预测出的左右脚踝中间点位置的高度；基于预测出的颈部关节点位置到预测出的左右脚踝中间点位置的高度，通过针孔相机投影模型得到移动机器人与待跟随目标人员之间的距离；当移动机器人与待跟随目标人员之间的距离大于设定阈值时，移动机器人的加大跟随速度；以使机器人与待跟随目标人员之间的距离处于设定范围内；当移动机器人与待跟随目标人员之间的距离不大于设定阈值时，移动机器人的减小跟随速度，以使机器人与待跟随目标人员之间的距离处于设定范围内。6.如权利要求1所述的一种移动机器人的目标人员跟随控制方法，其特征是，如果待跟随目标人员从图像中丢失，则基于待跟随目标人员的外观特征，机器人对实时获取的每一帧图像进行待跟随目标人员的重识别；具体...

【专利技术属性】
技术研发人员：宋锐，刘锦浩，陈翔宇，王超群，李贻斌，柴汇，马昕，
申请(专利权)人：山东大学，
类型：发明
国别省市：