本发明专利技术公开了一种基于视觉跟踪和生物特征的跟随机器人及跟随方法。该方法包括步骤：A、获取待跟随目标的人体生物特征参数；B、获取初始色彩图像中的待跟随目标的框选范围，利用可拍摄色彩图像和深度图像的深度相机启动跟随流程；C、在后续每一色彩图像中检测跟随目标的位置，并判断跟随目标是否已被替换，如判断结果为跟随目标被替换，则停止跟随跟随目标直至新的色彩图像中再次具备待跟随目标，否则判断结果为跟随目标未被替换，继续跟随检测到的跟随目标。本发明专利技术的基于视觉跟踪和生物特征的跟随机器人及跟随方法，能够提高跟随机器人跟随正确的追随目标的能力。随正确的追随目标的能力。随正确的追随目标的能力。
【技术实现步骤摘要】
一种基于视觉跟踪和生物特征的跟随机器人及跟随方法
[0001]本专利技术涉及农业自动化
，特别是涉及到农业机器人的图像识别和自动控制领域。
技术介绍
[0002]果园环境下，行人跟随机器人扮演着重要的角色，有广阔的市场前景，劳动者或者农业科研人员往往需要随时有地方存放采摘的果实作物或者劳动、科研设备，传统场景下工作者往往需要一部手推车，或者遥控的运输机器人配合自己工作，这样的缺点是工作者需要时刻操作自己的手推车或者遥控运输机器人，不能将精力集中在自己的工作上，且果园环境复杂，机器人遥控难度较大，手推车则费力费时。因此需要设计出一款能够自主跟随行人，并且可以辨别出不同的行人干扰项，长时间稳定跟踪正确目标行人的跟随机器人有十分迫切的需求。行人跟随机器人的工作流程主要分两步进行：第一步是精准定位自己的跟踪人员（区分出其他的行人干扰项），第二步是依据跟踪对象的空间信息引导下位机实现对行人的跟踪。
[0003]中国专利公开号为CN 106155093 A，名称为“一种基于计算机视觉的机器人跟随人体的系统和方法”提供了一种使用视觉来进行机器人跟随的方法。此专利使用快速检测物体区域算法完成对行人的检测和识别。并计算人体点云数据的中心位置获取机器人和目标的距离信息来引导机器人跟随。
[0004]但是中国专利CN 106155093 A ——一种基于计算机视觉的机器人跟随人体的系统和方法中，使用到的方法是利用SVM对图片像素块进行分类，筛选预检测后再进行人体检测，这样二阶段的方法不仅速度慢，而且传统视觉的方法难以识别不同的人，当有其他行人出现在视野中时，很容易出现跟随错误。
[0005]另外，对于机器人跟随的视觉跟踪算法，常见的方法还有KCF算法，这种方法目标框是提前设定的，不能适应目标远小近大的变化。而Yolo+deepsort算法在目标长时间消失后就无法跟踪。或者Hog+kcf算法为非深度学习特征，鲁棒性差。
[0006]总结来说，现有技术中，行人跟随机器人技术主要存在如下三个技术问题:1. 图像中出现相似的人时，跟踪方法不能较好区分待跟踪对象与近似人员，容易造成作业过程中跟随错误的目标。
[0007]2. 跟随算法都是离线学习，没有在线更新策略，导致不能适应目标的变化。
[0008]3. 几乎所有的现有技术只将深度信息用在和目标距离的判断上，都没有利用深度信息计算行人的生物特征（身高，腿长，肩宽等）并将其融合到目标辨别中来。
技术实现思路
[0009]为了解决现有技术中跟随机器人的图像中出现相似的人时，跟踪方法不能较好区分待跟踪对象与近似人员，容易造成作业过程中跟随错误的目标的技术问题，以及跟随算法都是离线学习，没有在线更新策略，导致不能适应目标的变化的技术问题，以及几乎所有
的现有技术只将深度信息用在和目标距离的判断上，都没有利用深度信息计算行人的生物特征（身高，腿长，肩宽等）并将其融合到目标辨别中来的技术问题，本专利技术提出了一种基于视觉跟踪和生物特征的跟踪机器人及跟踪方法，能特别针对果园环境下视觉遮挡现象频繁，且经常有不同的人同时工作导致容易产生跟随目标混淆的环境。采用一种融合深度学习特征以及人体生物特征的视觉跟随方法，能够让跟随机器人可以始终跟随正确的目标。
[0010]为了实现这一目标，本专利技术采取了如下的技术方案。
[0011]一种基于视觉跟踪和生物特征的机器人跟随方法，该方法包括以下的步骤：A、获取待跟随目标的人体生物特征参数；B、获取初始色彩图像中的待跟随目标的框选范围，利用可拍摄色彩图像和深度图像的深度相机启动跟随流程；C、在后续每一色彩图像中检测跟随目标的位置，并判断跟随目标是否已被替换，如判断结果为跟随目标被替换，则停止跟随跟随目标直至新的色彩图像中再次具备待跟随目标，否则判断结果为跟随目标未被替换，继续跟随检测到的跟随目标。
[0012]另外，本专利技术的基于视觉跟踪和生物特征的机器人跟随方法中，判断待跟随目标是否已被替换的步骤包括：判断是否满足跟随目标存在被更换可能性的条件；如果条件满足，则判断检测出的跟随目标的生物特征参数，是否符合待跟随目标的生物特征参数，如果不符合，则判断结果为跟随目标被替换；否则判断结果为判断结果为跟随目标未被替换，继续跟随检测到的跟随目标。
[0013]另外，本专利技术的基于视觉跟踪和生物特征的机器人跟随方法中，判断是否满足跟随目标存在被更换可能性的条件包括以下两种之一：上一色彩图像中跟随目标的包围框中心点坐标与当前色彩图像中跟随目标的包围框中心点坐标在x或y轴方向的变化超过色彩图像尺寸的预定比例，表示跟踪目标在色彩图像上发生了跳动；跟随目标在色彩图像中消失超过了预定时长，当跟随目标再次出现在色彩图像中时。
[0014]另外，本专利技术的基于视觉跟踪和生物特征的机器人跟随方法中，判断检测出的跟随目标的生物特征参数是否符合待跟随目标的生物特征参数的步骤包括：提取色彩图像中跟随目标的感兴趣区域；执行人体关键点检测，并基于检测结果计算跟随目标的人体生物特征参数，与待跟随目标的人体生物特征参数对比并计算损失值，当损失值大于预定阈值时，判断结果为跟随目标被替换，否则判断结果为判断结果为跟随目标未被替换。
[0015]另外，本专利技术的基于视觉跟踪和生物特征的机器人跟随方法中，执行人体关键点检测，并基于检测结果计算跟随目标的人体生物特征参数的步骤包括：将跟随目标的感兴趣区域送入人体关键点检测网络，获取头部、第一肩部、第二肩部、第一肘部、第二肘部、第一手部、第二手部、第一臀部、第二臀部、第一脚部、第二脚部11个关键点；将色彩图像上的关键点信息匹配至深度相机拍摄的深度图像上，获取这11个关键点的三维坐标，完成空间立体定位；
通过三维欧氏距离公式分别计算人的身高、肩宽、腿长，小臂长，大臂长五个躯体参数特征；统计第一肩部、第二肩部、第一臀部、第二臀部关键点所围成的区域内的色彩（RGB）均值，将其作为衣服颜色特征；以五个躯体参数特征以及衣服颜色特征作为跟随目标的人体生物特征参数。
[0016]另外，本专利技术的基于视觉跟踪和生物特征的机器人跟随方法中，与待跟随目标的人体生物特征参数对比并计算损失值包括：针对每一种人体生物特征参数，计算检测出的跟随目标与待跟随目标关于该人体生物特征参数的相对误差；对每一种人体生物特征参数的相对误差按照预设权重进行加权和，获得损失值。
[0017]另外，本专利技术的基于视觉跟踪和生物特征的机器人跟随方法中，当色彩图像中跟随目标的感兴趣区域中待检测的关键点被遮挡，导致相关生物特征参数缺失时，仅计算检测出的跟随目标与待跟随目标关于其他未缺失生物特征参数的相对误差，将缺失的生物特征参数对应的预设权重分配至其他未缺失的生物特征参数，再进行其他未缺失的生物特征参数的相对误差加权和，获得损失值。
[0018]另外，本专利技术的基于视觉跟踪和生物特征的机器人跟随方法中，当判断结果为跟随目标未被替换，继续跟随检测到的跟随目标包括：计算跟随目标与机器人的距离，当距离超过预定距离时，按照跟随目标的位置方本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于视觉跟踪和生物特征的机器人跟随方法，其特征在于，该方法包括步骤：A、获取待跟随目标的人体生物特征参数；B、获取初始色彩图像中的待跟随目标的框选范围，利用可拍摄色彩图像和深度图像的深度相机启动跟随流程；C、在后续每一色彩图像中检测跟随目标的位置，并判断跟随目标是否已被替换，如判断结果为跟随目标被替换，则停止跟随跟随目标直至新的色彩图像中再次具备待跟随目标，否则判断结果为跟随目标未被替换，继续跟随检测到的跟随目标。2.根据权利要求1中所述的基于视觉跟踪和生物特征的机器人跟随方法，其特征在于，判断待跟随目标是否已被替换的步骤包括：判断是否满足跟随目标存在被更换可能性的条件；如果条件满足，则判断检测出的跟随目标的生物特征参数，是否符合待跟随目标的生物特征参数，如果不符合，则判断结果为跟随目标被替换；否则判断结果为判断结果为跟随目标未被替换，继续跟随检测到的跟随目标。3.根据权利要求2中所述的基于视觉跟踪和生物特征的机器人跟随方法，其特征在于，判断是否满足跟随目标存在被更换可能性的条件包括以下两种之一：上一色彩图像中跟随目标的包围框中心点坐标与当前色彩图像中跟随目标的包围框中心点坐标在x或y轴方向的变化超过色彩图像尺寸的预定比例，表示跟踪目标在色彩图像上发生了跳动；跟随目标在色彩图像中消失超过了预定时长，当跟随目标再次出现在色彩图像中时。4.根据权利要求2中所述的基于视觉跟踪和生物特征的机器人跟随方法，其特征在于，判断检测出的跟随目标的生物特征参数是否符合待跟随目标的生物特征参数的步骤包括：提取色彩图像中跟随目标的感兴趣区域；执行人体关键点检测，并基于检测结果计算跟随目标的人体生物特征参数，与待跟随目标的人体生物特征参数对比并计算损失值，当损失值大于预定阈值时，判断结果为跟随目标被替换，否则判断结果为判断结果为跟随目标未被替换。5.根据权利要求4中所述的基于视觉跟踪和生物特征的机器人跟随方法，其特征在于，执行人体关键点检测，并基于检测结果计算跟随目标的人体生物特征参数的步骤包括：将跟随目标的感兴趣区域送入人体关键点检测网络，获取头部、第一肩部、第二肩部、第一肘部、第二肘部、第一手部、第二手部、第一臀部、第二臀部、第一脚部、第二脚部11个关键点；将色彩图像上的关键点信息匹配至深度相机拍摄的深度图像上，获取这11个关键点的三维坐标，完成空间立体定位；通过三维欧氏距离分别计算人的身高、肩...
【专利技术属性】
技术研发人员：李会宾，史云，沈任远，耿长兴，
申请(专利权)人：苏州中农数智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。