基于步态特征的视觉跟随机器人方法技术

本发明专利技术属于机器视觉技术领域，提供了一种基于步态特征的视觉跟随机器人方法。该方法经过预先采集人行走时的步态视频，提取出一个运动周期内人体的步态轮廓图；根据Kinect定位人体关键骨骼，提取出关节摆动角度；根据步态轮廓图和关节摆动角度建立特征向量，并给这两部分设置不同的权重，实现特征融合；利用欧氏距离的最近邻分类设计分类器，训练样本得到识别特征；最后，编写ROS物体跟随器插件，从而实现机器人跟随。本发明专利技术基于步态识别实现机器人跟随的方法无需穿戴设备、成本低、信息采集方便，识别率高，为机器人视觉跟随提供了新的思路。

Vision following robot method based on gait feature

【技术实现步骤摘要】
基于步态特征的视觉跟随机器人方法
本专利技术属于机器视觉
，具体而言，涉及一种基于步态特征的视觉跟随机器人方法。
技术介绍
目前外对于视觉跟随机器人的研究，基于颜色匹配，衣服纹理匹配，深度信息等方法，在人流量较大，跟随环境较复杂的情况下都可能出现与被跟随者相似的识别特征(例如衣服纹理、颜色相同等)，使机器人识别特征受到干扰，从而导致跟随的失败。对于视觉跟随机器人来说，要实现准确跟随就要正确的识别出被跟随目标，机器人能够时刻捕捉被跟随目标具有的唯一的特征。现有技术中视觉跟随机器人的识别特征不具有唯一性，导致机器人在人群中跟丢这一问题，目前尚未提出有效地解决方案。
技术实现思路
鉴于已有技术存在的缺陷，本专利技术的目的是要提供一种基于步态特征的视觉跟随机器人方法及系统。根据本专利技术实施例的一个方面，本专利技术提供了一种基于步态特征的视觉跟随机器人方法，其包括：步骤1，预先采集人室内、室外环境下行走时的步态视频，以脚与地面的接触情况提取出一个运动周期内关键帧；步骤2，利用高斯混合模型为基础的前景/背影分割算法，在视频中检测出运动人体；步骤3，提取出步态轮廓图，进行形态学处理去噪、尺寸归一化；步骤4，根据Kinect定位人体关键骨骼，提取人体下肢关节摆动角度；步骤5，根据步态轮廓图和关节摆动角度建立特征向量，并给这两部分设置不同的权重，实现特征融合；步骤6，利用欧氏距离的最近邻分类设计分类器，训练样本得到识别特征；步骤7，识别人体步态，构建物体跟随器；步骤8，模板匹配行人，实现机器人跟随。本专利技术的有益效果：首先，本专利技术利用步态的关节摆动角度和步态轮廓图作为识别特征，并实现了步态特征的多特征融合；其次，本专利技术的步态采集设备只有Kinect，无需其他采集和感知装备，成本低廉；最后，本专利技术将步态作为跟随机器人的识别特征，使跟随机器人在跟随过程中保持很高的识别率。附图说明图1为本专利技术所述基于步态特征的视觉跟随机器人方法的技术流程图；图2为本专利技术建立的骨骼摆动角简约模型；图3为本专利技术合成的步态轮廓图；图4为本专利技术的所述基于步态特征的视觉跟随机器人方法的说明书摘要流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，以下结合附图和技术方案，进一步说明本专利技术的具体实施方式。根据本专利技术实施例的一个方面，本专利技术提供了一种基于步态特征的视觉跟随机器人方法，其包括：步骤1，预先采集人室内、室外环境下行走时的步态视频，以脚与地面的接触情况提取出一个运动周期内关键帧；步骤2，利用高斯混合模型为基础的前景/背影分割算法，在步态视频中检测出运动人体；步骤3，提取出步态轮廓图，进行形态学处理去噪、尺寸归一化；(1)提取步态轮廓图：将提取的步态轮廓图进行图像二值化操作，人体轮廓灰度值设置为1，前景灰度值设置为0；因此，提取出人体轮廓为白、底色为黑的二值图；(2)利用形态学图像处理进行去噪：对二值图像进行腐蚀、膨胀，实现开操作和闭操作，从而实现空洞填充、边界提取，达到去除噪声的目的；(3)尺寸归一化，保证扫描到的人体质心高度一致：扫描图像，获得轮廓的高度和宽度；通过高度和宽度确定质心的坐标，以质心为起点沿着宽度正反两个方向各延伸距离m，以质心为起点沿着高度正反两个方向各延伸距离n，得到统一的2m*2n尺寸大小；步骤4，根据Kinect定位人体关键骨骼，提取人体下肢关节摆动角度；(1)定位人体关节点坐标：利用Kinect骨骼追踪方法，通过处理深度数据建立人体关节的坐标，包括髋关节、左膝关节、右膝关节、左踝关节、右踝关节；(2)提取关节摆动角度：基于人体在行走时下肢摆动构建钟摆模型，提取出左大腿垂直角度、右大腿垂直角度、左小腿垂直角度、右小腿垂直角度、髋关节与大腿的角度，以此五个特征构造出关节摆动角度的特征向量；步骤5，根据步态轮廓图和关节摆动角度建立特征向量，并给这两部分设置不同的权重，实现特征融合；(1)建立步态轮廓和关节摆动角的特征向量：构造特征步态轮廓图和关节摆动角度，用于建立特征向量；提取数据库中不同类的序列周期值，根据序列周期值选择要提取关节摆动角度和步态能量图的图像帧范围，进行特征提取，构造特征向量；(2)实现特征层的特征融合：利用加权的多特征融合算法，各部分特征向量指定不同的权重；其中，关节摆动角度特征向量定义为A，给定权重ωA；步态轮廓图特征向量定义为S，给定权重ωS，ωA+ωS＝1，构造融合后的特征向量：S＝{ωAA，ωSS}步骤6，利用欧氏距离的最近邻分类设计分类器，训练样本得到识别特征，包括样本采集和样本训练；(1)样本采集：根据步骤1，在室内和室外分别采集训练样本；室内：需要考虑周围桌、椅等设备的干扰，采集10段视频，每段视频取5个步态周期，每个周期提取50张图片的关键帧，即室内样本室外需要2500个样本；室外：考虑到光照影响，分时间采集，分别在8点钟、10点钟、12点钟、14点钟、16点钟各采集2段视频，每段视频取5个周期，每个周期提取50张图片的关键帧，即室外需要2500个样本。正样本总计5000个，另外需要人为加入20个负样本，即总样本5020个。(2)样本训练：使用交叉验证集选择模型：利用60％的数据作为训练集，训练出10个待选模型；用20％的数据作为交叉验证集，计算出待选的10个模型的代价函数值，选取代价函数最小的模型；利用剩下的20％数据验证模型，计算得出代价函数的值；步骤7，识别人体步态，构建物体跟随器；(1)构建物体识别器：找到一个感兴趣区域(ROI)，依据该感兴趣区域跟踪人体采集人体的步态信息并在/roi话题中发布，保持人体在视图中心，如果目标偏离，通过机器人的旋转来补偿偏移量；/roi话题调用识别器系统，依据人体位置的变化发送旋转命令给机器人，实现对人体步态的实时追踪；(2)构建物体跟随器：扫描运动人体，订阅感兴趣区域/roi，深度图像camera/depth/image_raw的话题，之后将运动人体的深度图像处理成深度信息；采用OpenCv订阅openni中的深度图像，openni发送sensor_msgs/Image消息到camera/depth/image_raw中，根据运动人体的深度图像之后得到扫描区域ROI的距离，跟随小车根据运动人体的速度调整速度，保持一定的跟随距离；步骤8，板匹配行人，实现机器人跟随。本文档来自技高网...

【技术保护点】
1.一种基于步态特征的视觉跟随机器人方法，其特征在于，步骤如下：/n步骤1，预先采集人室内、室外环境下行走时的步态视频，以脚与地面的接触情况提取出一个运动周期内关键帧；/n步骤2，利用高斯混合模型为基础的前景/背影分割算法，在步态视频中检测出运动人体；/n步骤3，提取出步态轮廓图，进行形态学处理去噪、尺寸归一化；/n(1)提取步态轮廓图：将提取的步态轮廓图进行图像二值化操作，人体轮廓灰度值设置为1，前景灰度值设置为0；因此，提取出人体轮廓为白、底色为黑的二值图；/n(2)利用形态学图像处理进行去噪：对二值图像进行腐蚀、膨胀，实现开操作和闭操作，从而实现空洞填充、边界提取，达到去除噪声的目的；/n(3)尺寸归一化，保证扫描到的人体质心高度一致：扫描图像，获得轮廓的高度和宽度；通过高度和宽度确定质心的坐标，以质心为起点沿着宽度正反两个方向各延伸距离m，以质心为起点沿着高度正反两个方向各延伸距离n，得到统一的2m*2n尺寸大小；/n步骤4，根据Kinect定位人体关键骨骼，提取人体下肢关节摆动角度；/n(1)定位人体关节点坐标：利用Kinect骨骼追踪方法，通过处理深度数据建立人体关节的坐标，包括髋关节、左膝关节、右膝关节、左踝关节、右踝关节；/n(2)提取关节摆动角度：基于人体在行走时下肢摆动构建钟摆模型，提取出左大腿垂直角度、右大腿垂直角度、左小腿垂直角度、右小腿垂直角度、髋关节与大腿的角度，以此五个特征构造出关节摆动角度的特征向量；/n步骤5，根据步态轮廓图和关节摆动角度建立特征向量，并给这两部分设置不同的权重，实现特征融合；/n(1)建立步态轮廓和关节摆动角的特征向量：构造特征步态轮廓图和关节摆动角度，用于建立特征向量；提取数据库中不同类的序列周期值，根据序列周期值选择要提取关节摆动角度和步态能量图的图像帧范围，进行特征提取，构造特征向量；/n(2)实现特征层的特征融合：利用加权的多特征融合算法，各部分特征向量指定不同的权重；其中，关节摆动角度特征向量定义为A，给定权重ωA；步态轮廓图特征向量定义为S，给定权重ωS，ωA+ωS＝1，构造融合后的特征向量：/nS＝{ωAA，ωSS}/n步骤6，利用欧氏距离的最近邻分类设计分类器，训练样本得到识别特征，包括样本采集和样本训练；/n(1)样本采集：将步骤1中采集的室内和室外的步态视频作为训练样本，在室内采集的视频需要考虑到办公设备的干扰，在室外采集的视频需要考虑光照的变化；/n(2)样本训练：使用交叉验证集选择模型：利用60％的数据作为训练集，训练出多个待选模型；用20％的数据作为交叉验证集，计算出待选模型的代价函数值，选取代价函数最小的模型；利用剩下的20％数据验证模型，计算得出代价函数的值；/n步骤7，识别人体步态，构建物体跟随器；/n(1)构建物体识别器：找到一个感兴趣区域，依据该感兴趣区域跟踪采集人体步态信息并在/roi话题中发布，保持人体在视图中心，如果目标偏离，通过机器人的旋转来补偿偏移量；/roi话题调用识别器系统，依据人体位置的变化发送旋转命令给机器人，实现对人体步态的实时追踪；/n(2)构建物体跟随器：扫描运动人体，订阅感兴趣区域/roi，深度图像camera/depth/image_raw的话题，之后将运动人体的深度图像处理成深度信息；采用OpenCv订阅openni中的深度图像，openni发送sensor_msgs/Image消息到camera/depth/image_raw中，根据运动人体的深度图像之后得到扫描感兴趣区域ROI的距离，跟随小车根据运动人体的速度调整速度，保持跟随距离；/n步骤8，板匹配行人，实现机器人跟随。/n...

【技术特征摘要】
1.一种基于步态特征的视觉跟随机器人方法，其特征在于，步骤如下：
步骤1，预先采集人室内、室外环境下行走时的步态视频，以脚与地面的接触情况提取出一个运动周期内关键帧；
步骤2，利用高斯混合模型为基础的前景/背影分割算法，在步态视频中检测出运动人体；
步骤3，提取出步态轮廓图，进行形态学处理去噪、尺寸归一化；
(1)提取步态轮廓图：将提取的步态轮廓图进行图像二值化操作，人体轮廓灰度值设置为1，前景灰度值设置为0；因此，提取出人体轮廓为白、底色为黑的二值图；
(2)利用形态学图像处理进行去噪：对二值图像进行腐蚀、膨胀，实现开操作和闭操作，从而实现空洞填充、边界提取，达到去除噪声的目的；
(3)尺寸归一化，保证扫描到的人体质心高度一致：扫描图像，获得轮廓的高度和宽度；通过高度和宽度确定质心的坐标，以质心为起点沿着宽度正反两个方向各延伸距离m，以质心为起点沿着高度正反两个方向各延伸距离n，得到统一的2m*2n尺寸大小；
步骤4，根据Kinect定位人体关键骨骼，提取人体下肢关节摆动角度；
(1)定位人体关节点坐标：利用Kinect骨骼追踪方法，通过处理深度数据建立人体关节的坐标，包括髋关节、左膝关节、右膝关节、左踝关节、右踝关节；
(2)提取关节摆动角度：基于人体在行走时下肢摆动构建钟摆模型，提取出左大腿垂直角度、右大腿垂直角度、左小腿垂直角度、右小腿垂直角度、髋关节与大腿的角度，以此五个特征构造出关节摆动角度的特征向量；
步骤5，根据步态轮廓图和关节摆动角度建立特征向量，并给这两部分设置不同的权重，实现特征融合；
(1)建立步态轮廓和关节摆动角的特征向量：构造特征步态轮廓图和关节摆动角度，用于建立特征向量；提取数据库中不同类的序列周期值，根据序列周期值选择要提取关节摆动角度和步态...

【专利技术属性】
技术研发人员：夏阳，杜兆臣，郑仁成，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21