一种基于服务机器人的行为识别方法技术

本申请涉及一种基于服务机器人的行为识别方法，包括以下具体步骤：提取服务机器人应用场景中常用的13种行为类别的人体关节点序列形成训练数据集；对训练数据集进行预处理；结合实际应用场景对关节点数据进行加权优化输出17个主要关节点；使用多尺度时空图卷积和时间卷积模块构建轻量化的多尺度聚合时空图卷积深度学习神经网络模型；使用构建的网络模型对数据集进行训练和测试；利用训练好的模型对待识别的真实场景下视频图像中的人体行为进行识别；服务机器人收到人体行为识别结果并做出相应回应。本发明专利技术能够准确地对场景下的人体行为进行识别，保证了服务机器人的服务质量。量。量。

【技术实现步骤摘要】
一种基于服务机器人的行为识别方法


[0001]本申请涉及人体行为识别
，尤其涉及一种基于服务机器人的行为识别方法。

技术介绍

[0002]随着科学技术的发展和人工智能技术的深入研究，机器人技术的应用领域不再局限于工业机器人，而是向着生活化、平民化方向的应用推广，服务机器人正逐渐走进人们的日常生活。近年来，服务机器人向着智能化方向发展，功能越来越丰富，广泛的应用到了清洁、医疗、救援、物流、维修、养护、安保等方面。发展服务机器人产业，可以有效缓解老龄残障人群的社会服务压力、提高人民生活质量，推动民生科技快速发展、是实现先进科技成果惠及民生的战略举措，因此世界各国都对其极为重视，投入大量资源进行研发。虽然服务机器人相关研究技术日益成熟，但是复杂的外界环境仍旧是服务机器人在定位导航、人机交互、计算机视觉以及推理任务等研究上的巨大挑战。通过对服务机器人捕捉到的视频画面进行算法分析，可以使其对场景中人物的行为进行判断，进而做出一些应答反应。想要对视频的中人物行为进行识别，首先需要对视频中目标人体行为关联性较大的信息进行提取，进而通过算法处理得到关键信息，最后用得到的关键信息对人物行为识别。
[0003]随着摄像头的微型化、集成化和智能化及其接口的灵活性，服务机器人搭载摄像头即可对室内环境画面进行实时捕捉。传统的特征提取方法是通过时空关键点采样、密集轨迹采样以及身体部分采样等方法来提取视觉高维特征，并使用SVM((Support Vector Machine)、RF(Random Forest)等分类器进行行为预测；基于深度学习的方法通过自动学习特征的方式来进行端到端的特征提取及识别，特别是图卷积网络在人体骨架上的应用，尽可能的避免了复杂的背景、形状以及RGB色彩等信息对识别精度带来的影响。对捕捉到的视频画面应用关键点识别算法（如openpose，mediapipe等）即可得到人体关键点等序列信息，将关键点序列信息送入所构建的多尺度聚合时空图卷积网络模型进行计算即可得到相应人物的行为信息，进而使服务机器人做出相应的回应（如做出挥手动作，机器人识别到动作后就会靠近人物）。
[0004]现有方案中基于图卷积的人体骨架行为识别方法多将人体骨架序列视作一系列不相交的图，通过空间维度上的图卷积(GCN)和时间维度上的卷积(TCN)模块来提取特征，很显然，这种特征提取方式对时空关系的捕捉不够充分，所提取出来的特征难以准确表达人体行为，对于一些相似的人体行为很容易造成误识别。在服务机器人复杂的工作环境下，采用基于普通的图卷积构建出来的行为识别模型识别效率不高，误识别还会造成机器人的错误交互，十分影响机器人的服务质量以及服务对象的体验感。因此，急需一种轻量化的人体行为识别模型来应用到服务机器人中去。

技术实现思路

[0005]本申请实施例的目的在于提供一种基于服务机器人的行为识别方法，设计一种轻
量化的可以跨越时空关系的图卷积人体行为识别模型，在保证整体识别效果的同时降低相似动作的误识别，提高服务机器人远距离视觉交互的质量。
[0006]为实现上述目的，本申请提供如下技术方案：本申请实施例提供一种基于服务机器人的行为识别方法，包括以下具体步骤：S1:提取服务机器人应用场景中常用的13种行为类别的人体关节点序列形成训练数据集；S2:对训练数据集进行预处理，先对关节点序列进行关键帧提取，再结合实际应用场景对关节点数据进行优化；S3:对真实场景下拍摄的视频，先采用openpose中的body_25人体姿态估计模型进行关键点估计得到25个关键点坐标及置信度，再对所得到的关键点数据采用K最近邻方法进行关键点空缺值填补，最后结合实际应用场景对关节点数据进行加权优化输出17个主要关节点；S4:使用多尺度时空图卷积和时间卷积模块构建轻量化的多尺度聚合时空图卷积深度学习神经网络模型；S5:使用构建的网络模型对数据集进行训练和测试；S6:利用训练好的模型对待识别的真实场景下视频图像中的人体行为进行识别；S7:服务机器人收到人体行为识别结果并做出相应回应。
[0007]所述步骤S1中训练数据集来源于NTU
‑
RGB+D人体行为数据集，选取13种行为类别：喝水、捡起、扔掉、坐下、站起、跳起、摇头、摔倒、胸痛、挥手、踢、拥抱、行走，共12324个骨架文件。
[0008]所述步骤S2中对骨骼序列进行关键帧提取包括：服务机器人应用场景中不同的行为类别对应的每段视频在间隔30帧抽取一帧的前提下，保留300帧数据作为训练集，不足300帧的从视频开始部分重复抽取，对关节点数据中人物数量进行判断，将仅含单人的关节点数据保留下来用于模型的训练和验证。
[0009]所述步骤S3具体为：S31:使用openpose人体关键点检测算法模型对真实场景下视频图像中人物关键点进行检测，使用body_25人体关节点标注模型得到25个骨骼关节点的横纵坐标值(x,y)，将离散的关节点按照人体关节点的物理连接方式拼接起来形成人体骨架空间拓扑模型，之后将时序上每一帧的空间拓扑图拼接起来，最终得到人体骨架结构变化时空图；S32:对于整帧数据漏检情况，定义第0、1、8关节点为主要关键点，如果视频图像所对应的输出关节点数据存在某一帧缺失这三组数据中的任何一组的情况，则可以判定整帧数据漏检，对该视频帧对应的关节点数据进行删除操作；对于某一帧部分关键点缺失的情况，采用2阶K近邻方法进行填补，无需训练，无需估计参数，直接取该点前后帧横纵坐标值(x,y)的均值进行补充。
[0010]所述步骤S4具体为：S41:图卷积计算过程：在得到关节点坐标之后，以关节点为顶点，以关节点的自然连接为骨骼边，将人体骨骼表示成图，将帧骨架图按照时间序列排列，并将相同位置关节点连接起来，构成时空骨架图，节点集
是每个骨架图中所有的关节点的集合，其中为每帧的关节点数量；边集由两个集合来表示，第一个子集表示每一帧的骨架内连接，表示为，其中是一组自然连接的人体关节，第二个子集表示相邻帧之间相同位置关节点的连接边，以来表示， 为关节点的序号，由节点集和边集可以得到邻接矩阵，图卷积的计算过程如下式：其中，为输入，为输出，为邻接矩阵，为可学习的权重，为空间维度内核大小；S42:自适应图卷积计算过程如下式所示，在原有的邻接矩阵的基础上，新增和两个矩阵，是一个可训练的权重，是对每个样本学习一个独有的图，S43:多尺度时空图卷积计算过程：为了将空间和时间上的骨架信息更好的连接起来，将每个节点的第跳邻接矩阵平铺开来形成一个的矩阵，中每个节点和所有帧上对应的邻居节点直接相连，实现了节点与节点之间的跳跃连接，计算过程如下式：S44:MS
‑
GCN多尺度时空图卷积模块：分别对输入节点信息的第跳邻接矩阵进行提取，最后再将矩阵拼接起来，为关节点的序号；是关节点坐标，表示节点之间跳数的最短距离；S45:MS
‑
TCN时间膨胀卷积模块：采用卷积来对输入信息的通道数进行调节，采用卷积核对整合后的信息进行处理，采用类似空洞卷积的方式对经过卷积处理的特征进行处理，之后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于服务机器人的行为识别方法，其特征在于，包括以下具体步骤：S1:提取服务机器人应用场景中常用的13种行为类别的人体关节点序列形成训练数据集；S2:对训练数据集进行预处理，先对关节点序列进行关键帧提取，再结合实际应用场景对关节点数据进行优化；S3:对真实场景下拍摄的视频，先采用openpose中的body_25人体姿态估计模型进行关键点估计得到25个关键点坐标及置信度，再对所得到的关键点数据采用K最近邻方法进行关键点空缺值填补，最后结合实际应用场景对关节点数据进行加权优化输出17个主要关节点；S4:使用多尺度时空图卷积和时间卷积模块构建轻量化的多尺度聚合时空图卷积深度学习神经网络模型；S5:使用构建的网络模型对数据集进行训练和测试；S6:利用训练好的模型对待识别的真实场景下视频图像中的人体行为进行识别；S7:服务机器人收到人体行为识别结果并做出相应回应。2.根据权利要求1所述的一种基于服务机器人的行为识别方法，其特征在于，所述步骤S1中训练数据集来源于NTU
‑
RGB+D人体行为数据集，选取13种行为类别：喝水、捡起、扔掉、坐下、站起、跳起、摇头、摔倒、胸痛、挥手、踢、拥抱、行走，共12324个骨架文件。3.根据权利要求1所述的一种基于服务机器人的行为识别方法，其特征在于，所述步骤S2中对骨骼序列进行关键帧提取包括：服务机器人应用场景中不同的行为类别对应的每段视频在间隔30帧抽取一帧的前提下，保留300帧数据作为训练集，不足300帧的从视频开始部分重复抽取，对关节点数据中人物数量进行判断，将仅含单人的关节点数据保留下来用于模型的训练和验证。4.根据权利要求1所述的一种基于服务机器人的行为识别方法，其特征在于，所述步骤S3具体为：S31:使用openpose人体关键点检测算法模型对真实场景下视频图像中人物关键点进行检测，使用body_25人体关节点标注模型得到25个骨骼关节点的横纵坐标值(x,y)，将离散的关节点按照人体关节点的物理连接方式拼接起来形成人体骨架空间拓扑模型，之后将时序上每一帧的空间拓扑图拼接起来，最终得到人体骨架结构变化时空图；S32:对于整帧数据漏检情况，定义第0、1、8关节点为主要关键点，如果视频图像所对应的输出关节点数据存在某一帧缺失这三组数据中的任何一组的情况，则可以判定整帧数据漏检，对该视频帧对应的关节点数据进行删除操作；对于某一帧部分关键点缺失的情况，采用2阶K近邻方法进行填补，无需训练，无需估计参数，直接取该点前后帧横纵坐标值(x,y)的均值进行补充。5.根据权利要求1所述的一种基于服务机器人的行为识别方法，其特征在于，所述步骤S4具体为：S41:图卷积计算过程：在得到关节点坐标之后，以关节点为顶点，以关节点的自然连接为骨骼边，将人体骨骼表示成图，将帧骨架图按照时间序列排列，并将相同位置关节点连接起来，构成时空骨架图，节点集是
每个骨架图中所有的关节点的集合，其中为每帧的关节点数量；边集由...

【专利技术属性】
技术研发人员：李婕，王恩果，李毅，李青清，刘钊，高澄，肖克爽，张峻嘉，张振平，巩朋成，李刚，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：