基于传感网络的移动机器人与静态传感器的任务协作方法技术

本发明专利技术公开了基于传感网络的移动机器人与静态传感器的任务协作方法，构建动态分布式传感器网络，对获取的人体的关节点分布式信息进行一致性的估计；对人体关节点分布式信息进行一致性的估计后进行基于彩色图像和深度图像多特征的联合数据关联；基于人体行为特征的分布式DTW人体行为意图识别；在行为识别结果基础上，移动机器人利用合同网方法参与竞标服务，针对用户特定行为进行机器人服务；在静态传感器对人体某个关节点估计误差超过设定值时，发起近距离查看任务请求，由相邻移动机器人竞标该任务并执行，实现对特定目标的近距离观测。本发明专利技术一方面针对观测盲区提供近距离观察，另一方面针对人体特殊行为提供相应智能化服务。

【技术实现步骤摘要】

本专利技术涉及信息
，具体涉及基于传感网络的移动机器人与静态传感器的任务协作方法。
技术介绍
基于多个RGBD相机的人体行为识别受到研究者的广泛关注，被应用于手术室、工厂车间、汽车组装、室内监控等环境下的人体行为检测，有效解决了人体遮挡问题和可能发生的人-机器人碰撞问题，具有重要的应用价值。目前基于多个RGBD传感器的人体行为感知还处于集中式阶段，需要一个或多个数据融合中心进行三维数据、人体骨架关节点数据的融合，对数据融合中心的计算能力和鲁棒性要求较高，对网络的不稳定性抵抗力较弱，可扩展程度低。随着RGBD传感器技术的发展，其使用数量和覆盖范围会随之增大，集中式的RGBD传感器网络所需要处理和传输的信息流会爆发式增长，其在现实应用中的瓶颈会越专利技术显。静态传感器位置固定，视角有限，不具备移动服务能力，另外，当场景中存在多个人体目标时，需要解决关于人体行为的感知问题。目前，关于人体行为的感知技术存在着识别精度不够，无法满足现有的需求。
技术实现思路
为解决现有技术存在的不足，本专利技术公开了基于传感网络的移动机器人与静态传感器的任务协作方法。本专利技术建立移动机器人和静态传感器任务协作机制，一方面针对观测盲区提供近距离观察，另一方面针对人体特殊行为提供相应智能化服务。为实现上述目的，本专利技术的具体方案如下：基于传感网络的移动机器人与静态传感器的任务协作方法，包括以下步骤：构建动态分布式传感器网络，对获取的人体的关节点分布式信息进行一致性的估计；对人体关节点分布式信息进行一致性的估计后进行基于彩色图像和深度图像多特征的联合数据关联；基于人体行为特征的分布式DTW人体行为意图识别；在行为识别结果基础上，移动机器人利用合同网方法参与竞标服务，针对用户特定行为进行机器人服务；在静态传感器对人体某个关节点估计误差超过设定值时，发起近距离查看任务请求，由相邻移动机器人竞标该任务并执行，将观测结果发送给静态传感器，实现对特定目标的近距离观测。进一步的，移动机器人和静态传感器之间的任务协作主要通过黑板模型完成，包含两大部分：黑板区和知识库。进一步的，黑板区由全局目标库、机器人状态列表、决策选择、请求序列和任务列表组成，知识库内则包含任务分配算法、信息计算模块、请求处理和指令发送模块组成；黑板区通过实时数据进行更新，进一步驱动知识库中的相应模块。进一步的，对获取的人体的关节点分布式信息进行一致性的估计，具体包括：骨架关节点位置初始化；本地传感器对关节点运动估计：构建人体关节点的运动模型和观测模型，实现对关节点状态的有效估计；传感器之间对目标关节点的信息一致性估计：定义人体关节点状态对应的信息向量、信息矩阵及其信息贡献和模型概率作为信息一致性算法的交换量；每个传感器将自身估计的关节点信息向量、信息矩阵及其对应的信息贡献、模型概率发送给相邻的通讯传感器节点，并接受周围传感器的信息，利用信息一致性算法，融合周围传感器的估计结果，连续迭代数次，实现算法和估计结果的收敛。基于构建的动态分布式传感器网络，传感器将采集的人体骨架关节点信息传输至信息处理中心。骨架关节点位置初始化时，通过对关节点深度信息预先学习训练，实现对每帧人体关节点的检测，或利用现有工具OPENNI NITE或微软SDK直接提取关节点。在骨架关节点位置初始化时，为去除无效关节点，建立人体关节点运动模型物理约束，剔除不满足人体关节点旋转角度和长度约束的人体关节点。人体关节点运动模型物理约束的相关参数，包括人体肘关节和肩关节之间长度，可依据检测数据自适应升级。在实现对关节点状态的有效估计时是基于贝叶斯滤波器实现的。构建人体关节点的运动模型和观测模型，其中，对线性模型，利用线性信息滤波器估计，而对于非线性模型，利用非线性滤波器进行估计，非线性滤波器包括扩展信息滤波器和基于中心差分信息滤波器。信息一致性估计时，具体包括的步骤为：(1)参数初始化，检测得出人体关节点的初始位置，位置的方差依据关节点识别的置信水平确定，并依据关节运动特点设定关节的运动模型转换概率；(2)多模型交互，即根据模型概率和模型转换概率计算模型之间的混合概率，再依据混合概率计算得出每个模型的混合均值和混合方差；(3)信息滤波，以混合均值和混合方差为输入，计算其信息向量和信息矩阵，对线性和非线性运动模型分别采用线性信息滤波器和中心差分信息滤波器估计，根据当前深度图像检测的关节点位置升级滤波器关节点状态和模型概率；(4)基于分布式信息一致性算法的信息融合，即各传感器之间交换关节点估计信息，包括关节点状态信息向量、信息矩阵和模型概率，通过一致性算法加权迭代实现各传感器估计状态的一致性。另外，各传感器节点基于模型概率加权和的混合输出，即利用模型概率对各个模型的估计结果进行加权求和，作为各传感器信息处理系统当前时刻的估计结果。进一步的，对人体关节点分布式信息进行一致性的估计后进行基于彩色图像和深度图像多特征的联合数据关联，包括以下步骤：采用联合数据概率关联算法实现本地传感器节点对跟踪目标和目标观测之间进行第一次数据关联；基于马氏距离的匈牙利算法实现传感器节点之间对跟踪目标的第二次数据关联；各传感器之间交换关节点估计信息，通过一致性算法加权迭代实现各传感器估计状态的一致性；其中，在第一次数据关联时，基于多特征的目标观测候选集调整机制，利用关节点位置观测信息z、彩色图像梯度方向直方图特征hc和深度图像梯度方向直方图特征hd构建三个阈值门限(γz,γc,γd)以限定观测集大小。基于分布式信息一致性算法的信息融合之后还包括利用模型概率对各个模型的估计结果进行加权求和，作为各传感器信息处理系统当前时刻的估计结果的步骤。分布式信息一致性算法使得本地传感器在获取本地数据关联估计结果后，可与邻近节点交换数据关联结果，以实现各传感器数据关联结果的融合。利用关节点位置观测信息z、彩色图像梯度方向直方图特征hc和深度图像梯度方向直方图特征hd构建三个阈值门限(γz,γc,γd)以限定观测集大小： ( z - z ^ ) S - 1 ( z - z ^ ) < γ z , d ( h c , h ^ c ) < γ c , d ( h d , h ^ d ) < γ d , ]]>其中，是根据上一帧关节点估计值预测的当前关节点位置，S是z的方差，和分别是从最近的历史关键帧中学习的以关节点位置为中心的HOG特征和HOD特征，d是直方图Chi-square卡方距离测度。关节点的马本文档来自技高网...

【技术保护点】
基于传感网络的移动机器人与静态传感器的任务协作方法，其特征是，包括以下步骤：构建动态分布式传感器网络，对获取的人体的关节点分布式信息进行一致性的估计；对人体关节点分布式信息进行一致性的估计后进行基于彩色图像和深度图像多特征的联合数据关联；基于人体行为特征的分布式DTW人体行为意图识别；在行为识别结果基础上，移动机器人利用合同网方法参与竞标服务，针对用户特定行为进行机器人服务；在静态传感器对人体某个关节点估计误差超过设定值时，发起近距离查看任务请求，由相邻移动机器人竞标该任务并执行，将观测结果发送给静态传感器，实现对特定目标的近距离观测。

【技术特征摘要】
1.基于传感网络的移动机器人与静态传感器的任务协作方法，其特征是，包括以下步骤：构建动态分布式传感器网络，对获取的人体的关节点分布式信息进行一致性的估计；对人体关节点分布式信息进行一致性的估计后进行基于彩色图像和深度图像多特征的联合数据关联；基于人体行为特征的分布式DTW人体行为意图识别；在行为识别结果基础上，移动机器人利用合同网方法参与竞标服务，针对用户特定行为进行机器人服务；在静态传感器对人体某个关节点估计误差超过设定值时，发起近距离查看任务请求，由相邻移动机器人竞标该任务并执行，将观测结果发送给静态传感器，实现对特定目标的近距离观测。2.如权利要求1所述的基于传感网络的移动机器人与静态传感器的任务协作方法，其特征是，移动机器人和静态传感器之间的任务协作主要通过黑板模型完成，包含两大部分：黑板区和知识库，黑板区通过实时数据进行更新，进一步驱动知识库中的相应模块。3.如权利要求1所述的基于传感网络的移动机器人与静态传感器的任务协作方法，其特征是，对获取的人体的关节点分布式信息进行一致性的估计，具体包括：骨架关节点位置初始化；本地传感器对关节点运动估计：构建人体关节点的运动模型和观测模型，实现对关节点状态的有效估计；传感器之间对目标关节点的信息一致性估计：定义人体关节点状态对应的信息向量、信息矩阵及其信息贡献和模型概率作为信息一致性算法的交换量；每个传感器将自身估计的关节点信息向量、信息矩阵及其对应的信息贡献、模型概率发送给相邻的通讯传感器节点，并接受周围传感器的信息，利用信息一致性算法，融合周围传感器的估计结果，连续迭代数次，实现算法和估计结果的收敛。4.如权利要求3所述的基于传感网络的移动机器人与静态传感器的任务协作方法，其特征是，基于构建的动态分布式传感器网络，传感器将采集的人体骨架关节点信息传输至信息处理中心。5.如权利要求3所述的基于传感网络的移动机器人与静态传感器的任务协作方法，其特征是，在骨架关节点位置初始化时，为去除无效关节点，建立人体关节点运动模型物理约束，剔除不满足人体关节点旋转角度和长度约束的人体关节点。6.如权利要求3所述的基于传感网络的移动机器人与静态传感器的任务协作方法，其特征是，构建人体关节点的运动模型和观测模型，其中...

【专利技术属性】
技术研发人员：刘国良，田国会，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37