一种基于多传感器融合的消毒机器人人体感知方法及系统技术方案

本发明专利技术公开了一种基于多传感器融合的消毒机器人人体感知方法，包括：对RGB相机与红外相机进行标定，通过毫米波雷达人体检测模块来检测场景内是否存在人体，调用RGB相机进行人体检测；若RGB相机检测到人体则返回，根据RGB相机与红外相机的位置关系并引入两者的内参矩阵得到红外相机图像中的点与RGB相机图像中点的对应关系，再调用红外相机的SDK来获取红外图像的像素值与温度的换算关系，得到人体区域中每个像素代表的温度信息，获得到人体的温度及环境背景温度信息；将人体的温度及环境背景温度信息通过串口发送给Jetson nano板进行数据融合，并将融合后的结果数据发送机器人的工控机调整机器人的位姿与运动路径以躲避人体的干扰。体的干扰。体的干扰。

【技术实现步骤摘要】
一种基于多传感器融合的消毒机器人人体感知方法及系统


[0001]本专利技术涉及一种基于多传感器融合的消毒机器人人体感知方法及系统，属于机器人环境感知


技术介绍

[0002]公共场景的消杀需求量剧增，人工消杀不仅会导致消杀成本剧增且存在安全隐患。随着科学技术的发展，移动机器人技术日趋成熟，使用移动消毒机器人来代替人工进行公共场景的消杀，不仅保护了工作人员的安全性，且可以有效提升消杀效率与消杀成本。因此大量的消毒机器人应用于公共场景的消杀任务中，例如商场、仓库、餐厅等。
[0003]机器人的环境感知技术是指移动机器人能够通过搭载的特定传感器像人类一样来感知自身的环境信息。机器人的环境感知能力直接决定了机器人能够在何种环境下工作。目前，现有的消毒机器人均是在已经构建好的场景地图中进行导航，在导航过程中对场景进行消杀。但当消毒机器人的实际工作场景中具有人体等动态物体时，机器人仍按照之前构建的离线地图进行消杀时，由于目前的消毒机器人的环境感知能力较低，无法感知到人体的出现及相对自身的位置，因此消毒机器人无法根据人体的位置进行姿态与路径的调整来躲避人体，导致机器人卡死在某处，甚至无法正常工作。

技术实现思路

[0004]本专利技术的目的在于提供一种基于多传感器融合的消毒机器人人体感知方法及系统，以解决针对消毒机器人的实际工作场景中存在人体或其他障碍物时，实际场景相对于事先构建好的离线地图发生变化，消毒机器人难以做出相应的调整来躲避障碍物，进而导致难以在动态场景中进行消杀的问题。
[0005]一种基于多传感器融合的消毒机器人人体感知方法，所述方法包括：
[0006]对RGB相机与红外相机进行标定，获取两个相机之间的位置关系；
[0007]通过毫米波雷达人体检测模块来检测当前场景内是否存在人体，响应于存在人体时，调用RGB相机进行人体检测；
[0008]若RGB相机检测到人体则返回相应的人体数量、区域、方位信息，根据RGB相机与红外相机的位置关系并引入两者的内参矩阵得到红外相机图像中的点与RGB相机图像中点的对应关系，再调用红外相机的SDK来获取红外图像的像素值与温度的换算关系，得到人体区域中每个像素代表的温度信息，取均值，最后获得到人体的温度及环境背景温度信息；
[0009]将人体的温度及环境背景温度信息通过串口发送给Jetson nano板进行数据融合，并将融合后的结果数据发送机器人的工控机用来调整机器人的位姿与运动路径以躲避人体的干扰。
[0010]进一步地，所述对RGB相机与红外相机进行标定的方法包括相机内参标定与相机的外参标定，
[0011]在RGB相机与红外相机的单目标定时，使用各自的相机拍摄视野范围内不同位置
的标定板图片，然后调用Matlab中的Camera Calibrator相机标定工具箱进行单目标定，依次得到RGB相机与红外相机的内参矩阵与畸变矩阵；
[0012]使用Matlab中的Camera Calibrator相机标定工具箱进行双目标定，选择RGB相机作为主相机，得到红外相机相对于RGB相机的旋转平移关系，再结合RGB相机与红外相机的内参矩阵得到红外相机图像中的点与RGB相机图像中点的对应关系，用于人体温度计算与环境温度计算。
[0013]进一步地，所述双目标定中RGB相机坐标系与红外相机坐标系之间的对应关系：
[0014][0015]Rt为两坐标系间的旋转关系，在本专利技术中两坐标系在同一平面内且确保坐标系XY方向一致，不存在旋转关系，Rt仅为单位矩阵，dx、dy为图4中的x、y方向的距离。
[0016]进一步地，所述单目标定中相机坐标系(XC,YC,ZC)到像素坐标系(u,v)的转换关系：
[0017][0018]R为两相机单目标定得到的相机内参。
[0019]进一步地，根据双目标定中RGB相机坐标系与红外相机坐标系之间的对应关系以及单目标定中相机坐标系(XC,YC,ZC)到像素坐标系(u,v)的转换关系计算得到两相机像素坐标系之间的转换关系：
[0020][0021]R1、R2分别为RGB相机与红外相机的内参矩阵，(u1，v1)、(u2，v2)分别为RGB相机与红外相机的像素坐标系，dx、dy为x、y方向的距离。
[0022]进一步地，所述调用RGB相机进行人体检测使用yolov5目标检测网络进行人体检测，通过在Jetson nano板中部署yolov5网络，调取RGB相机进行人体识别，能够返回相机画面内部的人体数量、区域以及在画面中的位置信息。
[0023]一种基于多传感器融合的消毒机器人人体感知系统，所述系统包括：
[0024]毫米波雷达人体检测模块，用于检测RGB相机与红外相机方向是否存在人体；
[0025]RGB相机与红外相机，用于得到人体区域中每个像素代表的温度信息，取均值，最后获得到人体的温度及环境背景温度信息；
[0026]Jetson nano板，用于处理RGB相机、红外相机与毫米波雷达人体检测模块获取的
数据并将处理结果融合，
[0027]机器人工控机，用于根据融合的结果调整机器人的位姿与运动路径。
[0028]进一步地，所述Jetson nano板通过UART串口与机器人工控机连接。
[0029]与现有技术相比，本专利技术所达到的有益效果：
[0030]本专利技术采用RGB相机、红外相机、毫米波雷达人体检测模块三种传感器进行人体检测，并将其检测结果进行融合，通过不同传感器之间的相互配合，取长补短，能够对有效提升人体的检测准确率、并得到人体数量、人体相对于机器人的位置信息、人体本身的温度信息以及环境中的背景信息，有效感知消毒机器人的实际工作环境，并通过Jetson nano板将检测到的信息发送给消毒机器人的工控机，便于实现机器人姿态与路径的调整，使得消毒机器人能够更好的在具有人体的动态场景下工作。
[0031]本专利技术采用RGB相机与毫米波雷达人体检测模块组合的方式来检测人体能够有效减少误识别率，提升识别精度。
附图说明
[0032]图1所述装置结构示意图；
[0033]图2相机标定内容及流程
[0034]图3棋盘格标定板示意图
[0035]图4两相机间的旋转平移关系
[0036]图5整体工作流程图；
[0037]图中，1为RGB相机，2为红外相机，3为毫米波雷达人体检测模块，4为Jetson nano板，5为固定板
具体实施方式
[0038]为使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本专利技术。
[0039]如图1
‑
图5所示，本专利技术公开了一种基于多传感器融合的消毒机器人人体感知方法，具体方法如下：
[0040]对RGB相机与红外相机进行标定，用于去除RGB相机与红外相机的自身图像畸变以及获取两个相机之间的位置关系；
[0041]通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多传感器融合的消毒机器人人体感知方法，其特征在于，所述方法包括：对RGB相机与红外相机进行标定，获取两个相机之间的位置关系；通过毫米波雷达人体检测模块来检测当前场景内是否存在人体，响应于存在人体时，调用RGB相机进行人体检测；若RGB相机检测到人体则返回相应的人体数量、区域、方位信息，根据RGB相机与红外相机的位置关系并引入两者的内参矩阵得到红外相机图像中的点与RGB相机图像中点的对应关系，再调用红外相机的SDK来获取红外图像的像素值与温度的换算关系，得到人体区域中每个像素代表的温度信息，取均值，最后获得到人体的温度及环境背景温度信息；将人体的温度及环境背景温度信息通过串口发送给Jetson nano板进行数据融合，并将融合后的结果数据发送机器人的工控机用来调整机器人的位姿与运动路径以躲避人体的干扰。2.根据权利要求1所述的基于多传感器融合的消毒机器人人体感知方法，其特征在于，所述对RGB相机与红外相机进行标定的方法包括相机内参标定与相机的外参标定，在RGB相机与红外相机的单目标定时，使用各自的相机拍摄视野范围内不同位置的标定板图片，然后调用Matlab中的Camera Calibrator相机标定工具箱进行单目标定，依次得到RGB相机与红外相机的内参矩阵与畸变矩阵；使用Matlab中的Camera Calibrator相机标定工具箱进行双目标定，选择RGB相机作为主相机，得到红外相机相对于RGB相机的旋转平移关系，再结合RGB相机与红外相机的内参矩阵得到红外相机图像中的点与RGB相机图像中点的对应关系，用于人体温度计算与环境温度计算。3.根据权利要求2所述的基于多传感器融合的消毒机器人人体感知方法，其特征在于，所述双目标定中RGB相机坐标系与红外相机坐标系之间的对应关系：Rt为两坐标系间的旋转关系，在本发明中两坐标系在同一平面内且确...

【专利技术属性】
技术研发人员：徐孝彬，张好杰，陈子恒，王文，冉莹莹，谭治英，徐林森，
申请(专利权)人：河海大学，
类型：发明
国别省市：