一种基于人机距离的机器控制方法及控制系统技术方案

本发明专利技术涉及互联网技术领域，特别是涉及一种基于人机距离的机器控制方法及控制系统。该方法包括实时获取原始的RGB

【技术实现步骤摘要】
一种基于人机距离的机器控制方法及控制系统


[0001]本专利技术涉及互联网
，特别是涉及一种基于人机距离的机器控制方法及控制系统。

技术介绍

[0002]随着工业自动化的飞速发展，工业发展中所涉及到的工业安全是工业健康发展的重要前提和保证，工业安全性的高度越来越受到工业发展的重视，随之越来越多的研究致力于工业安全自动化。
[0003]基于多传感器数据的安全自动检测系统已经应用在了很多领域中，如汽车的辅助驾驶功能够在交通事故将要发生时提前接管控制权并代替人快速做出正确的决策从而减少事故损失。因此，在工业领域中开发出一种能够自动检测危险事故的视觉检测系统具有非常重要的作用。
[0004]目前，大多数方法采用在每个机器人上安装距离传感器或图像传感器的方法来监测机器人的工作环境，如德国Pilz公司的SafetyEYE产品，通过在工业机器人上方架设多目相机来检测某一区域内是否有人接近。这样的方法成本高，实施起来困难。为了解决这些问题，一些研究通过机器人标定和人体骨骼检测算法通过机器视觉的方法检测人机距离，这样的方法由于需要事先使用标定板对机器人的位置进行标定，如果应用在不同的工业环境中实施起来也较为复杂，并且如果在使用过程中由于人为等因素造成深度相机位移会影响检测结果。此外在系统的硬件组成方面，一些研究通过双目相机来估计目标的深度间接求取三维坐标来对目标定位，这样的方法准确度相较于深度相机通过红外采集的深度图像会产生更多的误差。为了结合深度相机和基于深度学习方法的目标检测算法的优点，需要设计一种新的方法能够结合图像采集，目标检测和机器人的控制，在线检测异常的人机距离并控制机器人及时做出反应。早期的方法通过施加隔离障碍或限制机器人的位置控制算法的输出来保证安全作业，而如今机器人控制系统正在逐渐趋向于智能化，人机协同工作可以发挥各自的优势，从而提高效率。随着计算机性能的提升，图像处理算法得到了发展，现有技术中提出了一种由多个相机通过阈值分割实现目标识别的方法，由专门的图像处理芯片对图像进行语义分割，进而在人机共存环境中控制机器人的工作安全。但是这种方法的实验条件较为理想，需要场景中的机器人、人和背景之间的灰度存在明显的区别，不能很好地应用于不同环境的工业现场中。而另外一种现有技术通过在作业区域上方架设一个投影仪和相机，由投影仪向地面发出特定图案的投影，相机结合图像处理算法检测图案的完整性，从而判断是否有安全违规。这个方法和SafetyEYE的工作机制十分相似，都是在作业区上方部署传感器进行入侵检测。由于微软公司深度相机 Kinect的出现，使得人体检测更加容易。也有现有技术通过建立一个虚拟的仿真环境，首先由工业机器人的3D模型同步真实工业机器人的位置，然后使用Kinect自带的API提取真实世界中的人体，最后将人体的20个关节点数据导入到虚拟环境中从而对人机碰撞进行分析和预测。通过Kinect提取人体关节点位置，计算其与场景中固定位置的移动机器人的距离，进而在危险情况时发出相应的警
报。这些方法虽然应用到了深度相机，但由于使用的人机骨骼检测API只能输出人体关节点位置，无法用于检测其他类型的目标，没有更好地发挥RGB
‑
D图像所包含的信息。

技术实现思路

[0005]鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于人机距离的机器控制方法及控制系统。
[0006]为了解决上述问题，本专利技术一方面提供一种基于人机距离的机器控制方法，包括：
[0007]从图像采集设备实时获取原始的RGB
‑
D图像；
[0008]根据所述图像采集设备的相机内参数对所述原始的RGB
‑
D图像进行校正得到校正后的RGB
‑
D图像，所述校正后的RGB
‑
D图像包含至少一个人体对象和至少一个机器对象；
[0009]将所述校正后的RGB
‑
D图像输入至训练完毕的深度神经网络模型，输出至少一个所述人体对象的人体标定框和至少一个所述机器对象的机器标定框；
[0010]基于预设的多目标跟踪算法对至少一个所述人体标定框和至少一个所述机器标定框进行跟踪处理得到跟踪结果；
[0011]根据所述跟踪结果和所述校正后的RGB
‑
D图像换算出至少一个所述人体对象的人体三维坐标数据和至少一个所述机器对象的机器三维坐标数据；
[0012]根据至少一个所述人体三维坐标数据和至少一个所述机器三维坐标数据计算每个所述机器对象与各所述人体对象之间的欧式距离；
[0013]当计算得到的欧式距离中存在满足预设的距离条件的目标欧式距离时，对与所述目标欧式距离对应的目标机器对象进行控制操作。
[0014]优选地，所述根据所述跟踪结果和所述校正后的RGB
‑
D图像换算出至少一个所述人体对象的人体三维坐标数据和至少一个所述机器对象的机器三维坐标数据，包括：
[0015]在所述校正后的RGB
‑
D图像的彩色图像中，分别在至少一个所述人体标定框和至少一个所述机器标定框中选择与所述图像采集设备的距离最近的像素点；
[0016]根据所述像素点的深度值、至少一个所述人体标定框的中心像素点在像素坐标系下的坐标值和至少一个所述机器标定框的中心像素点在像素坐标系下的坐标值，生成至少一个所述人体对象在相机坐标系下的人体三维坐标值和至少一个机器对象在相机坐标系下的机器三维坐标值；
[0017]根据所述跟踪结果、至少一个所述人体三维坐标值和至少一个所述机器三维坐标值，换算出至少一个所述人体三维坐标数据和至少一个机器三维坐标数据。
[0018]优选地，所述根据所述像素点的深度值、至少一个所述人体标定框的中心像素点在像素坐标系下的坐标值和至少一个所述机器标定框的中心像素点在像素坐标系下的坐标值，生成至少一个所述人体对象在相机坐标系下的人体三维坐标值和至少一个机器对象在相机坐标系下的机器三维坐标值，包括：
[0019]根据如下公式生成至少一个所述人体三维坐标值和至少一个所述机器三维坐标值：
[0020]X
C
＝(u
c
‑
c
x
)*d
min
/f
x
；
[0021]Y
C
＝(v
c
‑
c
y
)*d
min
/f
y
；
[0022]Z
C
＝d
min
；
[0023]其中，(X
C
，Y
C
，Z
C
)表示至少一个所述人体三维坐标值或至少一个所述机器三维坐标值，(u
c
，v
c
)表示至少一个所述人体标定框的中心像素点在像素坐标系下的坐标值或至少一个所述机器标定框的中心像素点在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人机距离的机器控制方法，其特征在于，包括：从图像采集设备实时获取原始的RGB
‑
D图像；根据所述图像采集设备的相机内参数对所述原始的RGB
‑
D图像进行校正得到校正后的RGB
‑
D图像，所述校正后的RGB
‑
D图像包含至少一个人体对象和至少一个机器对象；将所述校正后的RGB
‑
D图像输入至训练完毕的深度神经网络模型，输出至少一个所述人体对象的人体标定框和至少一个所述机器对象的机器标定框；基于预设的多目标跟踪算法对至少一个所述人体标定框和至少一个所述机器标定框进行跟踪处理得到跟踪结果；根据所述跟踪结果和所述校正后的RGB
‑
D图像换算出至少一个所述人体对象的人体三维坐标数据和至少一个所述机器对象的机器三维坐标数据；根据至少一个所述人体三维坐标数据和至少一个所述机器三维坐标数据计算每个所述机器对象与各所述人体对象之间的欧式距离；当计算得到的欧式距离中存在满足预设的距离条件的目标欧式距离时，对与所述目标欧式距离对应的目标机器对象进行控制操作。2.根据权利要求1所述的方法，其特征在于，所述根据所述跟踪结果和所述校正后的RGB
‑
D图像换算出至少一个所述人体对象的人体三维坐标数据和至少一个所述机器对象的机器三维坐标数据，包括：在所述校正后的RGB
‑
D图像的彩色图像中，分别在至少一个所述人体标定框和至少一个所述机器标定框中选择与所述图像采集设备的距离最近的像素点；根据所述像素点的深度值、至少一个所述人体标定框的中心像素点在像素坐标系下的坐标值和至少一个所述机器标定框的中心像素点在像素坐标系下的坐标值，生成至少一个所述人体对象在相机坐标系下的人体三维坐标值和至少一个机器对象在相机坐标系下的机器三维坐标值；根据所述跟踪结果、至少一个所述人体三维坐标值和至少一个所述机器三维坐标值，换算出至少一个所述人体三维坐标数据和至少一个机器三维坐标数据。3.根据权利要求2所述的方法，其特征在于，所述根据所述像素点的深度值、至少一个所述人体标定框的中心像素点在像素坐标系下的坐标值和至少一个所述机器标定框的中心像素点在像素坐标系下的坐标值，生成至少一个所述人体对象在相机坐标系下的人体三维坐标值和至少一个机器对象在相机坐标系下的机器三维坐标值，包括：根据如下公式生成至少一个所述人体三维坐标值和至少一个所述机器三维坐标值：X
C
＝(u
c
‑
c
x
)*d
min
/f
x
；Y
C
＝(v
c
‑
c
y
)*d
min
/f
y
；Z
C
＝d
min
；其中，(X
C
，Y
C
，Z
C
)表示至少一个所述人体三维坐标值或至少一个所述机器三维坐标值，(u
c
，v
c
)表示至少一个所述人体标定框的中心像素点在像素坐标系下的坐标值或至少一个所述机器标定框的中心像素点在像素坐标系下的坐标值，(c
x
，c
y
)表示所述彩色图像在像素坐标系下的光学中心坐标值，d
min
表示所述像素点的深度值，f
x
表示横向方向上的相机焦距，f
y
表示纵向方向上的相机焦距。4.根据权利要求1所述的方法，其特征在于，所述将所述校正后的RGB
‑
D图像输入至训
练完毕的深度神经网络模型，输出至少一个所述人体对象的人体标定框和至少一个所述机器对象的机器标定框，包括：将所述校正后的RGB
‑
D图像的彩色图像输入至主干特征提取网络，输出各种尺寸的特征图；在特征金字塔池化层基于金字塔注意力网络对所述特征图进行融合处理；对融合处理后的各种尺寸的特征图进行分类处理和定位处理得到分类定位结果；对分类定位结果进行距离交并比非极大值抑制处理得到至少一个所述人体标定框和至少一个所述机器标定框。5.根据权利要求1所述的方法，其特征在于，所述基于预设的多目标跟踪算法对至少一个所述人体标定框和至少一个所述机器标定框进行跟踪处理得到跟踪结果，包括：基于卡尔曼滤波器对至少一个所述人体对象和至少一个所述机器对象的位置进行预测得到至少一个所述人体对象的人体位置预测结果和至少一个所述机器对...

【专利技术属性】
技术研发人员：杨宏韬，唐宇辰，于微波，李秀兰，刘克平，张振国，
申请(专利权)人：长春工业大学，
类型：发明
国别省市：