一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的系统及方法技术方案

本发明专利技术属于人机协作与预防人机碰撞技术领域。一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的系统，包括定位识别垫、红外摄像头、图像处理器、控制器和碰撞预警装置；定位识别垫用于定位识别作业人员在该运动区域内所处位置的平面坐标数据；红外摄像头用于采集作业人员的红外图像数据，图像处理器用于将平面坐标数据和红外图像数据进行融合处理；控制器用于实时计算出作业人员与机器人在运动区域内的位置，并实时检测作业人员与机器人之间的最小距离，当最小距离小于设定的阈值时，则控制预警碰撞装置发出碰撞预警提示。本发明专利技术可以精确地对空间位置进行定位，能够准确获取作业人员的人体轮廓信息，提升人机协作碰撞预测准确性，可降低人机碰撞事故发生率。可降低人机碰撞事故发生率。可降低人机碰撞事故发生率。

A system and method of man-machine cooperation and collision prevention based on infrared camera and positioning recognition pad

【技术实现步骤摘要】
一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的系统及方法


[0001]本专利技术属于人机协作与预防人机碰撞
，具体涉及一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的系统及方法。

技术介绍

[0002]协作机器人就是指机器人与人可以在生产线上协同作战，充分发挥机器人的效率及人类的智能。这种机器人不仅性价比高，而且安全方便，能够极大地促进制造企业的发展。在工业机器人应用场景下，作业人员需要间歇或连续与机器人紧密合作，例如为机器人补料、与机器人进行分工合作、更换程序和检查运行状态等。人机协作对于提高制造灵活性以适应高混合、小批量、多品种生产至关重要。而人机协作必然要求人类与机器人共处同一空间，此时可靠、灵活、智能的人机安全防护技术显得尤为重要。现有技术中人机协作时，大多利用摄像头技术对协同作业的人员进行实时定位，运用深度学习摄像头作为获取图片的工具时，需要进行繁琐的学习过程，并且采集到的图片进行识别需要进行较长时间的数据处理过程，实时性较差，而运用多目摄像头进行视觉识别以实现人机协作时只能分时监控机器人的运动区域，使用不方便。另外，基于光纤的安全垫具有精度高、安装简便、节能环保等特点，其运用在工业机器人的安全防护领域，通常只作为一个触点开关的效果，不能很好地对人机之间的位置、距离进行准确识别。由于没有针对机器人与作业人员的运动信息进行综合标定与协作安全碰撞预测的有效手段，急需综合考虑机器人与作业人员的位置与运动信息，实现一种高效、安全的人机协作时预防碰撞的系统及方法，促进人机共融发展。
专利
技术实现思路

[0003]本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的系统，可以精确地对作业人员的空间位置进行定位，能够准确获取作业人员的人体轮廓信息，提升人机协作碰撞预测准确性，可降低人机碰撞事故的发生率，促进人机共融发展。
[0004]本专利技术为了实现上述目的，采用如下技术方案：
[0005]一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的系统，包括定位识别垫、红外摄像头、图像处理器、控制器和碰撞预警装置；其中：
[0006]所述定位识别垫铺设在机器人的运动区域，用于定位识别作业人员在该运动区域内所处位置的平面坐标数据；
[0007]所述红外摄像头用于采集所述运动区域内作业人员的红外图像数据，并对其拍摄到的空间位置进行立体定位，
[0008]所述图像处理器用于将采集到的平面坐标数据和红外图像数据进行融合后得到关于作业人员身体轮廓线、身体厚度和身高的的融合图像数据并发送至所述控制器；
[0009]所述控制器用于处理所述融合图像数据，实时计算出作业人员与机器人在所述运
动区域内的位置，并实时检测作业人员与机器人之间的最小距离，当最小距离小于设定的阈值时，则控制预警碰撞装置发出碰撞预警提示，并控制机器人停止运动。
[0010]作为本专利技术的进一步改进，所述定位识别垫包括弹性保护层以及设置在所述弹性保护层内的上层导电板、下层导电板和隔离垫片；所述隔离垫片设置在所述上层导电板和下层导电板之间，所述上层导电板的下表面设有多个微型传感器，该多个微型传感器互相分离且在纵向和横向方向上呈矩阵状排列。
[0011]作为本专利技术的进一步改进，所述碰撞预警装置包括警报灯和警报语音提示器。
[0012]本专利技术还提供一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的方法，所述方法包括如下步骤：
[0013]S1：在机器人的运动区域铺设定位识别垫，定位识别垫内设置有矩阵分布的多个微型传感器，建立基于定位识别垫的定位识别垫平面坐标系，作业人员踩在定位识别垫上时，根据提前对微型传感器的坐标进行标定，定位识别垫识别出作业人员的位置，得出该位置在机器人运动坐标系下的三维坐标(x,y,z)；
[0014]S2：在定位识别垫的正面、侧面和正上方(x轴、y轴、z轴方向上)分别安装红外摄像头，采用红外摄像头发射红外激光，分别采集作业人员的正面、侧面和从正上方往下的图像，经过处理，得出作业人员的身体轮廓线、身体厚度和身高的信息，并且对所述红外摄像机能够抓拍到的空间位置进行立体定位，建立以任一所述红外摄像头为中心点的红外摄像头坐标系；
[0015]S3：将操作人员的身体轮廓线信息和其在定位识别垫的坐标数据在图像处理器下进行融合，得出作业人员的身高、轮廓和身体厚度参数；再以作业人员的脚底为中心建立人体基坐标系，从下到上，取作业人员身体轮廓的两个特征点，得到距离一定的、有限的对应坐标点(X1,Y1,Z1)，
……
，(X
n
,Y
n
,Z
n
)，其中，n为有限整数；
[0016]S4：由于所铺设的定位安全垫位于机器人的运动空间中，需要对安全垫在机器人运动坐标系下进行位置的标定，定位安全垫上每一个点在机器人运动坐标系下都有唯一对应的直角坐标点(x,y,z)，根据作业人员任一时刻所处的位置，得出此时在机器人运动坐标系下的坐标(x,y,z)，以此时作业人员的脚底为中心的点作为作业人员根据自身建立的人体坐标系的原点(0,0,0)，步骤S3所求出的有限个特征点的坐标转换到机器人运动坐标系的坐标点为(x1,y1,z1)＝(X1,Y1,Z1)+(x,y,z),
……
，(x
n
,y
n
,z
n
)＝(X
n
,Y
n
,Z
n
)+(x,y,z)；
[0017]S5：基于机器人的操作系统，根据机器人各个轴电机编码器反馈回来的信息，以及机器人的正向运动学方程求出此时机器人末端的坐标(X,Y,Z)；
[0018]S6：步骤S5中机器人执行器坐标(X,Y,Z)和步骤S4中机器人运动坐标系下的真实坐标(x1,y1,z1)到(x
n
,y
n
,z
n
)，将机器人执行器坐标和步骤S4中有限个特征点在机器人运动坐标系下的真实坐标分别输入到控制器中，通过控制器计算两点之间的距离d，即，进行求解得到(X,Y,Z)与(x1,y1,z1)，
……
，(x
n
,y
n
,z
n
)的距离d1,
……
,dn,其中，n为有限整数；
[0019]S7：判断人机协作中作业人员的安全等级，控制所述机器人的运动，实现机器人和作业人员之间的安全协作。
[0020]作为本专利技术的进一步改进，所述步骤S7中判断人机协作中作业人员的安全等级的具体过程为：
[0021]将步骤S6所得到的距离d得与预先设定的分级安全距离D1、D2和D3分别进行比较，
其中，D1＞D2＞D3；
[0022]当所述作业人员与机器人之间的距离d大于D1时，视作业人员处于安全状态，
[0023]当所述作业人员与机器人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的系统，其特征在于，包括定位识别垫、红外摄像头、图像处理器、控制器和碰撞预警装置；其中：所述定位识别垫铺设在机器人的运动区域，用于定位识别作业人员在该运动区域内所处位置的平面坐标数据；所述红外摄像头用于采集所述运动区域内作业人员的红外图像数据，并对其拍摄到的空间位置进行立体定位，所述图像处理器用于将采集到的平面坐标数据和红外图像数据进行融合后得到关于作业人员身体轮廓线、身体厚度和身高的的融合图像数据并发送至所述控制器；所述控制器用于处理所述融合图像数据，实时计算出作业人员与机器人在所述运动区域内的位置，并实时检测作业人员与机器人之间的最小距离，当最小距离小于设定的阈值时，则控制预警碰撞装置发出碰撞预警提示，并控制机器人停止运动。2.根据权利要求1所述的一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的系统，其特征在于，所述定位识别垫包括弹性保护层以及设置在所述弹性保护层内的上层导电板、下层导电板和隔离垫片；所述隔离垫片设置在所述上层导电板和下层导电板之间，所述上层导电板的下表面设有多个微型传感器，该多个微型传感器互相分离且在纵向和横向方向上呈矩阵状排列。3.根据权利要求1所述的一种基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的系统，其特征在于，所述碰撞预警装置包括警报灯和警报语音提示器。4.一种如权利要求1
‑
3任一所述的基于红外摄像头与定位识别垫的人机协作与预防人机碰撞的方法，其特征在于，所述方法包括如下步骤：S1：在机器人的运动区域铺设定位识别垫，定位识别垫内设置有矩阵分布的多个微型传感器，建立基于定位识别垫的定位识别垫平面坐标系，作业人员踩在定位识别垫上时，根据提前对微型传感器的坐标进行标定，定位识别垫识别出作业人员的位置，得出该位置在机器人运动坐标系下的三维坐标(x,y,z)；S2：在定位识别垫的正面、侧面和正上方分别安装红外摄像头，采用红外摄像头发射红外激光，分别采集作业人员的正面、侧面和从正上方往下的图像，经过处理，得出作业人员的身体轮廓线、身体厚度和身高的信息，并且对所述红外摄像机能够抓拍到的空间位置进行立体定位，建立以任一所述红外摄像头为中心点的红外摄像头坐标系；S3：将操作人员的身体轮廓线信息和其在定位识别垫的坐标数据在图像处理器下进行融合，得出作业人员的身高、轮廓和身体厚度参数；再以作业人员的脚底为中心建立人体基坐标系，从下到上，取作业人员身体轮廓的两个特征点，得到距离一定的、有限的对应坐标点(X1,Y1,Z1)，
……
，(X
n
,Y
n
,Z
n

【专利技术属性】
技术研发人员：林义忠，杜柳明，谢震鹏，易雨晴，
申请(专利权)人：广西大学，
类型：发明
国别省市：