【技术实现步骤摘要】
本专利技术涉及工程机械，具体涉及一种基于肢体语言的工程机械指挥方法及系统。
技术介绍
1、近年来，人工智能、机器视觉、图像识别和智能感知技术等新技术正融入工程机械领域。加快了工程机械的智能化进程，使传统的工程机械逐渐向着遥控驾驶和自动驾驶的方向发展。然而，不同于自动驾驶汽车，工程机械在施工过程中，很多场景仍然需要大量的辅助施工人员参与，以完成复杂的作业动作来进行施工，比如，工程机械的驾驶员(车上驾驶员或使用遥控器的驾驶员)与设备周围的辅助施工人员配合时，需要按照辅助施工人员的指令配合工作，这时双方的交流一般依赖手势或喊话；自动驾驶的工程机械，在入场、整备、以及施工结束退场时，需要驾驶员上机操作或使用遥控器操作；自动驾驶的工程机械，在施工中遇到突发事件处置时，需要驾驶员紧急上机操作或使用遥控器进行操作。
2、上述场景中，操作者/指挥者与工程机械设备缺乏一个简单的交互方式，尤其是自动驾驶的工程机械90％的时间是不需要人工操作的，但是为了施工需要，仍要求驾驶员/指挥员随身携带遥控器，在没有遥控器的情况下，驾驶员/指挥员甚至要快速接近甚至爬上设备驾驶室进行操作，存在安全风险。因此，有必要建立工程机械与指挥人员之间的互动机制。
技术实现思路
1、本专利技术的目的在于提供一种基于肢体语言的工程机械指挥方法及系统，可以使指挥人员利用基本的肢体语言，向工程机械传递控制指令，工程机械使用图像采集和识别设备对肢体语言指令进行识别和转译，转换成工程机械的传统控制指令，从而实现使用肢体语言指挥
2、为实现上述目的，本专利技术一方面提供了一种基于肢体语言的工程机械指挥方法，包括：
3、s1、通过摄像机实时采集工程机械预设区域的图像；
4、s2、识别图像内的指挥人员；
5、s3、识别指挥人员的肢体语言信息；
6、s4、根据预先设置的肢体语言指令表，识别指挥人员肢体语言中有效的指令信息；
7、s5、将有效的指令信息转换为工程机械的控制指令，发送给工程机械的机载控制系统；
8、s6、机载控制系统根据相关控制指令，控制工程机械完成相关动作。
9、进一步地，在步骤s1中，所述工程机械预设区域的图像的采集方式包括：
10、(1)根据被指挥的工程机械设备作业特点，设定特定角度特定距离采集的图像；
11、(2)使用360°环视技术，设定有效距离，采集工程机械周边全方位的图像；
12、(3)使用变焦镜头获取的特定方位、有一定距离的图像。
13、进一步地，在步骤s2中，所述识别图像内指挥人员的方法包括：
14、(1)根据工作人员佩戴的指定颜色、外形或图案的头盔进行特征识别；
15、(2)根据工作人员穿着的指定颜色、款式或图案的服装进行特征识别；
16、(3)根据工作人员的人脸相貌进行人脸识别；
17、进一步地，在步骤s3中，所述肢体语言信息包括：
18、(1)人体躯干的姿势，包括站立、弯腰角度、左右倾斜、后仰；
19、(2)人体上肢的姿势，包括单侧或两侧手臂平伸、牵伸、后摆、弯曲、并拢；
20、(3)人体下肢的姿势，包括单腿或双腿直立、弯曲、抬腿、踢腿、半蹲、伸腿；
21、(4)人体手指的姿势，包括每个手指的伸出、弯曲、并拢组合；
22、(5)人体头部的姿势，包括头部的旋转角度、面向方向、水平摇动和左右、前后摆动；
23、(6)人体面部的姿势，包括单只或两只眼睛的睁开与闭合、嘴巴的张开与闭合以及上肢与面部器官组合指示的姿势。
24、进一步地，在步骤s3中，所述识别并获取指挥人员的肢体语言信息的方法包括：
25、(1)获取图像内指挥人员的人体外形轮廓；
26、(2)根据人体外形轮廓数据，使用人体姿势识别算法，生成指挥人员的姿势骨架数据；
27、(3)根据姿势骨架数据，使用肢体语言识别算法，结合预先约定的肢体语言指令表进行对照，得出有效的肢体语言指令。
28、进一步地，在步骤s4中，所述预先设置的肢体语言指令表，是产品开发者与使用者预先约定的肢体语言信息与工程机械特定功能的对照表。
29、另一方面，本专利技术还提供了一种基于肢体语言的工程机械指挥系统，包括：
30、图像采集模块，用于采集工程机械预设区域的图像；
31、图像识别模块，用于识别图像中的指挥人员、获取指挥人员的肢体语言信息以及识别指挥人员肢体语言中有效的指令信息；
32、指令传递模块，用于将有效的指令信息转换为工程机械的控制指令，传递给工程机械的机载控制系统以控制工程机械完成相关动作。
33、进一步地，在所述图像识别模块中设置人工智能算法模块，所述人工智能算法模块包括：
34、特征库，所述特征库包括人形目标特征库、人形穿戴特征库、人脸特征库、人体关键点特征库以及肢体语言特征库。
35、神经网络计算机，所述神经网络计算机用于同特征库结合，进行基于神经网络的深度学习，训练肢体语言特征识别模型。
36、本专利技术的有益效果是：本专利技术通过采用相机获取工程机械周围特定区域的图像，识别图像中具有指挥权限的工作人员，然后通过图像识别技术识别其肢体语言信息，筛选其中有效的指令信息，与预设的肢体语言指令表进行对照后转换为对工程机械的控制指令，发送给机载控制系统，以控制工程机械完成相关动作，从而实现人机交互。这种交互方式在传统工程机械或自动驾驶的工程机械中一方面可以提高施操作安全性及指挥可靠性，一方面可以提高机械施工智能化。
本文档来自技高网...【技术保护点】
1.一种基于肢体语言的工程机械指挥方法，其特征在于，包括：
2.根据权利要求1所述的基于肢体语言的工程机械指挥方法，其特征在于，在步骤S1中，所述工程机械预设区域的图像的采集方式包括：
3.根据权利要求1所述的基于肢体语言的工程机械指挥方法，其特征在于，在步骤S2中，所述识别图像内指挥人员的方法包括：
4.根据权利要求1所述的基于肢体语言的工程机械指挥方法，其特征在于，在步骤S3中，所述肢体语言信息包括：
5.根据权利要求4所述的基于肢体语言的工程机械指挥方法，其特征在于，在步骤S3中，所述识别并获取指挥人员的肢体语言信息的方法包括：
6.根据权利要求1所述的基于肢体语言的工程机械指挥方法，其特征在于，在步骤S4中，所述预先设置的肢体语言指令表，是产品开发者与使用者预先约定的肢体语言信息与工程机械特定功能的对照表。
7.一种基于肢体语言的工程机械指挥系统，其特征在于，包括：
8.根据权利要求7所述的基于肢体语言的工程机械指挥系统，其特征在于，在所述图像识别模块中设置人工智能算法模块，所述人工智能算
...【技术特征摘要】
1.一种基于肢体语言的工程机械指挥方法，其特征在于，包括：
2.根据权利要求1所述的基于肢体语言的工程机械指挥方法，其特征在于，在步骤s1中，所述工程机械预设区域的图像的采集方式包括：
3.根据权利要求1所述的基于肢体语言的工程机械指挥方法，其特征在于，在步骤s2中，所述识别图像内指挥人员的方法包括：
4.根据权利要求1所述的基于肢体语言的工程机械指挥方法，其特征在于，在步骤s3中，所述肢体语言信息包括：
5.根据权利要求4所述的基于肢体语言的工程机...
【专利技术属性】
技术研发人员：刘晓东，杜思齐，孔梦炜，武博文，邵珠枫，骆城，冯丹，高建祥，
申请(专利权)人：徐工集团工程机械股份有限公司道路机械分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。