【技术实现步骤摘要】
本专利技术涉及智能消防机器人的自动灭火领域，尤其涉及一种基于双目视觉的智能消防机器人自动灭火方法。
技术介绍
1、目前，机器人被广泛应用于消防作业。智能消防机器人可以在高温高压、有毒有害的火场环境中代替人类消防员完成侦查或灭火工作。然而，目前的智能消防机器人主要依赖人类操作员遥控来完成灭火，其智能化程度不足。提高智能消防机器人的智能性，使其具有自主灭火的能力，对于智能消防机器人的发展至关重要。
2、对于智能消防机器人，完成自主灭火任务需要一个自动灭火策略。自动灭火策略的目标是控制射流的轨迹，并通过射流输送一定量的灭火介质到火焰，从而扑灭火焰。为了使射流命中火焰，需要调整水炮的俯仰角与偏航角。由于射流的破碎特性，建立一个精确的射流物理模型是困难的，难以基于射流模型构建自动灭火方法。而若使用视觉测量的计算射流的三维轨迹，由于图像中射流中心区域的纹理较为稀疏，使用传统的特征难以确定两幅图像中射流的对应点，即无法使用传统图像特征精确计算射流区域的视差。
3、有鉴于此，特提出本专利技术。
技术实现思路
1、本专利技术的目的是提供了一种基于双目视觉的智能消防机器人自动灭火方法，利用深度双目匹配网络计算匹配代价，来计算射流的轨迹，从而避免测量射流的复杂物理特性，同时，基于视觉反馈控制水炮的角度，保证射流命中火焰的命中率，进而解决现有技术中存在的上述技术问题。
2、本专利技术的目的是通过以下技术方案实现的：
3、一种基于双目视觉的智能消防机器人自动灭
4、步骤1，火焰检测：智能消防机器人在实际灭火场景执行自动灭火任务时，由该智能消防机器人搭载的双目相机获取包含火焰的彩色双目图像，使用目标检测模型在获取的彩色双目图像中确定火焰位置，并依据火焰位置的检测框确定火焰三维位置；
5、步骤2，计算水炮的偏航角：依据当前智能消防机器人与火焰三维位置之间的三维位置关系，计算水炮的偏航角，按偏航角调整使水炮指向火焰位置；
6、步骤3，调整水炮的俯仰角：利用预先构建并训练好的基于匹配代价的深度双目匹配网络测量水炮当前的射流轨迹，以水炮当前的射流轨迹与火焰位置的差距为反馈，调整水炮的俯仰角，使水炮的射流不断接近火焰位置；
7、步骤4，灭火命中判断：当判断通过智能消防机器人上搭载的热成像相机连续获取的热成像图像中火焰位置的火焰面积持续减小时，确认射流命中火焰位置的火焰，保持当前水炮的偏航角与俯仰角，使水炮的射流持续输送灭火介质，直至判断新获取的热成像图像中的火焰位置的火焰面积为零，则结束本次灭火任务。
8、一种处理设备，包括：
9、至少一个存储器，用于存储一个或多个程序；
10、至少一个处理器，能执行所述存储器所存储的一个或多个程序，在一个或多个程序被处理器执行时，使得所述处理器能实现本专利技术所述的方法。
11、一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时能实现本专利技术所述的方法。
12、与现有技术相比，本专利技术所提供的基于双目视觉的智能消防机器人自动灭火方法，其有益效果包括：
13、使智能消防机器人以视觉测量的方式，通过预先构建并训练好的基于匹配代价的深度双目匹配网络测量水炮当前的射流的三维轨迹，并依据测量的射流的三维轨迹作为反馈，调整水炮的俯仰角与偏航角，即能准确的将水炮的射流对准火焰位置的火焰进行准确的自动灭火操作，由于不需要复杂的射流物理模型，从而避免了大量物理量的测量，能方便地应用到智能消防机器人的自动灭火任务中；该方法将水炮的角度量与视觉信息融合来计算匹配代价，克服了射流图像区域特征稀疏的问题，提高了对射流轨迹测量的准确度。
本文档来自技高网...【技术保护点】
1.一种基于双目视觉的智能消防机器人自动灭火方法，其特征在于，用于控制搭载双目相机、激光雷达和热成像相机的智能消防机器人执行自动灭火任务，包括以下步骤：
2.根据权利要求1所述的基于双目视觉的智能消防机器人自动灭火方法，其特征在于，所述步骤3中的基于匹配代价的深度双目匹配网络，按以下方式构建并进行训练，包括：
3.根据权利要求2所述的基于双目视觉的智能消防机器人自动灭火方法，其特征在于，所述步骤A33中，按以下方式用标定好双目相机和激光雷达的智能消防机器人采集的一系列射流的彩色双目图像与激光雷达点云数据作为训练数据，包括：
4.根据权利要求3所述的基于双目视觉的智能消防机器人自动灭火方法，其特征在于，所述步骤A331中，按以下方法进行传感器系统标定，包括：
5.根据权利要求1-4任一项所述的基于双目视觉的智能消防机器人自动灭火方法，其特征在于，所述步骤3中，利用预先构建并训练好的基于匹配代价的深度双目匹配网络按以下方式测量水炮当前的射流轨迹，包括：
6.根据权利要求1-4任一项所述的基于双目视觉的智能消防机器人自动灭火方
7.根据权利要求1-4任一项所述的基于双目视觉的智能消防机器人自动灭火方法，其特征在于，所述步骤3中，按以下方式调整水炮的俯仰角，包括：
8.根据权利要求1-4任一项所述的基于双目视觉的智能消防机器人自动灭火方法，其特征在于，所述智能消防机器人为带有机械臂，机械臂末端具有平行夹持器的智能机器人。
9.一种处理设备，其特征在于，包括：
10.一种可读存储介质，其特征在于，存储有计算机程序，当计算机程序被处理器执行时能实现权利要求1-8任一项所述的方法。
...【技术特征摘要】
1.一种基于双目视觉的智能消防机器人自动灭火方法，其特征在于，用于控制搭载双目相机、激光雷达和热成像相机的智能消防机器人执行自动灭火任务，包括以下步骤：
2.根据权利要求1所述的基于双目视觉的智能消防机器人自动灭火方法，其特征在于，所述步骤3中的基于匹配代价的深度双目匹配网络，按以下方式构建并进行训练，包括：
3.根据权利要求2所述的基于双目视觉的智能消防机器人自动灭火方法，其特征在于，所述步骤a33中，按以下方式用标定好双目相机和激光雷达的智能消防机器人采集的一系列射流的彩色双目图像与激光雷达点云数据作为训练数据，包括：
4.根据权利要求3所述的基于双目视觉的智能消防机器人自动灭火方法，其特征在于，所述步骤a331中，按以下方法进行传感器系统标定，包括：
5.根据权利要求1-4任一项所述的基于双目视觉的智能消防机器人自动灭...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。