基于目标检测的机械臂倒液任务中液位检测控制方法技术

本发明专利技术涉及一种基于目标检测的机械臂倒液任务中液位检测控制方法。其包括如下步骤：步骤1、构建所需的目标检测模型；步骤2、利用目标检测模型对所获取的当前倒液图像进行目标检测，以得到当前倒液图像内一液体的器内液体检测框信息以及容器检测框信息；根据器内液体检测框信息内的器内液体检测框坐标以及相应容器检测框信息内的容器检测框坐标，确定倒液任务中一透明盛液容器的容器当前液位值；步骤3、根据容器当前液位值以及预设的期望液位值调节机械臂当前的倒液状态，直至容器当前液位值与期望液位值匹配。本发明专利技术能有效实现机械臂倒液时的液位检测与控制，鲁棒性强。鲁棒性强。鲁棒性强。

【技术实现步骤摘要】
基于目标检测的机械臂倒液任务中液位检测控制方法


[0001]本专利技术涉及一种液位检测控制方法，尤其是一种基于目标检测的机械臂倒液任务中液位检测控制方法。

技术介绍

[0002]随着人工智能相关理论与技术的不断发展，机械臂作为服务机器人的角色逐渐进入了人们的日常生活。近年来，对于第三产业(即服务业)，基于观赏性、体验性的需要，以及对协助残障人士时的便利性等存在的要求，机械臂的应用在多个方面，如茶艺机器人，调酒机器人以及助残机器人等。现阶段，为增强服务机械臂完成相关日常生活任务(Activities ofDaily Living，ADL)的能力和交互能力，加装相机几乎已成标配。
[0003]目前，机械臂倒水是服务机器人的基本任务之一。机械臂倒水，即利用机械臂对液瓶定位抓取至容器处进行液体倾倒的过程。倒水时，如何对液位进行及时的检测和控制，实现液体进行定量倾倒或防止液体满溢，是现阶段机械臂倒水问题的难点。
[0004]对于机器人操作环境中的液位检测，有研究通过有使用声觉传感器进行容器内空气柱检测从而获取液位，具体可参考公开文献：Liang H,Zhou C,Li S,et al.Robust robotic pouring using audition and haptics[C]//2020IEE E/RSJ International Conference on Intelligent Robots and Systems(IROS).IEEE,2020:10880
‑
10887。此外，通过长短期记忆网络(Long
‑
Short Term Memor y,LSTM)进行倒水液柱图像预测，具体可参考公开文献：Schenck C,Fox D.Visual closed
‑
loop control for pouring liquids[C]//2017IEEE International Co nference on Robotics and Automation(ICRA).IEEE,2017:2629
‑
2636。然而，上述倒水液位检测时，还需要额外的深度相机或热成像仪进行辅助，且对于深度相机或热成像仪的放置位置有较高的要求，对于透明液体和透明容器无泛化性。即基于结构化实验环境，对于其他环境或者倒水情形泛化性不强。
[0005]相较于其他各种传感器检测方法，使用机械臂自身配装的相机或加装简单相机进行视觉检测，从实施上来说显然是最为经济易行的方案。基于视觉目标检测的液位检测工作，前人研究重点多在某种特定结构化场合中，如输液点滴液位检测，舱底水液位检测等。对袋装点滴液位进行视觉检测的案例，通过传统的图像处理算法，对液位图像做差分，具体点滴容量检测说明可参考公开号为CN107437244A的说明。
[0006]对液位线区域进行标注生成相应数据集，训练R
‑
CNN网络模型对液位信息进行预测的做法，具体预测方法说明可参考公开号为CN110428416A的说明。对于YOLO系列模型，有案例使用YOLOv2对液位进行自动识别，具体识别方法说明可参考乔人杰公开的参考文献：基于视觉的液位自动识别跟踪设计[D].哈尔滨工程大学,2018，其需要使用钢尺进行辅助识别，通过视觉中钢尺刻度的匹配来获得液位线的高度。此外，通过YOLOv5估计舱底水液位，具体识别方法说明可参考王坤等公开的参考文献：王坤,房玉吉,刘华龙,刘帅,余淞洋.基于YOLO
‑
v5和ResNet的舱底水液位识别算法[J].船海工程,2020,49(06):39
‑
43，其需要使用多步预处理算法进行感兴趣区域(Regions of Interest,ROI)提取，耗时且只能针对
舱底水透明液体，对于其他液体和容器无泛化性，对于相机角度等要求较高。
[0007]服务机器人倒水任务中，对液位检测的精度并没有过高要求，而更多的是关注不溢出的倒水与检测方法的泛化性，即需要对于多种颜色的液体、多种形状和颜色的容器都能检测，对于多种常用相机角度如平角、下俯角等都能适用；而已有的机器人操作环境下的液位检测更多的是针对结构化的环境，鲁棒性与泛化性不足，而且不能够应用于视野中多个容器的液位检测。

技术实现思路

[0008]本专利技术的目的是克服现有技术中存在的不足，提供一种基于目标检测的机械臂倒液任务中液位检测控制方法，其能有效实现机械臂倒液时的液位检测与控制，鲁棒性强。
[0009]按照本专利技术提供的技术方案，一种基于目标检测的机械臂倒液任务中液位检测控制方法，所述机械臂倒液任务中液位检测控制方法包括如下步骤：
[0010]步骤1、对机械臂倒液任务中的透明盛液容器以及倒入所述透明盛液容器内液体的液位检测，构建所需的目标检测模型，以利用所述目标检测模型得到机械臂倒液任务中一透明盛液容器的容器检测框信息以及位于所述透明盛液容器内液体的器内液体检测框信息；
[0011]步骤2、提供执行倒液任务的机械臂以及至少一个透明盛液容器，获取利用所述机械臂倒液任务时的当前倒液图像，利用目标检测模型对所获取的当前倒液图像进行目标检测，以得到当前倒液图像内一液体的器内液体检测框信息以及液体所在透明盛液容器的容器检测框信息；
[0012]根据器内液体检测框信息内的器内液体检测框坐标以及相应容器检测框信息内的容器检测框坐标，确定倒液任务中一透明盛液容器的容器当前液位值；
[0013]步骤3、根据容器当前液位值以及预设的期望液位值调节机械臂当前的倒液状态，直至容器当前液位值与期望液位值匹配，且在容器当前液位值与期望液位值匹配时，停止利用机械臂对当前透明盛液容器的倒液。
[0014]机械臂执行倒液任务时，机械臂将所抓取液瓶内的液体逐步倒入所需的透明盛液容器内；当前倒液图像内同时包含呈竖直状态的液瓶时，利用目标检测模型得到液瓶的液瓶检测框信息以及位于所述液瓶中液体的瓶内液体检测框信息；
[0015]根据液瓶检测框信息内的液瓶检测框坐标以及瓶内检测框信息内的瓶内检测框坐标，确定液瓶内的瓶内当前液位值；当瓶内当前液位值与预设的瓶内液位报警阈值匹配时，输出液瓶低液位提示信息。
[0016]当目标检测模型为基于YOLOv5s的目标检测模型时，步骤1包括如下步骤：
[0017]步骤1.1、提供YOLOv5s检测基础模型；
[0018]步骤1.2、采集用于对YOLOv5s检测基础模型进行训练的训练样本集、用于YOLOv5s检测基础模型训练后测试的测试样本集以及用于对YOLOv5s检测基础模型训练后验证的验证样本集，其中，训练样本集、测试样本集以及验证样本集内均至少包括透明盛液容器图像样本集以及液体图像样本集；
[0019]步骤1.3、利用训练样本集对YOLOv5s检测基础模型训练后，利用测试样本集以及验证样本集对所训练后的YOLOv5s检测基础模型进行验证，以得到基于YOLOv5s的目标检测
模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测的机械臂倒液任务中液位检测控制方法，其特征是，所述机械臂倒液任务中液位检测控制方法包括如下步骤：步骤1、对机械臂倒液任务中的透明盛液容器以及倒入所述透明盛液容器内液体的液位检测，构建所需的目标检测模型，以利用所述目标检测模型得到机械臂倒液任务中一透明盛液容器的容器检测框信息以及位于所述透明盛液容器内液体的器内液体检测框信息；步骤2、提供执行倒液任务的机械臂以及至少一个透明盛液容器，获取利用所述机械臂倒液任务时的当前倒液图像，利用目标检测模型对所获取的当前倒液图像进行目标检测，以得到当前倒液图像内一液体的器内液体检测框信息以及液体所在透明盛液容器的容器检测框信息；根据器内液体检测框信息内的器内液体检测框坐标以及相应容器检测框信息内的容器检测框坐标，确定倒液任务中一透明盛液容器的容器当前液位值；步骤3、根据容器当前液位值以及预设的期望液位值调节机械臂当前的倒液状态，直至容器当前液位值与期望液位值匹配，且在容器当前液位值与期望液位值匹配时，停止利用机械臂对当前透明盛液容器的倒液。2.根据权利要求1所述的基于目标检测的机械臂倒液任务中液位检测控制方法，其特征是，机械臂执行倒液任务时，机械臂将所抓取液瓶内的液体逐步倒入所需的透明盛液容器内；当前倒液图像内同时包含呈竖直状态的液瓶时，利用目标检测模型得到液瓶的液瓶检测框信息以及位于所述液瓶中液体的瓶内液体检测框信息；根据液瓶检测框信息内的液瓶检测框坐标以及瓶内检测框信息内的瓶内检测框坐标，确定液瓶内的瓶内当前液位值；当瓶内当前液位值与预设的瓶内液位报警阈值匹配时，输出液瓶低液位提示信息。3.根据权利要求1所述的基于目标检测的机械臂倒液任务中液位检测控制方法，其特征是，当目标检测模型为基于YOLOv5s的目标检测模型时，步骤1包括如下步骤：步骤1.1、提供YOLOv5s检测基础模型；步骤1.2、采集用于对YOLOv5s检测基础模型进行训练的训练样本集、用于YOLOv5s检测基础模型训练后测试的测试样本集以及用于对YOLOv5s检测基础模型训练后验证的验证样本集，其中，训练样本集、测试样本集以及验证样本集内均至少包括透明盛液容器图像样本集以及液体图像样本集；步骤1.3、利用训练样本集对YOLOv5s检测基础模型训练后，利用测试样本集以及验证样本集对所训练后的YOLOv5s检测基础模型进行验证，以得到基于YOLOv5s的目标检测模型。4.根据权利要求1至3任一项所述的基于目标检测的机械臂倒液任务中液位检测控制方法，其特征是，步骤2中，利用倒液图像装置获取机械臂执行倒液任务时的当前倒液图像；在执行倒液任务前，利用倒液图像装置对机械臂进行标定，以利用标定后的机械...

【专利技术属性】
技术研发人员：朱美强，汤力凡，毛逸鹏，李明，王玉杰，王鸿璞，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：