基于光流和卷积神经网络的高速移动机器人实时监测方法技术

本发明专利技术公开了一种基于光流和卷积神经网络的高速移动机器人实时监测方法，涉及机器人视觉监测技术领域，本发明专利技术将采集到的图像，经过光流算法获得动态移动机器人的粗略信息，再利用均值滤波模糊化处理、形态学操作以及自适应阈值二值化处理得到移动机器人的二值化图像，最后使用卷积神经网络检测出高速移动机器人的位置信息。与现有检测算法相比，本算法具有实时性，在完成神经网络模型的训练之后，能快速检测到机器人位置；无需环境模型建立，现有多数算法需要精细的环境模型，在实际中难以搭建；成本低，只需一台计算机和一个图像采集设备，不需要专业人员的操作。不需要专业人员的操作。不需要专业人员的操作。

【技术实现步骤摘要】
基于光流和卷积神经网络的高速移动机器人实时监测方法


[0001]本专利技术涉及机器人视觉监测
，具体涉及一种基于光流和卷积神经网络的高速移动机器人实时监测方法。

技术介绍

[0002]近年来，伴随着机器人技术的高速发展，移动机器人也逐步走进了生产生活的各个领域，无论是在工业生产环境下用于物料搬运、码垛，还是在日常生活中用于垃圾清扫、网球拾取等，移动机器人均有着很好的表现。然而，在移动机器人的实际使用中，存在一个问题：高速移动的机器人往往会增大事故的发生几率，而且过高的移动速度所可能引发的事故会导致巨大的经济损失和人员伤亡。
[0003]尽管科研工作者为此做了很多工作，设计了很多移动机器人的避障算法，但这些算法大多都是在环境模型已知的情况下进行的，而在实际生产生活中，对环境模型的建立是一件很困难的事，而且当环境是动态的时候，即环境信息随时间改变时，必须重新对环境建模，这不利于机器人的实际使用；除此，基于激光雷达信息和超声波的障碍物监测方法能够发挥一定作用，但这仅限于中低速机器人，对于高速机器人而言，即使成功检测到障碍物，也很难在短时间里避开障碍物。

技术实现思路

[0004]有鉴于此，有必要针对上述的问题，提供一种基于光流和卷积神经网络的高速移动机器人实时监测方法，将采集到的图像经过光流算法获得动态移动机器人的粗略信息，再利用算法得到移动机器人的二值化图像，最后使用卷积神经网络检测出高速移动机器人的位置信息，从而在不需要环境模型建立的基础上，实现高速移动机器人的实时监测和避障。
[0005]为实现上述目的，本专利技术是根据以下技术方案实现的：
[0006]一种基于光流和卷积神经网络的高速移动机器人实时监测方法，包括以下步骤：
[0007]步骤S1：将图像采集设备安装在高速移动机器人工作环境的边缘，使得设备能够捕获的环境信息包含整个工作环境；
[0008]步骤S2：开启图像采集设备，获取静态环境下的环境信息；
[0009]步骤S3：高速移动机器人开始作业，图像采集设备每隔一定时间采集一张环境RGB图像，并将所采集的图像传输到计算机系统中；
[0010]步骤S4：将采集到的RGB图像转为灰度图像，采用均值滤波算法对运动信息灰度图像做模糊处理；
[0011]步骤S5：对相邻两帧图像采用光流(Opitical flow)算法计算产生ROI(Region Of Interest，即感兴区域，表示图像中需要关注的一小块区域)，表达高速移动机器人的近似位置信息，并对其进行形态学操作；
[0012]步骤S6：利用自适应阈值算法对图像做二值化处理，获得移动机器人的二值分割
图像；
[0013]步骤S7：重复上述步骤S3
‑
S6，构建高速移动机器人运动位置的样本集，使用矩形框标注样本集，并利用卷积神经网络(CNN)对样本集进行模型训练；
[0014]步骤S8：在机器人实际作业中，利用训练好的模型对采集到的图像进行测试，得到高速移动机器人的位置信息和障碍物的位置信息；
[0015]步骤S9：在机器人实际作业中，根据高速移动机器人的位置信息和障碍物的位置信息，控制机器人的运动状态。
[0016]进一步地，步骤S2中，所述静态环境下的环境信息包括障碍物和机器人可达空间。
[0017]进一步地，上述步骤S4具体包括以下步骤：
[0018]采用R*R的滤波器，以一定的步长扫描整张图片，在每个窗口中，取R*R 个像素点的加权平均和的平均值，再填入各个像素点中，表示为：
[0019][0020]其中，R为滤波器的大小，w(u，v)表示滤波器的权值，f(x,y)表示原图像的像素值，g(x,y)表示滤波后图像的像素值。
[0021]进一步地，上述步骤S5中，所述光流算法的具体实现过程为：
[0022]一个像素I在第一帧用了一定时间移动了一定的距离到下一帧，同一个像素点I在运动前后的光强度是不变的，即：
[0023]I(x,y,z,t)＝I(x+Δx,y+Δy,z+Δz,t+Δt)，Δt
→0[0024]其中，I(x,y,z,t)代表像素I在第一帧时所处的x轴、y轴、z轴位置和时间，Δx、Δy、Δz、Δt代表像素I在x轴、y轴、z轴上移动的距离和移动的时间；
[0025]也就是说：
[0026][0027]根据泰勒展开，可以得到：
[0028][0029]从上面方程得到：
[0030][0031]其中，Vx和Vy分别表示和用u,v分别表示为沿x轴与y轴的速度矢量，则Vx＝u，Vy＝v。
[0032]进一步地，在步骤S5中，所述形态学操作具体为闭运算处理：
[0033]闭运算采用先膨胀，后侵蚀的办法，算法描述为：
[0034]膨胀操作：
[0035]侵蚀操作：
[0036]闭运算：
[0037]其中，M和N表示R2空间的集合，r表示满足条件所有像素点的集合。
[0038]进一步地，在步骤S6中，所述自适应阈值算法具体为：
[0039]采用均值滤波对局部5*5的邻域块进行滤波，将得到的像素均值减去一个常数，从而得到该像素点的阈值，对于原像素值大于阈值的像素点，将其设置为255，否则设置为0，表示为：
[0040][0041]其中，D表示经过自适应阈值算法后的二值图像，I表示原图像的像素值， I
R
表示经过R*R均值滤波后的像素值，t表示一个大于0的常数阈值。
[0042]与现有技术相比，本专利技术的优点和积极效果至少包括：
[0043]本专利技术将采集到的图像，经过光流算法获得动态移动机器人的粗略信息，再利用均值滤波模糊化处理、形态学操作以及自适应阈值二值化处理得到移动机器人的二值化图像，最后使用卷积神经网络检测出高速移动机器人的位置信息。与现有检测算法相比，本专利技术所述算法具有实时性，在完成神经网络模型的训练之后，能快速检测到机器人位置；且本专利技术无需环境模型的建立，解决了现有技术多数情况都需要精细的环境模型而模型在实际中难以搭建的问题；本专利技术成本低，只需一台计算机和一个图像采集设备，不需要专业人员的操作，节省了大量的人力物力和维持成本。
附图说明
[0044]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0045]图1为本专利技术实时监测方法的流程示意图；
[0046]图2为本专利技术一种实施例中硬件设备布置示意图；
[0047]图3为本专利技术一种实施例中高速移动机器人图像采集及处理过程示意图；
[0048]图4为本专利技术所采用的卷积神经网络结构示意图。
[0049]图中，图3(a)为采集到的RGB图像；图3(b)为灰度图像；图3(c)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光流和卷积神经网络的高速移动机器人实时监测方法，其特征在于，包括以下步骤：步骤S1：将图像采集设备安装在高速移动机器人工作环境的边缘，使得设备能够捕获的环境信息包含整个工作环境；步骤S2：开启图像采集设备，获取静态环境下的环境信息；步骤S3：高速移动机器人开始作业，图像采集设备每隔一定时间采集一张环境RGB图像，并将所采集的图像传输到计算机系统中；步骤S4：将采集到的RGB图像转为灰度图像，采用均值滤波算法对运动信息灰度图像做模糊处理；步骤S5：对相邻两帧图像采用光流算法计算产生ROI，表达高速移动机器人的近似位置信息，并对其进行形态学操作；步骤S6：利用自适应阈值算法对图像做二值化处理，获得移动机器人的二值分割图像；步骤S7：重复上述步骤S3
‑
S6，构建高速移动机器人运动位置的样本集，使用矩形框标注样本集，并利用卷积神经网络对样本集进行模型训练；步骤S8：在机器人实际作业中，利用训练好的模型对采集到的图像进行测试，得到高速移动机器人的位置信息和障碍物的位置信息；步骤S9：在机器人实际作业中，根据高速移动机器人的位置信息和障碍物的位置信息，控制机器人的运动状态。2.根据权利要求1所述的基于光流和卷积神经网络的高速移动机器人实时监测方法，其特征在于，步骤S2中，所述静态环境下的环境信息包括障碍物和机器人可达空间。3.根据权利要求2所述的基于光流和卷积神经网络的高速移动机器人实时监测方法，其特征在于，上述步骤S4具体包括以下步骤：采用R*R的滤波器...

【专利技术属性】
技术研发人员：雷渠江，桂光超，刘荣强，李秀昊，王卫军，
申请(专利权)人：广州中国科学院先进技术研究所，
类型：发明
国别省市：