一种基于深度学习和双目立体视觉相结合的测距方法技术

本发明专利技术提出了一种基于深度学习和双目立体视觉相结合的测距方法，利用深度学习框选出目标对象在场景图像中的坐标位置，将该坐标位置对应到由三维重建形成的视差图中，进而可以框选出该目标物在视差图中的坐标范围。最后，利用一种统计方法——众数，来对视差图中框选出的区域按列求取一个出现次数最多的灰度值。由于视差图是一个二维数组，因此可以求得所有等于该灰度值的点的坐标位置。由于这些点的灰度值都是相同的，因此，选取这些点中任意一个点的坐标位置，输入给双目立体视觉模块生成的深度图，即可求得目标物与该双目立体视觉系统之间的距离。本发明专利技术与现有的测距方法相比，还具有能够对现实场景下具体目标物进行基于识别的非接触测量的优点。

A distance measurement method based on depth learning and binocular stereo vision

The invention provides a deep learning and binocular stereo vision based on the combination of ranging method, coordinate position using the deep learning frame to select the target object in the scene image, the coordinates corresponding to the disparity map formed by three-dimensional reconstruction, which can coordinate frame to select the target in the range in the disparity map. Finally, using a statistical method to select the mode and frame of regional disparity map obtained by column a gray number value. Since the disparity map is a two-dimensional array, the coordinates of all points equal to the gray value can be obtained. Since the gray values of these points are the same, the distance between the object and the binocular stereo vision system can be obtained by selecting the coordinates of any point in these points and inputting the depth map generated by the binocular stereo vision module. Compared with the existing ranging method, the invention also has the advantages of non-contact measurement based on the identification of the specific object in the real scene.

【技术实现步骤摘要】
一种基于深度学习和双目立体视觉相结合的测距方法
本专利技术提供了一种基于深度学习和双目立体视觉相结合的测距方法，涉及深度学习、计算机视觉

技术介绍
拥有非接触测量特点的测距方式有超声波测距、红外测距、激光测距和计算机双目视觉测距。超声波测距的原理是利用超声波在空气中的传播速度为已知，测量声波在发射后遇到障碍物反射回来的时间，根据发射和接收的时间差计算出发射点到障碍物的实际距离。由于超声波测距仪是声波发射，具有声波的扇形发射特性，方向性差。当声波经过之处障碍物较多时，反射回来的声波较多，干扰较多，易报错。激光测距，是利用激光对目标的距离进行准确测定的仪器。激光测距仪在工作时向目标射出一束很细的激光，由光电元件接收目标反射的激光束，计时器测定激光束从发射到接收的时间，计算出从观测者到目标的距离。但是，测量容易受到烟雾、灰尘、雨滴的干扰且目的性不强。红外测距是由红外发射器按照一定的角度发射红外光束，当遇到物体后，光束会反射回来。反射回来的红外光束被CCD检测器检测到以后，会得到一个偏移值，利用三角关系，在知道发射角度、偏移值、中心距以及滤镜的焦距后，传感器到物体的距离就可以通过几何关系计算出来。但是，测量容易受到日光或者其他相近波长光源的干扰，也会受到烟雾、灰尘的干扰且方向性差。双目立体视觉是计算机视觉的一个重要分支，双目立体视觉测距技术是双目立体视觉的一个重要应用。测距技术分为主动式和被动式测距两种。双目立体视觉测距技术是根据视差原理建立的被动测距系统，该系统是人类利用双目感知距离的原理设计的，即两眼从稍有不同的两个角度去观察三维世界的同一场景时，由于几何光学的投影，观察者观察到的点在左右两眼视网膜上成的像不在同一位置上，存在一定的偏差，这个偏差就是双眼视差，客观物体的实际距离就是通过视差来体现的。两个摄像机从不同位置对同一物体拍摄得到的两幅图像，通过匹配算法找出两幅图像中的对应点，并进过计算得出视差，然后基于三角测量原理恢复出物体在真实世界中的距离信息。双目立体视觉测距在测量的过程中仅需要通过捕获图像就能得到物体到相机的距离信息，而不用发射信号，具有良好的隐蔽性，因此在各个领域发挥着越来越大的作用。单纯的基于双目立体视觉的测距功能单一，没有充分挖掘计算机视觉的潜能。本专利技术把双目立体视觉与时下流行的机器学习技术相结合，提出了一种基于深度学习和双目立体视觉相结合的测距方法。该方法除了具有一般的双目立体视觉测距的功能外，通过与基于机器学习的物体识别相结合，达到对具体物体测距的能力，并且可以完成对识别的多个物体测距的要求。
技术实现思路
本专利技术解决的技术问题是：针对现有的非接触测量方法在现实场景测量的成本高及语义性不足的问题，提供一种物体识别和双目立体视觉相结合的测距方法，具有能够对现实场景下具体目标物进行基于识别的非接触测量的优点。本专利技术采用的技术方案为：一种基于深度学习和双目视觉相结合的测距方法，包括以下五个步骤：步骤(1)、首先应用标定后的双目相机模块捕获现实场景下的图像。步骤(2)、将步骤(1)中左目相机捕获的图像输入到基于深度学习的物体识别模块，框选出该场景下能够识别到的目标物体，并且给出识别到的物体的具体名称。如果该帧图像不包含可以识别到的物体，则仅进行三维重建，然后返回到步骤(1)。步骤(3)、将左右目相机捕获的图像输入到双目立体视觉模块，进行三维重建，生成视差图，再将步骤(2)中得到的物体所在区域的坐标输入给该双目视觉模块，该模块对在视差图中框选出的每个区域利用统计方法——众数，对该框选出来的区域的灰度值进行按列统计。步骤(4)、对步骤(3)的灰度值统计结果进行去重处理。然后对去重后的结果进行从小到大的排序。如果排序后的灰度值个数大于2个，则删除第一个和最后一个灰度值，即去掉灰度最大值和灰度最小值，从剩下的灰度值中选取一个作为该框选区域灰度值的代表；如果灰度值个数小于等于2个，则仅取最后一个灰度值作为该区域的灰度值的代表。步骤(5)、由于双目视觉模块生成的视差图为二维数组，因此，可以求得步骤(4)中输出的各个区域的灰度代表值对应的坐标位置。双目视觉模块从各个区域的灰度代表值对应的坐标位置中各任选一个坐标作为每个区域灰度值众数的代表，利用灰度值在深度图中的坐标位置，即可求得框选出的每个区域包含的物体的距离。进一步地，步骤(1)中所述的图像来自于经过标定后的双目相机捕获的图像。进一步地，步骤(2)中基于深度学习的物体识别的模块的输入图像来自于双目相机，它与输入到双目视觉模块中的左目相机捕获的图像一样。利用步骤(1)中捕获的图像输入到双目视觉模块进行三维重建，将其左目相机捕获的图像输入到深度学习模块进行物体识别。如果包含由可以识别到的物体，则输出物体的坐标位置和名称，否则仅输出视差图，然后返回到步骤(1)。进一步地，步骤(3)中利用一种统计方法——众数，将步骤(2)中框选出来的区域对应到视差图的区域，对该区域的灰度值进行按列统计，得到该区域各个列中灰度值出现次数最多的灰度值。进一步地，步骤(4)针对步骤(3)统计得到的灰度值，首先进行灰度值去重处理；然后按照从小到大的顺序进行统计；接着针对统计后得到的灰度的值的不同个数分别处理：如果灰度值的个数大于2个，那么就去掉第一个和最后一个灰度值，即去掉最小值和最大值，从剩下的灰度值中选取一个作为该区域的灰度值代表；如果去重后灰度值的个数小于或等于2个，那么就选取最后一个灰度值作为该区域的灰度值代表；最终得到一个该区域灰度值的代表值。进一步地，步骤(5)再把双目视觉模块中得到的各个区域的灰度值的代表值坐标对应到深度图中相同坐标的位置处，得到一个深度信息，该深度值即为该区域的灰度代表值所表示的深度。将该信息与物体识别模块得到的具体物体名称相对应，即可得到每一个可以识别到的目标物体在该场景下与双目相机之间的距离值。以往的双目视觉测距主要聚焦在如何对于相应的不确定目标进行距离估计，由于没有考虑到被测目标本身的属性或类别，因而在距离估计上存在很大的随机性和误差。而本专利技术旨在解决如何在测量过程中将被测目标本身的类别或属性信息加入到距离的评估过程，从而使距离的判定方面增加相应的先验知识，降低测量误差。至此，最终得到被测场景中目标及其距离观测点多远的语义理解。对象名称和距离信息的组合拥有着比单一的距离或对象名称更为丰富的含义。该信息在不远的将来应用到服务机器人中，有助于真实场景下服务机器人的场景理解，提升服务质量和智能化水平。机器人将不再是各种传感的简单组合，而是各种传感器信息的有效融合，发挥出1+1大于2的效果。同时，本专利技术将带来更广阔的应用语义，即在利用视觉能够判定目标属性的同时，又可以知晓目标距离观测点的距离，为自主导航、场景标注等等应用提供有力支撑。本专利技术的原理在于：本专利技术提出了一种深度学习与双目视觉相结合的距离测量方法，克服了现有的非接触测量方法在现实场景下成本高，语义性不强的缺点。本方法适用于室内和室外场景下利用深度学习方法可以识别到的物体的距离的测量。本方法包含四个步骤：首先利用标定后的双目相机捕获现实场景中的图像；然后把左目相机捕获的图像输入到基于深度学习的物体识别模块，由该模块给出图像中包含的对象名称和该对象在该图像中所属区域的坐标位置，该区本文档来自技高网...

【技术保护点】
一种基于深度学习和双目立体视觉相结合的测距方法，其特征在于包括以下步骤：步骤(1)：首先由标定后的双目相机模块捕获现实场景下的图像；步骤(2)：将步骤(1)中目标相机模块中的左目相机捕获的图像输入到基于深度学习的物体识别模块，框选出在输入图像中能够识别到的物体，并且给出识别到的物体的具体名称和所在区域，如果输入图像不包含可以识别到的物体，则仅进行三维重建，然后返回到步骤(1)；步骤(3)：将双目相机捕获的图像输入到双目立体视觉的三维重建模块进行三维重建，生成视差图，再将步骤(2)中得到的所述物体所在区域的坐标输入给双目视觉模块，双目视觉模块对在视差图中框选出的区域利用统计方法—众数，对该框选出来的所述区域的灰度值进行按列统计，得到灰度值统计结果；步骤(4)：对步骤(3)的灰度值统计结果进行去重处理，然后对去重后的结果进行从小到大的排序，如果排序后的灰度值个数大于2个，则删除第一个和最后一个灰度值，即去掉灰度最大值和灰度最小值，从剩下的灰度值中选取一个作为框选区域灰度值的代表；如果灰度值个数小于等于2个，则仅取最后一个灰度值作为区域的灰度值的代表；步骤(5)：双目视觉模块生成的视差图为二维数组，求得步骤(4)中输出的区域的灰度代表值对应的坐标位置，双目视觉模块从各个区域的灰度代表值对应的坐标位置中任选一个坐标作为区域灰度值众数的代表，利用灰度值在深度图中的坐标位置，即求得框选出的区域包含的物体的距离。...

【技术特征摘要】
1.一种基于深度学习和双目立体视觉相结合的测距方法，其特征在于包括以下步骤：步骤(1)：首先由标定后的双目相机模块捕获现实场景下的图像；步骤(2)：将步骤(1)中目标相机模块中的左目相机捕获的图像输入到基于深度学习的物体识别模块，框选出在输入图像中能够识别到的物体，并且给出识别到的物体的具体名称和所在区域，如果输入图像不包含可以识别到的物体，则仅进行三维重建，然后返回到步骤(1)；步骤(3)：将双目相机捕获的图像输入到双目立体视觉的三维重建模块进行三维重建，生成视差图，再将步骤(2)中得到的所述物体所在区域的坐标输入给双目视觉模块，双目视觉模块对在视差图中框选出的区域利用统计方法—众数，对该框选出来的所述区域的灰度值进行按列统计，得到灰度值统计结果；步骤(4)：对步骤(3)的灰度值统计结果进行去重处理，然后对去重后的结果进行从小到大的排序，如果排序后的灰度值个数大于2个，则删除第一个和最后一个灰度值，即去掉灰度最大值和灰度最小值，从剩下的灰度值中选取一个作为框选区域灰度值的代表；如果灰度值个数小于等于2个，则仅取最后一个灰度值作为区域的灰度值的代表；步骤(5)：双目视觉模块生成的视差图为二维数组，求得步骤(4)中输出的区域的灰度代表值对应的坐标位置，双目视觉模块从各个区域的灰度代表值对应的坐标位置中任选一个坐标作为区域灰度值众数的代表，利用灰度值在深度图中的坐标位置，即求得框选出的区域包含的物体的距离。2.根据权利要求1所述的方法，其特征在于：步骤(2)利用步骤(1)中左目相机捕获的图像输入到基于深度学习的物体识别模块进行物体识别，输入图像来自于双目相机模块的左目相机捕获的图像，如果输入图像包含有可以识别到的...

【专利技术属性】
技术研发人员：王华锋，李飞，成也，付明霞，冯瑾，潘海侠，
申请(专利权)人：王华锋，
类型：发明
国别省市：北京,11