提供了一种用于生成三维深度图的方法和装置。该方法包括以下步骤：(i)通过具有背景强度的图案投影仪或通过一起操作的泛光投影仪和不具有背景强度的图案投影仪的组合来照射目标；(ii)捕获至少一个图像，该至少一个图像包括存在于经照射的目标处的一个或多个对象；(iii)将至少一个捕获到的图像转换为数据；(iv)处理从该至少一个捕获到的图像的转换中接收到的数据，同时从处理后的数据中滤除投影图案；(v)检测存在于经照射的目标处的一个或多个对象中的至少一个的边缘；以及(vi)生成三维深度图，该三维深度图包括该一个或多个对象中边缘已被确定的至少一个对象。中边缘已被确定的至少一个对象。中边缘已被确定的至少一个对象。
【技术实现步骤摘要】
检测主动立体图像中的边缘的方法和装置
[0001]本公开大体上涉及使用光学设备的方法，并且更具体地，涉及对由图案投影仪照射的场景的图像的处理。
技术介绍
[0002]立体相机装置是由两个相机单元组成并组装在立体模块中的元件。立体视觉(也称为“立体视觉学”或“3D成像”)是一种用于借助于立体影像确定图像深度的技术。换句话说，是具有正常双眼视觉的人用双眼观看场景时感知到的深度印象，双眼视觉导致由于眼睛/相机的不同位置而在双眼中创建场景的两个略微不同的图像。
[0003]主动立体视觉是立体视觉的一种形式，其主动采用诸如激光二极管之类的发光器件或被配置为发出结构光(例如，图案光)的设备以便简化立体匹配问题。
[0004]与该类型的技术相关联的问题之一是边缘检测，这是检测对象边界的重要因素，这些对象包括在使用立体相机装置检索到的图像中。对边缘边界进行检测可以改进从两个相机检索到的图像之间的匹配过程，由于匹配窗口可能被边缘边界裁剪(位于边缘边界之外的像素可能属于位于不同深度或视差处的对象/环境)，因此它将不会与匹配窗口内存在的像素一起进行匹配，假定匹配窗口内存在的像素在其之间具有非常相似的深度或视差。此外，边缘可用于后处理阶段，以改进获得的最终3D深度图。
[0005]存在许多与主动立体图像中的边缘的这种处理相关联的问题。仅举几例，边缘强度随着距相机装置的距离的增大而减小，在应用被配置为发出结构光的设备时检索到的图像中包括的大多数边缘属于投影图案而不是对象的边缘，图案密度太低以至于无法以像素分辨率指定对象边界。解决该问题的选择之一是使用具有增强背景光强度的投影仪以能够检测主动图像中的边缘。
[0006]为了解决边缘检测问题，本领域已经提出了许多解决方案。这些解决方案中的一些如下所述。
[0007]US20120114225公开了一种图像处理装置，其通过将边缘检测算法应用于深度图像来检测深度图像内的对象之间的遮挡边界。该图像处理装置使用遮挡边界的深度梯度矢量方向将遮挡边界分类为前景区域边界和背景区域边界，并且使用前景区域边界提取输入的深度图像的遮挡区域。
[0008]US20120269458描述了一种使用边缘信息对分辨率降低的深度图像进行插值和滤波以恢复高分辨率深度图像的方法，其中，每个深度图像包括各位置处的像素的阵列，并且其中，每个像素具有深度。首先对减少的深度图像进行上采样，通过重复最近邻深度值对缺失的位置进行插值。接下来，将移动窗口应用于经上采样的深度图像中的像素。窗口覆盖以每个像素为中心的像素集。窗口所覆盖的像素是根据它们与深度边缘的相对偏移来选择的，并且只有在中心像素的深度边缘的同一侧内的像素才用于滤波过程。
[0009]然而，需要解决的问题是在主动立体实现方式中检测由图案投影仪照射的场景的捕获图像中包括的边缘。
[0010]本专利技术提出了一种在这种情况下实现新的边缘检测机制的解决方案。
技术实现思路
[0011]可以通过参考所附权利要求来概括公开内容。
[0012]本公开的一个目的是提供一种方法和装置，其能够从正在处理的图像中去除投影图案，同时保留正在处理的图像中的边缘位置。
[0013]本公开的另一个目的是提供一种用于检测包括背景图案的图像内的对象的边缘的方法和装置。
[0014]本公开的另一个目的是提供一种用于生成三维深度图的方法和装置，该三维深度图具有包括在该图像中的对象的高质量边缘。
[0015]本公开的另一个目的是提供一种用于消除与投影图案相关联的数据的方法和装置，该投影图案作为由立体装置捕获的场景的一部分而包括在内。
[0016]本专利技术的其他目的将从以下的描述中变得显而易见。
[0017]根据本公开的第一实施例，提供了一种用于生成三维深度图的方法，包括以下步骤：
[0018](i)通过具有背景强度的图案投影仪或通过一起操作的泛光投影仪和不具有背景强度的图案投影仪的组合来照射目标；
[0019](ii)捕获至少一个图像，该至少一个图像包括存在于经照射的目标处的一个或多个对象；
[0020](iii)将至少一个捕获到的图像转换为数据；
[0021](iv)对从该至少一个捕获到的图像的转换中接收到的数据进行处理，并从处理后的数据中滤除投影图案；
[0022](v)检测存在于经照射的目标处的一个或多个对象中的至少一个的边缘；以及
[0023](vi)生成三维深度图，该三维深度图包括该一个或多个对象中边缘已被确定的至少一个对象。
[0024]本文中，术语“具有背景强度”在整个说明书和权利要求书中与投影仪相关联地使用时应被理解为与一投影仪有关，该投影仪能够以非零强度发出背景照射。
[0025]本文中，在整个说明书和权利要求书中使用的术语“主动立体图像”应被理解为涵盖主动立体图像和/或结构光图像两者。
[0026]根据本公开，在去除包括于图像捕获设备捕获到的图像中的投影图案(例如，斑点图案、线条纹图案等)之后，使用背景强度检测边缘。换句话说，背景强度以像素分辨率提供边缘。
[0027]根据另一实施例，检测存在于经照射的目标处的一个或多个对象中的至少一个的边缘的步骤通过检测包括在该至少一个图像中的非图案边缘来执行。
[0028]根据另一实施例，步骤(iv)通过应用一算法来执行，该算法被配置为检测包括在该至少一个图像中的团迹(blob)。
[0029]本文中，在整个说明书和权利要求书中使用的术语“团迹”用于表示被图案投影仪强烈照射的像素的连接分量(与被弱照射的背景相反)。团迹的形状不限于圆形，而是可以为任何适用的形状。应根据该形状选择相应的算法，该算法将如通过本说明书描述的那样
来实现。
[0030]通过又一实施例，步骤(iv)还包括填充属于每个图案团迹的投影图案的像素，并且确定包括在这种团迹中的所有像素的最小值。
[0031]根据又一实施例，提供的方法还包括针对包括在特定团迹中的每个像素的以下步骤：
[0032](a)收集与包括在位于像素周围的方形窗口内的所有像素有关的数据；
[0033](b)从收集到的数据中去除与灰度值高于包括在该特定团迹中的所有像素的最小值的像素有关的所有数据；
[0034](c)对步骤(b)中未去除的收集到的数据应用双边滤波器；以及
[0035](d)对整个捕获到的图像执行以下步骤：
[0036](d1)对获得的结果应用算子，其中，该算子被配置为实现从捕获到的图像中去除投影图案，同时保留捕获到的图像中的边缘位置。这种算子可以是例如适用的开算子；以及
[0037](d2)在无图案数据上应用边缘检测算子(例如，Canny边缘检测器)以检测捕获到的图像中的各种边缘。
[0038]根据又一实施例，提供的方法还包括确定主动照射图像中的关键点(例如，在图案背景中检测到的线(例如，直线)的交点等)的步骤。可以将直线拟合成适合这种拟合的边缘线(例如本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于生成三维深度图的方法，包括以下步骤：(i)通过具有背景强度的图案投影仪或者通过一起操作的泛光投影仪和不具有背景强度的图案投影仪的组合来照射目标；(ii)捕获至少一个图像，所述至少一个图像包括存在于经照射的目标处的一个或多个对象；(iii)将至少一个捕获到的图像转换为数据；(iv)处理从所述至少一个捕获到的图像的转换中接收到的数据，同时从处理后的数据中滤除投影图案；(v)检测存在于经照射的目标处的所述一个或多个对象中的至少一个对象的边缘；以及(vi)生成三维深度图，所述三维深度图包括所述一个或多个对象中边缘已被确定的至少一个对象。2.根据权利要求1所述的方法，其中，检测存在于经照射的目标处的所述一个或多个对象中的至少一个对象的边缘的步骤通过检测包括在所述至少一个图像中的非图案边缘来执行。3.根据权利要求1所述的方法，其中，步骤(iv)通过应用算法来执行，所述算法被配置为检测包括在所述至少一个图像中的团迹。4.根据权利要求3所述的方法，其中，步骤(iv)还包括填充属于每个图案团迹的投影图案的像素，并且确定包括在所述团迹中的所有像素的最小值。5.根据权利要求4所述的方法，还包括：针对包括在特定团迹中的每个像素的以下步骤：(a)收集与包括在位于所述像素周围的方形窗口内的所有像素有关的数据；(b)从收集到的信息中去除与灰度值高于包括在所述特定团迹中的所有像素的最小值的像素有关的所有数据；(c)对步骤(b)中未去除的收集到的数据应用双边滤波器。6.根据权利要求5所述的方法，还包括：对整个捕获到的图像执行的以下步骤：(d1)对获得的结果应用算子，其中，所述算子被配置为实现从捕获到的图像中去除投影图案，同时保留捕获到的图像中的边缘位置；以及(d2)在无图案数据上应用边缘检测算子以检测捕获到的图像中的各种边缘。7.根据权利要求6所述的方法，还包括：确定经主动照射的无图案图像中的关键点的步骤。8...
【专利技术属性】
技术研发人员：A，
申请(专利权)人：银牛有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。