【技术实现步骤摘要】
本公开总体上涉及用于使用光学设备的方法，更具体地说，涉及能够立体重建三维图像的方法。
技术介绍
1、立体相机布置是由两个相机单元组成的装置，组装在立体的模块中。立体视觉(stereoscopy)是一种用于通过立体视力(stereopsis)在从相同场景的多个图像得到的图像中创建或增强深度错觉的技术。换句话说，它是当具有正常双眼视觉的人用双眼观看场景时感知的深度印象，由于眼睛/相机的位置不同，它负责在双眼中创建出两个略有不同的场景图像。
2、为了使用校正立体图像执行深度计算，通过两幅图像之间存在的视差来计算深度。
3、待检测的深度决定了待检查的视差范围。为了检测在所需深度范围内的所有对象，系统必须检查每个像素，以发现该范围内所有值的最佳视差。这种深度计算处理，特别是在实时条件下执行时，通常消耗相当大量的处理设备的可用资源，并且可能需要大量的cpu资源或专用硬件。
4、由于硬件限制，硬件立体系统扫描固定的视差值集合，其中，通过使用在不同位置拍摄的两个2d图像能够发现相机中的立体视差，并且图像之间的相关性能够用于创建深度图像。这些系统具有对应于最小距离的最大视差，对于该最小距离，更近的对象无法被检测到。
5、在现实生活应用中，例如，在机器人领域，通常会遇到位于比所使用的硬件所决定的布置的最小距离更靠近硬件立体布置的对象。例如，机器人可能从非常近的距离旋转并面向墙壁。
6、当对象位于比最小距离更靠近立体布置时，典型的硬件立体布置在最小(通常为0)和最大视差之间的可能视差中分配成
7、对于具有宽基线的旨在检测远程对象的立体布置，该问题更为严重，因为与窄基线系统相比，与这种结构相关联的最小距离更大。
8、该问题的简单解决方案是下采样输入图像。然而，这可能只是部分解决方案。第一，它通过下采样因子减少了最小距离。例如，对于每行1280个像素的高清图像，其视差扫描范围为144，下采样因子为2，与视差扫描范围288相似。对象能否在两个摄像机的立体结构中都出现，取决于它们共享的视野。对于宽视场相机、小基线、或相互倾斜的相机，具有较高视差的近距离对象可能会出现并且未被检测到。第二，低分辨率图像会模糊纹理。对于带有图案投影仪的主动立体布置，在低分辨率的图像中，图案的点可能变得模糊或消失，导致不匹配。
9、该问题的另一种解决方案可以是使用软件解决方案，该解决方案可以在无限视差范围内检查匹配。然而，该解决方案的缺点是在大视差范围内检查匹配可能很慢，即，不适合用于实时应用，和/或可能需要昂贵的处理器或gpu。
10、另一方面，存在的软件立体算法不能检查所有范围的可能视差。这样的示例是m.bleyer、c.rhemann和c.rother的出版物《补丁匹配立体–带有倾斜支持窗口的立体匹配》(patchmatchstereo-stereo match with slanted support windows)，可在以下位置获得http://www.bmva.org/bmvc/2011/proceedings/paper14/paper14.pdf。
11、这种算法旨在通过检查可能视差的小样本来尝试发现像素处的视差。与扫描整个视差范围的算法不同，这些算法很快，但另一方面，它们不能保证发现最小成本视差。事实上，它们往往会错过在空中飞行的小对象，或者被空中出现的其它对象遮挡在后面的对象，尽管它们没有飞行。
12、因此，需要一种方法，一方面能够扫描完整视差范围，以保证不会错过该范围内的视差，另一方面能够检测与视差相关联的近距离对象，这些视差大于单独被扫描的视差范围。
13、此外，众所周知，当扫描大范围的视差时，可以使用硬件系统以分别扫描每个子范围。由于当实际视差的值超出所检查的范围时会出现异常值，这种方法需要经历复杂的合并和清理阶段。
14、目前本领域用于克服上述障碍的解决方案是：
15、1.通过实施其他手段来解决该问题，诸如减少基线值、使用接近传感器等。
16、2.使用低分辨率图像以增加视差范围。然而，这种方法不是基于使用原始高分辨率图像，而是基于细节水平较低的图像，因此立体精度较低。
17、3.实施软件方法既可以包括系统地扫描大范围的视差，也可选地使用像补丁匹配立体(patchmatch-stereo)这样的方法，该方法不会扫描整个范围，也不能保证由此获得的结果。
18、如上所述，这些方法可以提供良好的结果，但仍会消耗相当一部分可用的系统资源。
技术实现思路
1、本公开可以通过参考所附权利要求来概括。
2、本公开的一个目的是提供一种方法，用于将操作硬件模块立体算法和软件立体算法时获得的结果组合到由一对图像捕捉设备捕捉的场景图像上。
3、本公开的另一个目的是提供一种方法，用于生成组合深度图，该方法基于将由硬件立体模块算法检测到的捕捉的场景中所包括的在等于或大于其最小检测距离的距离处的对象和由软件立体算法检测到的在小于由硬件模块立体算法可检测到的最小距离的距离处的对象进行组合。
4、本公开的另一个目的是提供一种设备和方法，用于在其中通过使用具有通过使用软件立体算法获得的结果的硬件模块来获得结果，该软件立体算法专门设计为补充为检测接近对象而实施的硬件模块立体算法，该结果具有可接受的接近对象检测的成功概率。
5、本专利技术的其他目的将从以下的描述中变得明显。
6、简而言之，本公开的主要思想可概括如下。
7、本解决方案涉及使用硬件立体算法，该算法被配置为扫描视差范围内的每个视差，并适于在该视差范围内提供有保证的结果。
8、通过本解决方案，将软件立体算法添加到系统中，其中，该软件立体算法被配置为使用随机采样和传播视差，但不向用户提供已经发现正确的视差的任何保证。
9、现有技术中提出的先前概率方法(例如，补丁匹配立体，patchmatch stereo)使用对图像像素的重复遍历并在每一步添加随机搜索以降低错过正确视差的概率。
10、与此相反，本解决方案减少了遍历次数(例如，两次遍历)，并且不在每个传播步骤中应用随机搜索，从而改进了操作运行时间。
11、因此，根据本专利技术，提供一种全面的解决方案，通过应用硬件立体算法获得大多数深度范围的可靠结果，然而需要检测位置很近的对象，这是通过使用补充硬件立体算法的软件立体算法来完成，对于近距离对象检测具有可接受的成功概率。后本文档来自技高网...
【技术保护点】
1.一种用于立体图像生成系统的方法，其中，所述图像生成系统包括与至少一对图像捕捉设备、至少一个存储器装置以及至少一个处理器相关联的硬件模块，
2.根据权利要求1所述的方法，其中，所述方法还被配置为基于将位于等于或大于能够由所述硬件模块立体算法识别的所述最小距离的距离处的对象和位于小于能够由所述软件立体算法识别的所述最小距离的距离处的对象进行组合，来生成组合深度图。
3.根据权利要求1所述的方法，其中，所述方法还被配置为当识别出在小于所述最小距离的距离处包括在捕捉的场景内的对象时，生成指示。
4.根据权利要求1所述的方法，其中，所述方法还被配置为从接收自所述图像捕捉设备的信息中，消除与在小于所述最小距离的距离处位于捕捉的场景内的对象相关联的像素值。
5.根据权利要求1所述的方法，其中，所述硬件模块立体算法被配置为扫描全范围的视差，确保在等于或大于所述最小距离的距离处位于场景内的所有对象均被检测到。
6.根据权利要求1所述的方法，其中，所述软件立体算法被配置为识别位于小于所述最小距离的距离处的对象，所述对象不能被硬件模块扫描
7.根据权利要求1所述的方法，其中，所述软件立体算法被配置为通过使用所述硬件模块和/或一对图像捕捉设备来检测对象所在的距离，其中，在所述距离等于或大于所述最小距离的情况下，通过使用由所述硬件模块立体算法获得的结果来确定深度结果，并且在检测到的距离小于所述最小距离的情况下，通过使用由所述软件立体算法获得的结果来确定所述深度结果。
8.根据权利要求1所述的方法，包括初始化阶段，所述初始化阶段包括以下步骤：
9.根据权利要求8所述的方法，包括计算最低发现成本和最佳发现视差的阶段，其中所述阶段包括以下步骤：
10.根据权利要求9所述的方法，包括将在处理从图像捕捉设备接收到的信息和从应用所述软件立体算法接收到的信息时获得的视差图进行组合的阶段，处理从所述图像捕捉设备接收到的信息以便能够检测在等于或大于预定义的所述最小距离的距离处包括在捕捉的场景中的对象，处理从应用所述软件立体算法接收到的信息以便能够检测更近的对象，其中，所述阶段包括以下步骤：
11.根据权利要求10所述的方法，其中，所述组合深度图被应用为完全组合视差图、或被应用为匹配硬件模块算法的视差范围的截断图、或在所述软件立体算法检测到大量接近像素的情况下被应用于生成指示。
12.根据权利要求1所述的方法，适于用于机器人技术领域。
...【技术特征摘要】
1.一种用于立体图像生成系统的方法，其中，所述图像生成系统包括与至少一对图像捕捉设备、至少一个存储器装置以及至少一个处理器相关联的硬件模块，
2.根据权利要求1所述的方法，其中，所述方法还被配置为基于将位于等于或大于能够由所述硬件模块立体算法识别的所述最小距离的距离处的对象和位于小于能够由所述软件立体算法识别的所述最小距离的距离处的对象进行组合，来生成组合深度图。
3.根据权利要求1所述的方法，其中，所述方法还被配置为当识别出在小于所述最小距离的距离处包括在捕捉的场景内的对象时，生成指示。
4.根据权利要求1所述的方法，其中，所述方法还被配置为从接收自所述图像捕捉设备的信息中，消除与在小于所述最小距离的距离处位于捕捉的场景内的对象相关联的像素值。
5.根据权利要求1所述的方法，其中，所述硬件模块立体算法被配置为扫描全范围的视差，确保在等于或大于所述最小距离的距离处位于场景内的所有对象均被检测到。
6.根据权利要求1所述的方法，其中，所述软件立体算法被配置为识别位于小于所述最小距离的距离处的对象，所述对象不能被硬件模块扫描检测到。
7.根据权利要求1所述的方法，其中，所述软件立体算法被配置为通过使用...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。