【技术实现步骤摘要】
【国外来华专利技术】
本专利技术的领域是用于自主机器人或车辆类型的移动系统的导航辅助。本专利技术更具体地涉及根据场景的rgb-d图像，即场景的彩色图像和表征在图像中看到的对象的距离的深度图的组合，计算移动系统的导航轨迹。
技术介绍
1、导航轨迹的计算可以使用不同的计算机视觉算法来实现，计算机视觉算法将场景的图像和同一场景的深度图作为输入，以提供例如具有躲避障碍物和/或防止碰撞的导航解决方案作为输出。
2、用于估计深度图的方法通常分为两类：将光源投射到场景中的主动方法和仅基于获取由环境光照射的场景的图像的被动方法。
3、在被动方法中，区分了基于多视角几何的方法(例如，在两个视角的情况下的立体视觉)和基于单目图像的方法。
4、多视角系统的主要困难之一涉及在弱纹理场景的情况下匹配来自不同视角的图像之间的点的复杂性。此外，这种类型的系统的精度很大程度上取决于不同图像的采集点之间的距离(立体基础)。
5、在基于单目图像的方法中，认为场景的单个视角包含足够的指标来估计深度图。一方面，这些深度指标在图像中不可直接访问，另一方面，这些测量值和深度图之间的转换是重要的。因此，神经网络已被用于处理这两个任务。
6、已经证明，在使用由相机的光学器件产生的模糊指标的情况下，这种单目方法的性能得到改善。然而，使用聚焦在给定平面处的相机来获取具有深度散焦模糊的图像不允许在所有点处具有清晰的图像(图像也称为全对焦图像)，而清晰的图像可以在其他视觉任务中被利用。此外，使用另一个全对焦相机用于其他任务会带来对准问题。另一种解
7、此外，在这种类型的方法中，全对焦图像是估计的，而不是由相机获取，这在弱纹理区域的情况下是误差的来源。存在基于两个(或更多个)图像之间的模糊差异的其他方法。这种类型的方法的缺点是除了不存在全对焦图像之外，不使用可以改善深度估计性能的其他深度指标。像模糊一样，这些指标可以是几何性质的(图像中的视角，或对象相对于地平线的距离)和语义性质的(纹理、对象的相对大小、遮挡)。
8、总之，证明了相机的焦点模糊构成了可以显著改善深度估计性能的指标。然而，包含模糊的图像降低了计算导航轨迹所必需的其他计算机视觉任务(分割、检测等)的性能。使用两个相机来获取两个图像(一个图像焦点模糊而另一个完全清晰)并不能提供相关的解决方案，因为将具有两个图像(其中一个图像是模糊的)之间的视差效应的两个图像对齐是困难的，而这是误差的来源。另一种解决方案在于由同一相机通过改变焦距参数获取两个图像，这在移动系统中是无法设想的，因为这两个图像不会被同时获取，因此这两个图像不会对齐。
技术实现思路
1、本专利技术旨在提出一种基于安装在移动系统上的单个相机的解决方案，该解决方案可以在不降低计算移动系统的导航轨迹所需的视觉任务的情况下提高深度估计性能。
2、为此，本专利技术提出了一种用于嵌入在移动系统上的导航辅助设备，该导航辅助设备包括计算机视觉单元，该计算机视觉单元被配置为根据场景的第一图像和场景的深度图计算导航轨迹。该设备还包括单目相机，单目相机能够同时获取场景的具有第一景深的第一图像和场景的具有小于第一景深的第二景深的至少一个第二图像。该设备还包括深度估计单元，深度估计单元被配置为根据场景的第一图像和场景的至少一个第二图像确定场景的深度图。
3、该设备的一些优选但非限制性方面如下：
4、-为了确定场景的深度图，深度估计单元使用机器学习模型，例如预训练的神经网络；
5、-深度估计单元包括两个不同的特征提取分支和编码器-解码器。两个不同的特征提取分支用于分别计算第一图像的特征图和至少一个第二图像的特征图。编码器-解码器将由两个特征提取分支计算的特征图作为输入以确定深度图；
6、-单目相机包括具有第一焦距的镜头、具有大于所述第一焦距的第二焦距的镜头和能够将输入光通量导向具有第一焦距的镜头和具有第二焦距的镜头中的每一个镜头的分光器；
7、-为了计算导航轨迹，计算机视觉单元还利用由单目相机获取的场景的至少一个第二图像；
8、-单目相机能够同时获取场景的第一图像和场景的多个第二图像。第二图像在场景的不同平面处具有焦点；
9、-第一图像在所有点都是清晰的图像，并且至少一个第二图像具有深度散焦模糊。
10、本专利技术还涉及一种用于移动系统的导航辅助方法，包括根据场景的第一图像和场景的深度图计算导航轨迹的步骤。该方法还包括步骤：同时获取场景的具有第一景深的第一图像和场景的具有小于第一景深的第二景深的至少一个第二图像。该方法还包括根据场景的第一图像和场景的至少一个第二图像确定场景的深度图的步骤。
11、该设备的一些优选但非限制性方案如下：
12、-确定深度图的步骤借助于机器学习模型来执行，该机器学习模型将场景的第一图像和场景的至少一个第二图像作为输入，并提供场景的深度图作为输出；
13、-机器学习模型包括两个不同的特征提取分支和编码器-解码器。两个不同的特征提取分支分别计算第一图像的特征图和至少一个第二图像的特征图。编码器-解码器将由两个特征提取分支计算的特征图作为输入以确定深度图(dm)。
14、本专利技术扩展到包括指令的计算机程序产品，当程序由计算机执行时，使计算机实现用于确定深度图和计算导航轨迹的上述方法的步骤。
15、本专利技术还涉及一种用于训练机器学习模型的方法，该机器学习模型以图像对作为输入并提供深度图作为输出。该方法包括：
16、-由前述设备的单目相机获取由同时获取的场景的图像组成的训练图像对；
17、-接收由训练图像对成像的场景的深度图；
18、-机器学习模型对训练图像对进行处理；
19、通过将作为机器学习模型的输出提供的场景的深度图和与训练图像对相关联的场景的深度图进行比较来计算表示机器学习模型的性能的值。
20、本专利技术还涉及一种包括指令的计算机程序产品，当程序由计算机执行时，该程序使计算机执行训练方法的处理和计算步骤。
本文档来自技高网...【技术保护点】
1.一种用于嵌入在移动系统中的导航辅助设备，包括计算机视觉单元(24)，所述计算机视觉单元被配置为根据场景的第一图像(In)和所述场景的深度图(Dm)计算导航轨迹，其特征在于，所述导航辅助设备还包括：
2.根据权利要求1所述的设备，其中，为了确定所述场景的所述深度图，所述深度估计单元(23)使用机器学习模型，例如预训练的神经网络。
3.根据权利要求2所述的设备，其中，所述深度估计单元包括两个不同的特征提取分支(EXn，EXf)和编码器-解码器(ENC，DEC)，所述两个不同的特征提取分支(EXn，EXf)用于分别计算所述第一图像(In)的特征图和所述至少一个第二图像(If)的特征图，所述编码器-解码器将由所述两个特征提取分支计算的特征图作为输入以确定所述深度图(Dm)。
4.根据权利要求1至3中任一项所述的设备，其中，所述单目相机包括具有第一焦距的镜头(5)、具有大于所述第一焦距的第二焦距的镜头(7、15、N)和能够将输入光通量导向具有所述第一焦距的镜头和具有所述第二焦距的镜头中的每一个镜头的分光器(4)。
5.根据权利要求1至4中
6.根据权利要求1至5中任一项所述的设备，其中，所述单目相机能够同时获取所述场景的所述第一图像和所述场景的多个第二图像，所述第二图像在所述场景的不同平面处具有焦点。
7.根据权利要求1至6中任一项所述的设备，其中，所述第一图像在所有点都是清晰图像，并且所述至少一个第二图像具有深度散焦模糊。
8.一种用于移动系统的导航辅助方法，包括根据场景的第一图像(In)和所述场景的深度图(Dm)计算导航(NAV)轨迹的步骤，其特征在于，所述方法还包括以下步骤：同时获取(ACQ)所述场景的具有第一景深的第一图像(In)和所述场景的具有小于所述第一景深的第二景深的至少一个第二图像(If)，以及根据所述场景的第一图像(In)和所述场景的至少一个第二图像(If)确定所述场景的深度图(EST-D)。
9.根据权利要求8所述的方法，其中，确定所述深度图的步骤借助于机器学习模型来执行，所述机器学习模型将所述场景的所述第一图像(In)和所述场景的所述至少一个第二图像(If)作为输入，并提供所述场景的所述深度图作为输出。
10.根据权利要求9所述的方法，其中，所述机器学习模型包括两个不同的特征提取分支(EXn，EXf)和编码器-解码器(ENC，DEC)，所述两个不同的特征提取分支(EXn，EXf)用于分别计算所述第一图像(In)的特征图和所述至少一个第二图像(If)的特征图，所述编码器-解码器将由所述两个特征提取分支计算的特征图作为输入以确定所述深度图(Dm)。
11.一种计算机程序产品，包括指令，当所述程序由计算机执行时，使所述计算机实现根据权利要求8至10中任一项所述的用于确定所述深度图并计算所述导航轨迹的方法的步骤。
...【技术特征摘要】
【国外来华专利技术】
1.一种用于嵌入在移动系统中的导航辅助设备，包括计算机视觉单元(24)，所述计算机视觉单元被配置为根据场景的第一图像(in)和所述场景的深度图(dm)计算导航轨迹，其特征在于，所述导航辅助设备还包括：
2.根据权利要求1所述的设备，其中，为了确定所述场景的所述深度图，所述深度估计单元(23)使用机器学习模型，例如预训练的神经网络。
3.根据权利要求2所述的设备，其中，所述深度估计单元包括两个不同的特征提取分支(exn，exf)和编码器-解码器(enc，dec)，所述两个不同的特征提取分支(exn，exf)用于分别计算所述第一图像(in)的特征图和所述至少一个第二图像(if)的特征图，所述编码器-解码器将由所述两个特征提取分支计算的特征图作为输入以确定所述深度图(dm)。
4.根据权利要求1至3中任一项所述的设备，其中，所述单目相机包括具有第一焦距的镜头(5)、具有大于所述第一焦距的第二焦距的镜头(7、15、n)和能够将输入光通量导向具有所述第一焦距的镜头和具有所述第二焦距的镜头中的每一个镜头的分光器(4)。
5.根据权利要求1至4中任一项所述的设备，其中，为了计算所述导航轨迹，所述计算机视觉单元(24)还利用由所述单目相机获取的所述场景的所述至少一个第二图像。
6.根据权利要求1至5中任一项所述的设备，其中，所述单目相机能够同时获取所述场景的所述第一图像和所述场景的多个第二图像，所述第二图像在所述场景的不同平面处具有焦点。
【专利技术属性】
技术研发人员：阿赫迈德·纳斯雷丁尼·本奈楚彻，米歇尔·穆卡里，
申请(专利权)人：赛峰集团，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。