【技术实现步骤摘要】
【国外来华专利技术】空间中的元素定位
[0001]本文的示例指的是用于在成像空间中定位物体元素的技术(方法、系统等)。
[0002]例如，一些技术涉及用于(例如，半自动)深度图估计的可接受深度区间的计算，例如，基于3D几何图元(primitive)。
[0003]示例可以与在多相机系统中获得的2D图像有关。
技术介绍
[0004]具有来自场景的多个图像允许计算图像的每个像素的深度或视差值。遗憾的是，自动深度估计算法容易出错并且不能提供无错误的深度图。
[0005]为了纠正这些错误，文献提出了基于网格的深度图精细化，因为网格的距离是可接受深度值的近似值。然而，到目前为止，还没有明确的描述如何计算可接受的深度区间。而且，没有考虑到网格仅部分表示场景，需要特定的方法来避免错误的深度图约束。
[0006]本示例尤其提出了用于实现该目的的方法。例如，本申请进一步描述了从网格的给定3D几何形状计算一组可接受深度区间(或更一般地，计算候选空间位置的范围或区间)的方法。这样一组深度区间(或候选空间位置的范围或区间)可以消除对应检测问题的歧义，从而提高整体所得深度图质量。此外，本申请进一步示出如何通过所谓的包含体积来补偿3D几何形状中的不准确度以避免错误的网格约束。此外，包含体积也可用于处理遮挡物以防止错误的深度值。
[0007]通常，示例涉及一种用于在包含至少一个确定物体的空间(例如，3D空间)中定位物体元素(例如，在2D图像中成像的物体的表面部分)的方法，该物体元素与空间的确定2D图像中的特定2D表示元素(例如...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于在包含至少一个确定物体(91、101、111、141)的空间中定位与所述空间的确定2D图像中的特定2D表示元素(X
L
)相关联的物体元素(93、143、X)的方法(30、350)，所述方法包括：基于预定义的位置关系(381a'、381b
′
)推导(351)成像物体元素(93、143、X)的候选空间位置的范围或区间(95、105、114b、115、135、145、361
′
)；将所述候选空间位置的范围或区间限制(35、36、352)为可接受的候选空间位置的至少一个受限范围或区间(93a、93a'、103a、112
′
、137、147、362
′
)，其中限制包括以下至少一项：使用围绕至少一个确定物体(91、101)的至少一个包含体积(96、86、106、376、426a、426b)来限制所述候选空间位置的范围或区间；以及使用围绕不可接受的候选空间位置的至少一个排除体积(279、299a
‑
299e、375)来限制所述候选空间位置的范围或区间；以及基于相似性度量，在所述受限范围或区间的可接受的候选空间位置中检索(37、353)最合适的候选空间位置(363')。2.根据权利要求1所述的方法，其中，在所述空间中包含至少一个第一确定物体(91)和一个第二确定物体(101、111)，其中限制(35、36、352)包括将候选空间位置的范围或区间(95、115)限制为：与所述第一确定物体(91)相关联的可接受的候选空间位置的至少一个第一受限范围或区间(93a'、96a)；以及与所述第二确定物体(101、111)相关联的可接受的候选空间位置的至少一个第二受限范围或区间(103a、112')，其中限制(352)包括将所述至少一个包含体积(96)定义为围绕所述第一确定物体(91)的第一包含体积和/或围绕所述第二确定物体(101)的第二包含体积(106)，以将候选空间位置的所述至少一个第一范围或区间和/或第二范围或区间限制为可接受的候选空间位置的至少一个第一受限范围或区间和/或第二受限范围或区间；以及其中检索(353)包括确定所述特定2D表示元素(93)是与所述第一确定物体(91)相关联还是与所述第二确定物体(101、111)相关联。3.根据权利要求2所述的方法，其中，确定所述特定2D表示元素(X
L
)是与所述第一确定物体(91)相关联还是与所述第二确定物体(101)相关联是基于相似性度量来执行的。4.根据权利要求2或3所述的方法，其中，基于以下观察来执行确定所述特定2D表示元素是与所述第一确定物体(91)相关联还是与所述第二确定物体(101)相关联：可接受的候选空间位置的所述至少一个第一受限范围或区间和第二受限范围或区间中的一个为空；以及可接受的候选空间位置的所述至少一个第一受限范围或区间和第二受限范围或区间中的另一个(93a)不为空，从而确定所述特定2D表示元素(93)在可接受的候选空间位置的所述至少一个第一受限范围或区间和第二受限范围或区间中的所述另一个(93a)内。5.根据权利要求2
‑
4中任一项所述的方法，其中，限制(352)包括使用来自第二相机(114)或2D图像的信息来确定所述特定2D表示元素(93)是与所述第一确定物体(91)相关联还是与所述第二确定物体(101、111)相关联。6.根据权利要求5所述的方法，其中来自第二相机(114)或2D图像的信息包括物体元素
(93)的包含在以下项中的先前获得的定位：可接受的候选空间位置的所述至少一个第一受限范围或区间(96a)，从而得到所述物体元素(93)与所述第一物体(91)相关联的结论；或者可接受的候选空间位置的所述至少一个第二受限范围或区间(112
′
)，从而得到所述物体元素(93)与所述第二物体(111)相关联的结论。7.一种方法(350、450)，包括：作为第一操作(451)，获得与第二相机位置(424b)相关联的位置参数和至少一个包含体积(424a、424b)；作为第二操作(452)，针对在第一相机位置获取的第一2D图像的特定2D表示元素执行根据前述权利要求中任一项所述的方法(350)，所述方法包括：基于在所述第一操作(451)获得的位置参数来分析(457a、457b)是否满足以下两个条件：(457b)至少一个候选空间位置(425d”)将遮挡在所述第二相机位置处获得或能够获得的第二2D图像中的至少一个包含体积(426a)，以及(457a)至少一个候选空间位置(425d”)不被所述第二2D图像中的至少一个包含体积(426a)遮挡(457a”)，因此，如果满足所述两个条件(457a”、457b
′
)：抑制(457b
′
、457c)执行检索(353、458)，即使至少一个候选空间位置(425d”)在针对所述第一2D图像的可接受的候选空间位置的受限范围内，和/或从针对所述第一2D图像的可接受的候选空间位置的受限范围或区间中排除(457b
′
、457c)所述至少一个候选空间位置(425d”)，即使所述至少一个候选空间位置(425d”)在可接受的候选空间位置的受限范围内。8.一种方法(350、450)，包括：作为第一操作(451)，获得与第二相机位置(424b)相关联的位置参数和至少一个包含体积(424a、424b)；作为第二操作(452)，针对在第一相机位置处获取的第一2D图像的特定2D表示元素执行根据前述权利要求中任一项所述的方法(350)，所述方法包括：基于在所述第一操作(451)处获得的位置参数，分析(457a)受限范围的至少一个可接受的候选空间位置(425e”')是否会被在第二相机位置处获得或能够获得的第二2D图像中的所述至少一个包含体积(426b)遮挡，以便将该可接受的候选空间位置(425e”')保持在受限范围中。9.一种方法(430)，包括作为第一操作(431)，针对第二2D图像定位多个2D表示元素，作为第二后续操作(432)，执行根据前述权利要求中任一项所述方法(350)的推导、限制和检索，用于针对第一确定2D图像的确定2D表示元素((x0、y0))确定最合适的候选空间位置，其中所述第二2D图像和所述第一确定2D图像是在具有预定位置关系的空间位置处获取的，其中所述第二操作(432)还包括在先前在所述第一操作(431)中处理的所述第二2D图像中寻找(435)与所述第一确定2D图像的第一确定2D表示元素((x0、y0))的候选空间位置
(A')相对应的2D表示元素((x'、y'))，以便在所述第二操作(432)中进一步限制(436)可接受的候选空间位置的范围或区间和/或获得关于所述第一确定2D表示元素((x0、y0))的相似性度量。10.根据权利要求9所述的方法，其中，所述第二操作(432)使得，在观察到先前获得的所述第二2D图像中的2D表示元素((x
′
、y
′
))的定位位置将被所述第二操作中考虑的所述第一确定2D表示元素((x0、y0))的候选空间位置(A
′
)相对于所述第二2D图像遮挡时：进一步限制(436)可接受的候选空间位置的受限范围或区间，以便从可接受的候选空间位置的受限范围或区间中排除所述第一确定2D图像的确定2D表示元素((x0、y0))的所述候选空间位置(A
′
)。11.根据权利要求9或10所述的方法，其中，在观察到所述第二2D图像中的2D表示元素((x
′
、y'))的定位位置(93)与所述第一确定2D表示元素((x0、y0))相对应时：针对所述第一确定2D图像的确定2D表示元素((x0、y0))，限制可接受的候选空间位置的范围或区间，以便从可接受的候选空间位置的受限范围或区间(96a、112
′
)中排除比所述定位位置(93)更远的位置。12.根据权利要求9或10或11所述的方法，还包括，在观察到所述第二2D图像中的2D表示元素((x
′
、y
′
))的定位位置(93)与所述第一确定2D表示元素((x0、y0))的定位位置(112')不相对应时：使在所述第二操作中获得的所述第一确定2D图像的确定2D表示元素((x0、y0))的最合适的候选空间位置(93)无效。13.根据权利要求9
‑
12中任一项所述的方法，其中，当所述第二2D图像中的2D表示元素((x'、y'))的定位位置(93)到所述第一确定2D表示元素((x0、y0))的候选空间位置之一的距离在最大预定容差距离内时，所述定位位置(93)对应于所述第一确定2D表示元素((x0、y0))。14.根据权利要求9
‑
13中任一项所述的方法，还包括，当在所述第二2D图像中找到2D表示元素((x'、y'))时，分析所述第二2D图像中的第一2D表示元素((x'、y'))的定位的置信度值或可靠性值，并且仅在所述置信度值或可靠性值高于预定置信度阈值或不可靠性值低于预定阈值的情况下使用它。15.根据权利要求14所述的方法，其中，所述置信度值至少部分地基于所述定位位置和所述相机位置之间的距离，并且所述置信度值随距离越近而增加。16.根据权利要求15所述的方法，其中，所述置信度值至少部分地基于物体(91、111)或包含体积(96)或可接受的空间位置(96b)的受限范围的数量，以便如果在可接受的空间候选位置的范围或区间中发现较少数量的物体(91、111)或包含体积(96)或可接受的空间位置的受限范围(96b)，则增加所述置信度值。17.根据前述权利要求中任一项所述的方法，其中，限制(352)包括定义至少一个近似表面(92、132、142)，以便将候选空间位置的至少一个范围或区间限制为可接受的候选空间位置的至少一个受限范围或区间。18.根据权利要求17所述的方法，其中，定义包括定义至少一个近似表面(142)和一个容差区间(147)，以便将候选空间位置的至少一个范围或区间限制为由所述容差区间定义的候选空间位置的受限范围或区间，其中所述容差区间具有：
由所述至少一个近似表面定义的远端(143
”′
)；以及基于所述容差区间定义的近端(147
′
)；以及基于相似性度量，在受限范围或区间的可接受的候选空间位置中检索最合适的候选空间位置(143)。19.一种用于在包含至少一个确定物体(141)的空间中定位与所述空间的2D图像中的特定2D表示元素相关联的物体元素(143)的方法，所述方法包括：基于预定义的位置关系推导成像物体元素(143)的候选空间位置的范围或区间(145)；将候选空间位置的范围或区间限制为可接受的候选空间位置的至少一个受限范围或区间(147)，其中限制包括：定义至少一个近似表面(142)和一个容差区间(147)，以便将候选空间位置的至少一个范围或区间限制为由容差区间定义的候选空间位置的受限范围或区间，其中所述容差区间具有：由所述至少一个近似表面定义的远端(143
”′
)；以及基于所述容差区间定义的近端(147')；以及基于相似性度量，在受限范围或区间的可接受的候选空间位置中检索最合适的候选空间位置(143)。20.根据权利要求18或19所述的方法，通过使用增加的容差区间来迭代，以便增加包含所述物体元素(143)的概率。21.根据权利要求18或19所述的方法，通过使用减小的容差区间来迭代，以便降低包含不同物体元素的概率。22.根据权利要求18
‑
21中任一项所述的方法，其中，限制包括定义用于定义所述容差区间(147)的容差值(t0)。23.根据权利要求18
‑
22中任一项所述的方法，其中，限制包括基于定义从所述至少一个近似表面(142)获得的容差区间值Δ,其中是所述近似表面(142)在候选空间位置的区间(145)与所述近似表面(142)相交的点(143
″′
)处的法向量，并且向量定义了确定的相机或2D图像的光轴。24.根据权利要求23所述的方法，其中，基于以下公式根据所述至少一个近似表面(142)来定义所述容差区间值Δ的至少一部分或其中0是预定容差值，其中是所述近似表面(142)在候选空间位置的区间(145)与近似表面(142)相交的点(143
″′
)处的法向量，其中向量定义了所考虑相机的光轴，并且限幅和之间的角度。25.根据权利要求24中任一项所述的方法，其中检索包括：
考虑近似表面(142)在近似表面(142)与候选空间位置的范围或区间(145)之间的交点(143”')处的法向量基于相似性度量，在受限范围或区间(149)的可接受的候选空间位置中检索最合适的候选空间位置(143)，其中检索包括基于涉及所述法向量的相似性度量，在受限范围或区间(149)的可接受的候选空间位置中并且基于所述法向量来检索最合适的候选空间位置。26.一种用于在包含至少一个确定物体的空间中定位与所述空间的确定2D图像中的特定2D表示元素相关联的物体元素(143)的方法，所述方法包括：基于预定义的位置关系推导成像物体元素(143)的候选空间位置的范围或区间(145)；将候选空间位置的范围或区间限制为可接受的候选空间位置的至少一个受限范围或区间(149)，其中限制包括定义至少一个近似表面(142)，以便将候选空间位置的至少一个范围或区间(145)限制为候选空间位置的受限范围或区间(149)；考虑近似表面(142)在近似表面(142)与候选空间位置的范围或区间(145)之间的交点处的法向量基于相似性度量，在受限范围或区间(149)的可接受的候选空间位置中检索最合适的候选空间位置(143)，其中检索包括基于涉及所述法向量的相似性度量，在受限范围或区间(149)的可接受的候选空间位置中并且基于法向量来检索最合适的候选空间位置。27.根据权利要求25或26所述的方法，其中检索包括处理针对所述特定2D表示元素((x0、y0)、X
L
)的至少一个候选空间位置(d)的相似性度量(c
sum
)，其中处理涉及所述特定2D表示元素((x0、y0))的特定邻域(N(x0、y0))内的其他2D表示元素((x、y))，其中处理包括针对所述其他2D表示元素((x、y))中的每一个，在假设物体在物体元素中的平面表面的情况下，在根据向量定义的预定范围内的多个向量中获得向量以推导出与向量相关联的候选空间位置(D)，其中所述候选空间位置(D)用于确定邻域(N(x0、y0))中每个所述2D表示元素((x、y))对相似性度量(c
sum
)的贡献。28.根据权利要求25
‑
27中任一项所述的方法，其中检索基于以下类型的关系：其中(x0,y0)是所述特定2D表示元素，(x,y)是(x0,y0)的邻域中的元素，K是内参相机矩阵，d是表示候选空间位置的深度候选，是在假设物体在物体元素中的平面表面的情况下，基于所述特定2D表示元素(x0,y0)的深度候选d来计算所述特定2D表示
元素(x,y)的深度候选的函数。29.根据权利要求28所述的方法，其中，检索是基于评估以下类型的相似性度量c
sum
(d)其中表示总和或者一般聚合函数。30.根据权利要求25
‑
29中任一项所述的方法，其中，限制包括在相对于所述法向量的最大倾斜角内的可接受向量的范围或区间当中，获...
【专利技术属性】
技术研发人员：约阿希姆，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。