通过分析图像序列构建三维景物模型的方法技术

一种通过分析图像序列构建３Ｄ景物模型的方法，该方法包括步骤：对图像计算与该图像像素在３Ｄ空间内的深度对应的深度图（１）；根据深度图，对图像计算与该图像像素的分辨率对应的分辨率图（２）；通过将当前图像像素投影到其它图像，使当前图像像素与另一个序列图像像素匹配（６），像素与３Ｄ景物的相同点有关；根据其分辨率以及与此像素匹配的其它序列图像像素的分辨率，选择当前图像（６）的像素；根据选择的像素构建３Ｄ模型（８）。（*该技术在2020年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及通过分析图像序列构建三维(3D)景物模型的方法。该领域涉及在进行导航时对图像序列进行处理并对真实静态景物建模。序列是与静态景物有关的图像，在静态景物中，视点(即摄像机)发生变化。目的是允许用户在真实景物中进行虚拟导航。然而，与景物有关的数据包括代表大量信息的图像序列。必须以这样的方式对这些序列进行处理以提供景物压缩图，即导航时，可以以最佳方式使用此景物压缩图，即利用受控图像质量允许交互式再现。问题是在获得高压缩比的同时避免不适于进行导航的预测类型图像间的技术。可以将当前存在各种景物图像主要划分为●基于3D模型的图像，在这种图像中，通常以与图像纹理有关的多面体的方式表示景物的几何图形。这种建模过程多用于描绘利用CAD(计算机辅助设计)类软件获得的合成景物。相反，由于这种建模过程复杂，所以到目前为止，它很少用于描绘真实景物。现有方法使用少量图像，通常是照片，而且效果图不太细致并缺少真实感。●非3D图像，例如基于QuickTime VR(苹果公司的商标)软件获得；利用从一个全景拍摄转换另一个全景拍摄的变迁图像序列，以全景拍摄的形式获得景物数据。这种描绘过程明显地限制了在虚拟景物内进行导航的可能性。本专利技术目的在于克服上述缺点。本专利技术的目标是提供一种通过分析图像序列构造3D景物的方法，各图像与其位置和其方向确定的视点对应，其特征在于，该方法包括下列步骤●对图像计算与该图像像素在3D空间内的深度对应的深度图；●根据深度图，对图像计算与该图像像素的分辨率对应的分辨率●通过将当前图像像素投影到其它图像，使当前图像像素与另一个序列图像像素匹配，像素与3D景物的相同点有关；●根据其分辨率以及与此像素匹配的其它序列图像像素的分辨率，选择当前图像的像素；●根据选择的像素构建3D模型。根据特定实施例，该方法的特征在于，图像的选择像素构成一个或多个区域，根据像素是否属于该区域并根据他们在图像内所属的区域的几何图形特征计算权重并将权重分配到图像像素，其特征还在于，根据对像素赋予的分辨率和权重值，重新选择像素。根据可以与上述特定实施例合并使用的特定实施例，该方法的特征在于，通过对当前图像识别其相应视点具有与涉及当前图像的观察区交叉的观察区的图像，分割图像以致形成与其有关的图像列表，其特征还在于，与当前图像像素匹配的序列的其它图像即其列表中的图像。通过从与图像有关的列表中删除具有太少与当前图像的像素对应像素的图像，可以分割序列图像。本专利技术还涉及在3D景物内进行导航的方法，该方法包括根据视点的移动创建图像，其特征在于，根据上述构建3D模型的方法创建图像。图像序列代表非常大量、具有图像间高冗余度的数据。通过使用作为描绘静态景物的最佳模型的3D模型以及通过简单几何变换使图像匹配，可以广泛识别图像间的冗余度。事实上，此模型可以考虑大量图像。此外，不需要在2D图像级进行运动补偿操作。可以实现再现交互和再现质量的、在压缩方法之间的一种更好的折衷方案，即对待保存和待处理的数据进行压缩的折衷方案尽管压缩率高，但是该方法可以提供高质量图像并且允许在导航时具有非常高的柔性和速度。与现有的3D建模技术获得的真实感比较，本专利技术可以实现更好的真实感，并且与对图像进行编码的传统技术获得的柔性进行比较，本专利技术具有更好的柔性。通过参考附图和利用实例进行的下列说明，本专利技术的特征和优势将变得更加明显，附图包括附图说明图1示出根据本专利技术方法的各步骤的运算算法；图2示出与视点有关的参照帧。获得的真实景物数据与所观察的图像有密切关系。在此例中，我们研究由标准摄像机以视频速率拍摄图像的情况，并且在使用期间摄像机以前进步伐的方式移动。在这种情况下，根据图像序列构建景物图像与对图像进行编码的技术相同。构建景物图像的原理就是选择必要、足够数据用于重构具有可控质量的序列图像。该过程包括对一幅一幅图像进行比较以选择具有最佳关联性的区域、与分辨率和描绘成本有关的参数。事实上，在像素级进行比较选择像素和比较像素的基本准则为与各像素有关的3D局部表面分辨率。从现有技术中已知，假定通过对各视点进行适当处理，就可以获得其在与景物有关的参照帧内的3D位置(视点的位置和方向)，以及与视点图像有关的深度图。下一个目的就是构建适于导航的所有这些数据的压缩图像。图1示出根据本专利技术方法各步骤的流程图。参考图1，在系统输入端输入与通过在真实景物范围内移动摄像机获得的图像序列有关的数据。然而，完全可以想象在图像内可以出现某个运动对象。在这种情况下，用特定方法识别这些对象，然后标记这些对象以在后续处理期间忽略这些对象。对各图像进行特定处理可以提供深度图以及相应视点的位置和方向。在与删除运动对象对应的区域内没有深度信息。在步骤2，对各图像的各像素计算分辨率值。然后，在步骤3期间，进行第一次分割和第二次分割。在步骤4计算权重以便在步骤5提供与像素有关的关联性数值。接着，在步骤6，选择依赖于其关联性的像素。然后，在步骤7，对图像序列获得选择像素的掩码序列。在步骤7之后，为了提纯掩码重复步骤4至步骤7。重复这些步骤直到掩码不再发生明显变化。因此，为了仅根据选择的像素构建多面体3D模型执行步骤8。以下将详细说明各步骤。在系统的输入端，各序列图像可以使用深度图以及相应视点的位置和方向。步骤2在于对图像的各像素计算分辨率值，该分辨率值给出图像的分辨率图。各像素的分辨率指出表面的详细灰度级(例如从当前视点观察的表面)。例如，通过集中在像素上的点块可以计算分辨率并且分辨率与与此块有关的景物上(即3D空间内)的点的密度对应。在一个实例中，可以使用集中在被计算分辨率的图像像素上的7×7像素的滑窗。对于属于此滑窗的各像素，对深度信息进行处理以根据被处理像素周围的点在3D空间内的分布确定3D分辨率在大深度分布点获得的分辨率比在小深度分布点获得的分辨率要差。对图像的所有像素进行处理之后，可以获得各序列图像的图像分辨率图。然后，进行步骤3分割序列。导航过程在于根据3D模型插入当前视点图像。模型可以非常大，可以对它进行分割以限制为了重构视点在各瞬时处理的信息量。的确，重要的是在有限时间内将图像插入以确保流畅导航。此外，如下所述，在数据选择步骤6，逐个像素对图像进行比较运算量庞大，尤其是在序列长时，运算量更大。分割也是如此，尽早完成分割以减少计算量。事实上，为了减少数据计算量，可以在构建图像过程中和在使用过程中(导航过程中)进行两次分割运算。通过识别没有观察区域交叉的视点，可以对序列进行第一次分割。这样在后续步骤，就可以不对它们进行比较，即只对与这些视点有关的图像进行比较。因此，通过检测这些区域边缘之间的交叉可以确定各视点锥形观察区域之间的交叉。只根据各视点的相对位置进行此运算，而不根据景物的内容进行此运算。对于各图像均存在一组相关图像，相关图像的观察区域与当前图像的观察区域之间存在交叉，此组图像构成一个列表。在允许进行第二次分割的分割步骤3进行投影。对于各图像组，为了识别各匹配像素，进行与之后根据步骤6说明的投影相同的投影。如果一幅图像中与其列表中图像的像素相匹配的像素很少，则将此图像从此列表中删除。对于各视点，这些分割过程会获得具有与其共用的3D点视点列表或视点组，并且在选择像素期间可以对这些视点进行比较以减少本文档来自技高网...

【技术保护点】
一种通过分析图像序列构建三维（３Ｄ）景物模型的方法，各图像与根据其位置和方位定义的视点对应，其特征在于，该方法包括下列步骤： ●对图像计算与该图像像素在３Ｄ空间内的深度对应的深度图（１）； ●根据深度图，对图像计算与该图像像素的分辨率对应的分辨率图（２）； ●通过将当前图像像素投影到其它图像，使当前图像像素与另一个序列图像像素匹配（６），像素与３Ｄ景物的相同点有关； ●根据其分辨率以及与此像素匹配的其它序列图像像素的分辨率，选择当前图像（６）的像素； ●根据选择的像素构建３Ｄ模型（８）。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：扬尼克尼古拉斯，菲利普罗伯特，
申请(专利权)人：汤姆森多媒体公司，
类型：发明
国别省市：FR[法国]