用于处理图像内容的方法和设备技术

本公开提供了一种用于处理图像内容的方法和系统。在一个实施方案中，该方法包括接收多个捕获的内容，该多个捕获的内容示出如由一个或多个相机捕获的具有不同焦距和深度图的相同场景：以及通过从该接收的内容中获得深度图估计来生成共识立方体。然后，分析不同对象的可见性，以创建提供关于每个内容的可见性信息的软可见性立方体。然后，通过使用来自该共识立方体和该软可见性立方体的信息来生成颜色立方体。然后，使用该颜色立方体来组合不同的接收内容并针对接收的多个内容生成单个图像。像。像。

【技术实现步骤摘要】
【国外来华专利技术】用于处理图像内容的方法和设备


[0001]本实施方案整体涉及一种用于处理图像内容的方法和设备。一个或多个实施方案涉及在图像处理中压缩体积数据，并且更具体地涉及用于选择数据子集以便减小体积数据的大小的技术。

技术介绍

[0002]常规相机捕获来自对可见光敏感的二维传感器设备上的三维场景的光。此类成像设备中使用的光敏技术通常基于能够将光子转换为电子的半导体技术，诸如例如，电耦设备(CCD)或互补金属氧化物技术(CMOS)。例如，数字图像光传感器通常包括感光单元的阵列，每个单元被配置为捕获入射光。从对图像传感器设备的每个感光单元所捕获的光的总量的测量，获得提供空间信息的2D图像。虽然2D图像可以提供关于光传感器的空间点处的光的强度和光的颜色的信息，但是没有提供关于入射光的方向的信息。
[0003]最近已开发了其他类型的相机，这些相机提供更丰富和更图像密集的产品。一种此类相机是光场相机。光场相机允许从各种视点捕获真实内容。2个主要的光场相机系列是：相机矩阵；或全光相机。相机矩阵可以单个相机代替，该单个相机用于从各种视点执行多次采集。因此，被捕获的光场仅限于静态场景。对于全光相机，微透镜位于主透镜和传感器之间。微透镜正在产生对应于各种视点的微图像。传感器收集的微图像矩阵可转换为所谓的子孔径图像，该子孔径图像相当于用相机矩阵获得的采集图像。考虑到相机矩阵描述了所提议专利技术，但所提议专利技术同样适用于从全光相机提取的子孔径图像集。
[0004]图像捕获和处理通常涉及体积数据的生成和存储，即使涉及2D图像也是如此。当图像提供更多信息并且质量通常更丰富时，数据量会因许多因素而增加。
[0005]因此，希望提供允许通过数据合成进行管理以计算特定体积数据的技术。目标是减少数据量，同时保持图像质量。

技术实现思路

[0006]本公开提供了一种用于处理图像内容的方法和系统。在一个实施方案中，该方法包括：接收多个捕获的内容，该多个捕获的内容示出与具有不同焦距和深度图的一个或多个相机捕获的场景相同的场景；从该接收的内容获得深度图估计。在实施方案中，可通过该深度图估计来生成共识立方体。然后，可分析不同对象的可见性以提供关于至少一个内容的可见性信息。该对象的该可见性的分析可用于创建提供该可见性信息的软可见性立方体。该可见性信息和该深度图估计可用于生成颜色立方体。可通过使用来自该共识立方体和该软可见性立方体的信息来生成颜色立方体。然后，可使用该颜色立方体来组合不同的接收内容并针对该接收的多个内容生成单个图像。
附图说明
[0007]现在将仅以举例的方式并参考以下附图来描述本专利技术的不同的实施方案，在附图
中：
[0008]图1是示出根据实施方案的核线的立体视图的示意图；
[0009]图2是根据实施方案的虚拟颜色立方体的不同连续切片的图示；
[0010]图3是示出根据一个实施方案的合成算法的一个应用的图示；
[0011]图4示出虚拟颜色立方体到虚拟图像中的合并；
[0012]图5是根据实施方案的虚拟颜色立方体的平铺的图示；
[0013]图6是根据实施方案的共识值的图示；
[0014]图7是根据一个实施方案的虚拟图像的不同阈值的图示。
[0015]图8是提供多视图采集信息的表的图示
[0016]图9是根据实施方案的重要图块的分数的图示；
[0017]图10是根据实施方案的流程图方法；并且
[0018]图11是可在其中实现一个或多个实施方案的设备的框图。
具体实施方式
[0019]与传统2D图像相比，光场图像和视频处理提供了种类更丰富的图像处理可能性。然而，高质量光场的捕获具有挑战性，因为必须捕获和管理大量数据。通常，需要将许多不同的视图组合在一起，这些视图在高动态范围内提供，具有出色的颜色和分辨率。此外，必须对2D图像进行处理，以便将它们投影到三维平面中。在数字图像中，这涉及提供代表像素的网格状平面。对于空间中的每个可见点，2D图像通常提供一个或多个像素的强度。此外，必须考虑与立体图像处理相关联的其他原则，诸如提供场景的两个不同视图。这是因为通过为左眼和右眼提供略微偏移的图像(视差)以提供深度印象来向用户的眼睛提供深度管理。这些要求大大增加了视觉体验，但它们也显著增加了必须捕获、管理、存储和恢复的数据量。
[0020]图1是用于左眼与右眼之间的深度估计的图示或此类立体图像。提供核线100以提供此类深度估计。在此之前，可充分理解与图1和将要讨论的其他附图相关联的这些概念，定义在描述不同相关联实施方案时将参考和使用的一些概念可能会有所帮助。
[0021]深度图估计
‑
使用光场相机，可在不同视差下多次观察场景中的给定对象。因此，可以估计该对象与所有相机的距离。可以推导出所谓的深度图，其中每个像素量化在给定相机采集的对应图像中可见的对象的距离。
[0022]多视图加深度(MVD)
‑
MVD指定由相机矩阵获得的一组图像，加上对应的一组深度图图像。一个深度图与一个图像相关联，其共享相同的空间分辨率和相同的观察位置。
[0023]点云
‑
点云是WCS中的一组3D点。每个3D点都与RGB颜色相关联。通过将每个RGB像素放入WCS中，了解相机校准参数和对应的深度，可很容易从MVD获得点云。
[0024]图像视图合成
‑
图像视图合成描述了一种算法，该算法允许从尚未被相机矩阵捕获的位置观察到的场景中计算图像。虚拟相机的外在参数和内在参数可自由定义，显然，如果虚拟相机与真实相机共享相同的内在参数，并且如果虚拟相机与真实相机距离不太远，则合成图像的质量将非常好。
[0025]相机校准
‑
相机校准是一组算法和为了估计所谓的外在参数和内在参数而采集的特殊图像。外在参数描述了相机在真实世界坐标系(WCS)中的位置：3个平移，用于表征主透
镜光瞳中心的位置；和3个旋转角度，用于表征相机的主光轴的取向。内在参数描述了每个相机的内部属性，诸如焦距、主点、像素大小。内在参数可能还包括由主透镜产生的几何失真，与理想薄透镜相比，该几何失真会使捕获的图像失真。许多校准程序依赖于从不同视点多次观察的棋盘。
[0026]体积数据体积数据指定允许用户从各种位置和取向查看真实内容的图像或视频格式。各种各样的视频或图像格式处理体积数据。目前还没有通用的体积数据格式，这仍然是一个活跃的研究领域。为了从体积数据中获益，用户正在使用头戴式显示器(HMD)，该HMD在空间中进行跟踪，使得头部的位置和取向控制虚拟相机的位置。相比之下，360度视频会产生部分沉浸感，其中只能控制虚拟相机的取向。360度视频无法再现由光场相机捕获的视差变化。如果虚拟相机可在空间中自由定位和取向，则称体积数据为6DOF(6个自由度)。如果虚拟相机的取向被限制在窗口内，则称体积视频为windowed 6DOF。也可由单个用户在传统屏幕前观察windowed 6DOF。正本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于创建包括虚拟颜色立方体的平铺表示的图集的方法，所述方法包括：从虚拟相机的视点获得表示体积场景的虚拟颜色立方体，所述虚拟颜色立方体包括所述体积场景在不同深度的切片，每个切片对2D像素阵列进行编码，其中每个切片中的每个像素包括颜色规格和阿尔法值；将所述虚拟颜色立方体的每个切片分区成多个图块，每个图块包括所述切片的所述像素的矩形子集；以及构造重要图块的图集。2.根据权利要求1所述的方法，其中对于所述虚拟颜色立方体的每个切片中的每个图块，将与所述图块的所述像素相关联的所述阿尔法值与阈值阿尔法值进行比较。3.根据权利要求2所述的方法，所述方法还包括比较，然后基于所述比较确定每个图块何时包括在所述重要图块的图集中或何时被排除。4.根据权利要求3所述的方法，其中构造所述图集还包括：a.将残余图像中的已排除图块的像素存储在与所述图块在其所述虚拟颜色立方体的原始切片中所占据的位置相对应的位置处；b.当处理所述虚拟颜色立方体的后续切片时，将所述已排除图块的所存储的像素添加到所述后续切片的对应图块的所述像素以产生修改的像素，以及c.在执行构造所述对应图块的所述图集的比较、确定、包括和排除步骤时使用所述修改的像素。5.根据权利要求4所述的方法，其中构造所述图集还包括将所述虚拟颜色立方体的所述切片以其深度值的顺序进行处理。6.根据权利要求5所述的方法，其中所述颜色规格包括R、G和B颜色值。7.根据权利要求6所述的方法，其中像素的所述阿尔法值反映了所述像素表示所述体积场景的一部分准确定位在与所述像素驻留的所述切片相对应的所述深度处的置信度。8.根据权利要求7所述的方法，其中像素的所述阿尔法值表示概率。9.根据权利要求8所述的方法，其中像素的所述阿尔法值是0至1范围内的值。10.根据权利要求9所述的方法，其中像素的所述阿尔法值反映了捕获所述场景的多个相机同意对象的表面存在于所述切片内的所述像素位置的程度。11.根据权利要求10所述的方法，其中使用相同的图块图案对所述虚拟颜色立方体的每个切片进行分区。12.一种用于创建包括虚拟颜色立方体的平铺表示的图...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：