提供一种包括存储器和一或多个处理电路的设备。所述存储器存储具有混合权重的混合表。对于所述混合表的分区，所述处理电路确定与所述分区相关联的所述像素的子集是否包含与在所述场景的三维表面表示中定义的接缝线相关联的像素(222)。如果所述像素的所述子集中的全部像素均不与所述接缝线相关联，则所述处理电路利用由所述多个图像捕获装置中的一个图像捕获装置捕获的图像的像素值填充所述虚拟图像的与所述分区对应的区域(224)。如果所述像素的所述子集中的一或多个像素与所述接缝线相关联，则所述处理电路利用由所述多个图像捕获装置中的两或更多个图像捕获装置捕获的两或更多个图像的混合像素值填充所述虚拟图像的与所述分区相关联的区域(226)。拟图像的与所述分区相关联的区域(226)。拟图像的与所述分区相关联的区域(226)。
【技术实现步骤摘要】
【国外来华专利技术】环绕视图图像的增强渲染
技术介绍
[0001]在多相机环境中，通过将两或更多个图像拼接在一起并在其接缝线处混合像素，可将由多个相机捕获的多个图像合成为单个图像。此类技术可用于在汽车视觉系统和其它场景中产生环绕视图。例如，汽车场景中的环绕视图系统为驾驶员提供包含所有方向的视图的单个二维图像。车载的环绕视图系统将由多个面向外的环绕车辆定位的相机捕获的多个图像拼接在一起，以便于产生单个环绕视图图像。
[0002]在基本场景中，周围视图图像的有利位置来自定位于车辆上方的虚拟相机。换句话说，该图像好像是由虚拟相机从虚拟视点拍摄产生的。该环绕视图系统将车辆上各种相机捕获的图像中的像素映射到环绕视图图像，并将所得的环绕视图图像在屏幕上显示给驾驶员。除了映射像素，该系统还在接缝线处将图像拼接在一起，包含在两个图像重叠的位置混合像素。
[0003]在更复杂的场景中下，虚拟视点可得自任何的任意位置，如从一个角度，从车辆后面或侧面。对任意虚拟视点，一些解决方法利用图形处理单元(GPU)处理车载的且实时的像素重映射。遗憾的是，无论从成本角度还是从开销角度来看，基于GPU的解决方法均是昂贵的。
[0004]一些无GPU的解决方法确定像素重映射配置，并且仅针对有限数量的预先确定的有利位置。预先确定的重映射可因此在车载时被调用，并且从预先确定的有利位置中的一个预先确定的有利位置实时快速产生虚拟图像。虽然此类解决方法速度快并且开销低，但在一些场景下可能会产生不准确的拼接，从而导致如混合像素这样不应该混合的假象产生，并且反之亦然。
技术实现思路
[0005]本文公开了在多相机场景下增强对环绕视图图像的渲染的技术。在各种具体实施中，配置过程从由多个图像捕获装置捕获的场景的图像中的像素生成所述场景的三维表面表示。所述配置过程还在所述三维表面表示中定义了一或多条接缝线，并且至少基于所述像素中的每个像素与所述一或多条接缝线的接近度来识别所述像素的混合权重。仍然是所述配置，所述过程利用所述混合权重填充所述场景的虚拟图像的混合表，并且至少基于具有包括所述像素的所述混合权重的输入的成本函数对所述混合表进行分区。在一些具体实施中，对所述混合表进行分区的过程是在脱机、脱板和/或脱芯片过程中执行的。
[0006]在相同的或其它具体实施中，车载和/或实时和/或渲染过程利用具有混合权重的混合表，从多个图像捕获装置捕获的场景图像中的像素构建所述场景的虚拟图像。对于混合表的一或多个分区，所述渲染过程基于所述分区中的所述混合权重中的至少一个混合权重确定与所述分区相关联的所述像素的子集是否包含与在所述场景的三维表面表示中定义的一或多条接缝线相关联的一或多个像素。
[0007]响应于确定所述像素的所述子集中的全部像素均不与所述一或多条接缝线相关联，所述过程利用由多个图像捕获装置中的一个图像捕获装置捕获的图像的像素值填充所
述虚拟图像的与所述分区对应的区域。然而，响应于确定所述像素的所述子集中的一或多个像素与一或多条接缝线相关联，所述过程利用包括由所述多个图像捕获装置中的两或更多个图像捕获装置捕获的两或更多个图像的两或更多个像素值的混合的至少一个混合像素值填充所述虚拟图像的与所述分区对应的区域。
[0008]本概述旨在以技术公开书下面描述的简化形式提供对概念的选择。本概述不旨在识别或强调要求保护的主题的关键特征或基本特征，也不旨在用于限制要求保护的主题的范围。
附图说明
[0009]图1例示了根据具体实施产生环绕视图的图像系统的框图。
[0010]图2A和2B例示了使用图块映射表对合成图像进行多相机像素重映射和拼接的方法。
[0011]图3A、3B和3C例示了根据具体实施的混合表的分区。
[0012]图4例示了根据具体实施例示用于产生环绕视图的过程的图像流程图。
[0013]图5例示了根据具体实施例使用碗状参考平面的具有对角线设置虚拟相机视点的合成环绕视图。
[0014]图6例示了根据具体实施的具有其相关联的接缝线的一组混合表。
[0015]图7A例示了根据具体实施的具有图块的初始图块映射表。
[0016]图7B例示了拼图示出为已从图7A所见的初始状态移动的潜在图块映射表。
[0017]图8例示了拼图已从图7A所见的初始状态移动到的最终位置的最终图块映射表。
[0018]图9例示了根据具体实施的例示产生三维环绕视图图像的数字信号处理合成器过程的图像流程图。
[0019]图10例示了三维环绕视图系统的实例的示例性框图。
[0020]图11例示了相对于附图在下文讨论的适用于实施各种操作环境、架构、过程、场景和顺序的图像处理系统。
具体实施方式
[0021]本文所公开的技术增强了对多相机环境中环绕视图图像的渲染。
[0022]如上文所讨论的，不使用GPU渲染环绕视图图像的能力减少了环绕视图系统的成本和开销，并且可以提高性能。为了在此类系统中支持虚拟视点，涉及到针对每个视点预先生成混合表，该混合表定义了如何将来自多个相机的像素混合到最终虚拟图像中。环绕视图系统在运行时访问混合表，以确定如何混合来自由相机捕获的现场图像的像素，以便于减轻两或更多个图像重叠的位置的接缝线的影响。
[0023]给定虚拟视图的混合表指定权重，以用于混合来自每个相机的像素。也就是说，每个混合表对应于不同的相机，并且给定相机的混合表定义了其像素是如何针对给定的虚拟视点加权的。与接缝线不对应的像素被加权，使得它们不会与任何其它像素混合。与接缝线相对应的像素被加权，使得它们会与一或多个其它像素在一定程度上混合。
[0024]这种安排是低效率的，这是因为环绕视图系统花费了针对从相机流出的图像中的每个像素查阅混合表的开销——即使给定像素不在接缝线上也是如此。本文考虑的解决方
法通过将混合表分成图块来消除这种低效率，其中的一些图块包含与接缝线对应的像素，而另一些图块则完全不含接缝线像素。环绕视图系统可以不同于前者的方式处理后一种类型的图块，这是因为不需要在混合表中查阅不与接缝线相关联的图块内的像素。因此，相对于先前的解决方法，这种新的安排加速了渲染过程，先前的解决方法针对图像中的每个像素查阅混合表。
[0025]本文描述的各种具体实施通过配置过程实现了此类改进，该配置过程以允许渲染过程在运行时加速执行的方式对混合表进行填充和分区。在一些实例中，渲染过程是在一或多个专用集成电路(ASIC)或片上系统(SoC)中实施的，从而进一步加速了渲染过程。
[0026]配置过程首先根据由多个图像捕获装置捕获的场景的图像中的像素生成场景的三维表面表示。该配置过程将每个像素映射到三维表面上的一个位置，并定义表面上的来自不同相机的像素重叠的位置的接缝线。
[0027]该配置过程继续基于像素中的每个像素与接缝线的接近度识别像素的混合权重，并且利用权重填充混合表。当渲染过程从虚拟视点产生场景的虚拟图像时，混合权重在运行时决定像素如何相互混合。
[0028]该配置本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种设备，其包括：存储器，所述存储器存储具有用于从由多个图像捕获装置捕获的场景的图像中的像素构建所述场景的虚拟图像的混合权重的混合表；和与所述存储器耦接的一或多个处理电路，其中对于所述混合表的一或多个分区，所述一或多个处理电路被配置成：基于所述分区中的所述混合权重中的至少一个混合权重确定与所述分区相关联的所述像素的子集是否包含与一或多条接缝线相关联的一或多个像素；响应于确定所述像素的所述子集中的全部像素均不与所述一或多条接缝线相关联，利用由所述多个图像捕获装置中的一个图像捕获装置捕获的图像的像素值填充所述虚拟图像的与所述分区对应的区域；以及响应于确定所述像素的所述子集中的一或多个像素与所述一或多条接缝线相关联，利用包含由所述多个图像捕获装置中的两或更多个图像捕获装置捕获的两或更多个图像的两或更多个像素值的混合的至少一个混合像素值填充所述虚拟图像的与所述分区相关联的所述区域。2.根据权利要求1所述的设备，其中每个分区为矩形形状，并且其中所述一或多条接缝线在所述场景的三维表面表示中定义。3.根据权利要求1所述的设备，其中所述虚拟图像是基于虚拟图像捕获装置的位置、取向和视场的。4.根据权利要求1所述的设备，其中所述存储器还存储重映射变换定义，并且其中所述一或多个处理电路还被配置成至少部分地基于所述重映射变换定义重映射由所述多个图像捕获装置捕获的一或多个图像的用于填充所述虚拟图像的像素值。5.根据权利要求1所述的设备，其中所述混合表包含多个小区，每个小区包含所述多个图像捕获装置中的每个图像捕获装置的混合权重。6.根据权利要求1所述的设备，其中每个所述一条或多条接缝线为所述多个图像捕获装置中的两个图像捕获装置的关联视角。7.根据权利要求1所述的设备，进一步包括与所述存储器耦接的被配置成接收由所述多个图像捕获装置捕获的所述场景的图像的至少一个端口。8.一种方法，其包括：在存储器中存储具有用于从由多个图像捕获装置捕获的场景的图像中的像素构建所述场景的虚拟图像的混合权重的混合表；以及在一或多个处理电路中，对于所述混合表的一或多个分区：基于所述分区中的所述混合权重中的至少一个混合权重确定与所述分区相关联的所述像素的子集是否包含与在所述场景的三维表面表示中定义的一或多条接缝线相关联的一或多个像素；响应于确定所述像素的所述子集中的全部像素均不与所述一或多条接缝线相关联，利用由所述多个图像捕获装置中的一个图像捕获装置捕获的图像的像素值填充所述虚拟图像的与所述分区对应的区域；以及响应于确定所述像素的所述子集中的一或多个像素与所述一或多条接缝线相关联，利用包括由所述多个图像捕获装置中的两或更多个图像捕获装置捕获的两或更多个图像的
两或更多个像素值的混合的至少一个混合像素值填充所述虚拟图像的与所述分区对应的区域。9.根据权利要求8所述的方法，其中：每个分区为矩形形状；并且所述一或多条接缝线在所述场景的三维表面表示中定义。10.根据权利要求8所述的方法，其中所述虚拟图像是基于虚拟图像捕获装置的位置、取向和视场的。11.根据权利要求8所述的方法，其中所述存储器还存储重映射变换定...
【专利技术属性】
技术研发人员：马丁，
申请(专利权)人：德州仪器公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。