用于环绕监视系统的图像合成器技术方案

一种用于车辆的环绕监视系统的图像合成器包括：接收模块(110)，其用于接收来自第一摄像机(201)的第一图像(211)、来自第二摄像机(202)的第二图像(212)和来自控制模块(220)的控制信号(225)；以及组合模块(120)，其用于在重叠区域(213)中组合所述第一图像(211)和所述第二图像(212)，并且根据所述控制信号(225)生成组合图像(123)，其中，所述控制信号(225)指示车辆外部的状况。

An image synthesizer for surround monitoring system

An image synthesizer for a vehicle's surround monitoring system includes a receiving module (110) for receiving a first image (211) from a first camera (201), a second image (212) from the second camera (202) and a control signal (225) from the control module (220); and a combination module (120), which is used in the overlapping region (213). ) the first image (211) and the second image (212) are combined in the combination, and a combined image (123) is generated according to the control signal (225), in which the control signal (225) indicates the condition of the vehicle outside.

【技术实现步骤摘要】
【国外来华专利技术】用于环绕监视系统的图像合成器
本专利技术涉及一种图像合成器和一种用于合成图像的方法，特别是涉及一种基于车辆外部的状况或基于反馈信息的用于车辆中的环绕监视系统的图像合成器。
技术介绍
可从多家制造商获得从鸟瞰图中显示车辆的用于乘用车的环视系统。很少解决方案也可用于使用多个摄像机以覆盖车辆的各个侧面的商用车辆。这些多个摄像机在重叠区域中产生两幅通常不同的场景图像，但是这两幅单独的图像、例如单个物体的图像，可能会使驾驶员感到困惑。因此，两幅图像应该在重叠区域中组合(合成)，以便以不会使驾驶员困惑的方式获得组合图像。例如，可获得的用于商用车辆的系统基于针对乘用车开发的概念，而没有使这些系统适应商用车辆的特定需求。在商用车辆的环境中还有多个有利方面尚未用于环视系统。另外，诸如环视显示器、镜面视图显示器或将具有不同视角的两幅摄像机图像融合在一起的其它显示器的常规合成装置静态地将图像拼接在一起。通过在重叠区域中融合来自车辆周围的不同摄像机的多幅图像，可以在这些系统中创建无缝鸟瞰图。然而，这些环视系统的一个共同的问题涉及在拼接区域中减小的物体可见性。作为融合的结果，三维(3D：three-dimensional)物体可能会消失，因为3D物体的视图可能投影到从两个视图融合出的区域。在US7139412B2中描述了一种现有技术系统，其中，多个摄像机视图以静态方式合成为鸟瞰图。另一方面，JP5124672B2或US2013/162830A1中描述了基于车辆速度的动态环视图生成。根据这些系统，在工作车辆处于停止状态时，使用第一虚拟投影平面来创建鸟瞰图像，其中，外边缘部分随着与工作车辆的距离的增加而相对于地面的高度增加。另一方面，当工作车辆处于行驶状态时，使用第二虚拟投影平面，所述第二虚拟投影平面具有与地面高度一致地平坦形状的外边缘部分。这些和其它图像合成应用的总体问题涉及以下情况。当物体穿过组合了两幅图像的区域(即穿过拼接线或融合区域)时，物体可见性可能会降低，或者只有部分物体是可见的。在最坏的情况下，物体可能在这个区域完全消失。因此，需要一种克服了所述问题并且生成组合图像的图像合成器，所述组合图像在监测区域中提供了改进的物体可见性。
技术实现思路
本专利技术通过提供一种根据权利要求1所述的图像合成器、一种根据权利要求11所述的环绕监视系统、一种根据权利要求13所述的车辆以及一种根据权利要求14所述的用于合成图像的方法来解决所述问题。从属权利要求具体涉及独立权利要求的主题的有利实施方式。本专利技术涉及一种用于车辆的驾驶员辅助系统或环绕监视系统中的图像合成器。环绕监视系统或其它驾驶员辅助系统包括第一摄像机、第二摄像机和控制模块，其中，第一摄像机被配置成从第一场景拍摄第一图像，第二摄像机被配置成从第二场景拍摄第二图像，控制模块被配置成生成指示车辆外部的一个或两个以上状况或任何反馈信息的控制信号。第一场景和第二场景在车辆的监测区域的重叠区域中部分重叠。图像合成器包括接收模块，其用于接收第一图像、第二图像和控制信号；以及组合模块，其用于在重叠区域中组合第一图像和第二图像，并且根据控制信号来生成组合图像。所要求保护的主题解决了上述问题，其中图像是根据一个或两个以上3D物体的位置动态合成的。因此，图像合成器提供了3D物体的最佳视图，从而消除了穿过任何这些物体的拼接线。车辆可能受到各种外部状况的影响，这些外部状况可能是反馈状况的一部分。这些状况例如包括：天气状况(雨、雪、落叶等)、地面状况(潮湿、干燥、结冰等)、光线状况(白天、夜晚等)、车辆周围的物体或障碍物，但也可包括车辆的速度、位置或方向(上坡或下坡)或任何其它反馈信息。因此，根据又一实施例，车辆外部的状况包括以下中的至少一种：行驶状况、车辆的环境状况和其它的输入。在控制信号中可以考虑所有这些状况以向驾驶员提供环绕视图，所述环绕视图尽可能接近车辆周围的实际情况并且不会给驾驶员造成混乱。感测这些各种状况的相应传感器可以生成转发到控制模块的传感器信号。从摄像机拍摄的图像中推导出这些状况也是可能的。如何导出相应数据的进一步细节对本专利技术并不重要。外部状况的一个示例涉及重叠区域中物体的存在，在这种情况下，控制信号可以指示物体在重叠区域中的位置，并且根据另一个实施例，组合模块可以被配置成通过在重叠区域的一个区域中沿着不穿过物体的位置的拼接线拼接第一图像和第二图像来组合第一图像和第二图像。物体的位置可以被定义为物体在拍摄图像的投影平面中所覆盖的区域。因此，所述位置不是唯一的量，而是可与拍摄物体的图像的摄像机有关。根据又一实施例，组合模块可以被配置成通过在作为重叠区域的一部分的融合区域中融合第一图像和第二图像来组合第一图像和第二图像，使得物体的位置在融合区域外。例如，组合模块可以通过将第一图像和第二图像垂直于拼接线进行融合来组合第一图像和第二图像。融合区域可以在重叠区域内，即重叠区域中的组合图像包括第一图像的以及第二图像的图像数据。根据又一实施例，组合模块可以被配置成确定重叠区域的中线并且将拼接线放置在中线处(或者将融合区域放置为包括中线)。根据又一实施例，组合模块可以被配置成作为梯度融合或/和作为二元融合来执行融合。可以使用融合掩码来执行融合，其中，融合掩码实施梯度融合或二元融合。根据又一实施例，组合模块可以被配置成根据车辆外部的状况执行或选择融合。例如，融合宽度、二元融合的粒度等可以与一个或两个以上外部状况或反馈信息有关。可以进行选择以提高物体的可见性，例如，通过选择二元融合的粒度。根据又一实施例，接收模块可以被配置成接收作为指示第一摄像机或第二摄像机的异常的反馈信息的错误信号，并且组合模块可以被配置成通过忽略异常摄像机的图像数据来生成组合图像。根据又一实施例，物体是重叠区域中的多个物体中的一个，并且组合模块可以被配置成将拼接线放置在远处的物体处，其中，远处的物体比多个物体中的其它物体距离车辆更远。如前所述，物体通常是3D物体(而不是地面上的标记)，并且与物体的距离可以被定义为与车辆或相应摄像机的最近连线。拼接线通常是直线，但也可能是弯曲的。根据又一实施例，组合模块被配置成在组合第一图像和第二图像之前执行第一图像和/或第二图像的透视变换(例如鸟瞰图)、或者执行组合图像的透视变换，并将其显示给车辆驾驶员。本专利技术还涉及一种用于监视车辆或其周围的监测区域的环绕监视系统，所述环绕监视系统包括至少第一摄像机和第二摄像机；被配置成生成指示车辆外部的状况的控制信号的控制模块；以及如前所述的图像合成器。根据又一实施例，四个摄像机可用于拍摄四幅图像，其中，四个摄像机可附接在车辆的四个拐角处，使得监测区域的每个部分均被四幅图像中的两幅图像覆盖。控制模块可以被配置成在四个摄像机中的一个出现异常情况下发出错误信号作为反馈信息，并且组合模块被配置成通过忽略异常摄像机的图像数据来生成组合图像且仅在相应的重叠区域中使用与所述一个异常摄像机邻近的摄像机的图像数据。例如，商用车辆的特殊摄像机放置可以允许用一个摄像机覆盖车辆两侧，并且当四个摄像机放置在车辆上时，一个摄像机的损失可以被另外三个摄像机替代以便仍然提供车辆的整个周围的视图。控制模块可以接收指示车辆的行驶状况和/或环境状况的传感器数据和/或其它的输入数据(例如错误信号)并且本文档来自技高网...

【技术保护点】
1.一种用于车辆(500)的环绕监视系统或显示系统的图像合成器(100)，所述环绕监视系统包括第一摄像机(201)、第二摄像机(202)和控制模块(220)，所述第一摄像机(201)被配置成从第一场景(601)拍摄第一图像(211)，所述第二摄像机(202)被配置成从第二场景(602)拍摄第二图像(212)，所述控制模块(220)被配置成生成指示所述车辆(500)外部的状况或反馈信息的控制信号(225)，其中，所述第一场景(601)和所述第二场景(602)在车辆(500)的监测区域(50)的重叠区域(213)中部分重叠，其特征在于，所述图像合成器包括：‑接收模块(110)，其用于接收所述第一图像(211)、所述第二图像(212)和所述控制信号(225)；以及‑组合模块(120)，其用于组合在所述重叠区域(213)中的所述第一图像(211)和所述第二图像(212)，并且根据控制信号(225)来生成组合图像(123)。

【技术特征摘要】
【国外来华专利技术】2015.09.10 EP 15184705.01.一种用于车辆(500)的环绕监视系统或显示系统的图像合成器(100)，所述环绕监视系统包括第一摄像机(201)、第二摄像机(202)和控制模块(220)，所述第一摄像机(201)被配置成从第一场景(601)拍摄第一图像(211)，所述第二摄像机(202)被配置成从第二场景(602)拍摄第二图像(212)，所述控制模块(220)被配置成生成指示所述车辆(500)外部的状况或反馈信息的控制信号(225)，其中，所述第一场景(601)和所述第二场景(602)在车辆(500)的监测区域(50)的重叠区域(213)中部分重叠，其特征在于，所述图像合成器包括：-接收模块(110)，其用于接收所述第一图像(211)、所述第二图像(212)和所述控制信号(225)；以及-组合模块(120)，其用于组合在所述重叠区域(213)中的所述第一图像(211)和所述第二图像(212)，并且根据控制信号(225)来生成组合图像(123)。2.根据权利要求1所述的图像合成器(100)，其中，如果物体(400)存在于所述重叠区域(213)中，则所述控制信号指示所述物体(400)在所述重叠区域(213)中的位置，其特征在于：所述组合模块(120)被配置成通过沿着位于重叠区域(213)的一个区域中、不穿过物体(400)的位置的拼接线(250)拼接所述第一图像(211)和所述第二图像(212)来组合所述第一图像(211)和所述第二图像。3.根据权利要求1所述的图像合成器(100)，其中，如果物体(400)存在于所述重叠区域(213)中，则所述控制信号指示所述物体(400)在所述重叠区域(213)中的位置，其特征在于：所述组合模块(120)被配置成通过在作为重叠区域(213)的一部分的融合区域中融合所述第一图像(211)和所述第二图像(212)来组合所述第一图像(211)和所述第二图像(212)而使得所述物体(400)的位置在融合区域外。4.根据权利要求2或权利要求3所述的图像合成器(100)，其特征在于：所述组合模块(120)被配置成确定所述重叠区域(213)的中线并且将所述拼接线(250)放置在所述中线处或者将所述融合区域放置为包括所述中线。5.根据权利要求3或权利要求4所述的图像合成器(100)，其特征在于：所述组合模块(120)被配置成作为梯度融合或/和作为二元融合执行融合。6.根据权利要求3至5中任一项所述的图像合成器(100)，其特征在于：所述组合模块(120)被配置成根据车辆(500)外部的状况或反馈信息来执行融合。7.根据权利要求6所述的图像合成器(100)，其中，所述车辆外部的状况包括以下中的至少一个：行驶状况、所述车辆的环境状况以及其它输入，其特征在于：所述组合模块(120)被配置成基于车辆(500)外部的状况来选择融合。8.根据前述权利要求中任一项所述的图像合成器(100)，其特征在于：-所述接收模块(110)被配置成接收错误信号作为指示所述第一摄像机(201)或所述第二摄像机(...

【专利技术属性】
技术研发人员：M·哲埃里，H·内梅特，
申请(专利权)人：克诺尔商用车制动系统有限公司，
类型：发明
国别省市：德国,DE