图像处理装置、以及图像处理方法制造方法及图纸

一种图像处理装置、以及图像处理方法，即使在后方车辆接近到极近距离时，也使用后方车辆的三维信息，容易地对由第一相机摄影的图像和由第二相机摄影的图像进行合成。具备：图像取得部，取得第一～三相机所摄影的图像；合成部，对由第一相机摄影的图像的死角区域合成由第二相机摄影的死角区域图像；三维信息取得部，通过第二相机和第三相机的立体视觉而取得后方车辆的三维信息；以及保持部，保持在后方车辆的整体处于立体视觉的范围内时后方车辆的车辆形状信息，在后方车辆的一部分成为立体视觉的范围外的情况下，使用三维信息取得部所取得的三维信息和保持部所保持的车辆形状信息，决定与后方车辆的一部分对应的三维信息，并合成图像。

【技术实现步骤摘要】
图像处理装置、以及图像处理方法
本专利技术涉及图像处理装置、以及图像处理方法。
技术介绍
在被搭载于汽车等车辆的相机监视系统(CMS:CameraMonitoringSystem)中，有对侧相机的影像的本车辆部分合成后置相机的影像，使车身看起来透明的方法(以下，称为透视图)。例如，已知将由对后方进行摄影的侧相机摄影的图像、和由以广角的方式对后方进行摄影的后置相机摄影的图像，基于至后方车辆为止的距离的信息进行视点变换并进行合成，显示合成后的图像的车辆周边监视装置(例如，参照专利文献1)。在先技术文献专利文献专利文献1：特开2016-175586号公报
技术实现思路
专利技术要解决的课题在这样的透视图中，为了将由侧相机摄影的图像、和由广角的后置相机摄影的图像漂亮地进行合成，希望使用后方车辆的三维信息(例如，至后方车辆上的多个点为止的距离等)对两个图像进行合成。但是，在专利文献1中公开的技术中，基于由侧相机摄影的图像和由后置相机摄影的图像，测量与后方车辆之间的距离，因此后方车辆进入侧相机的死角，难以取得后方车辆的三维信息。此外，作为其它方法，考虑利用对后方进行摄影的广角相机(用于停车时的后置监视等)、和通常的相机(用于厢内监视的替换等)，取得后方车辆的三维信息的方法。但是，在该方法中，通常的相机例如也在后方车辆接近到极近距离时，后方车辆的一部分进入死角，所以难以取得后方车辆的整体的三维信息。这样，在以往的技术中，在后方车辆接近到极近距离时，使用后方车辆的三维信息，对由侧相机摄影的图像和由后置相机进行摄影的图像进行合成存在困难。另外，这样的问题不限于侧相机和后置相机，在将摄影范围中包含车辆的一部分的第一相机的图像、和对所述第一相机的死角进行摄影的第二相机的图像使用后方车辆的三维信息进行合成的图像处理系统中共通地存在。本专利技术的一实施方式是鉴于上述的问题点而完成的，即使在后方车辆接近到极近距离时，也使用后方车辆的三维信息，容易地对由第一相机摄影的图像和由第二相机摄影的图像进行合成。用于解决课题的手段为了解决上述课题，本专利技术的一实施方式所涉及的图像处理装置具备：图像取得部，被搭载于车辆，取得被配置为在摄影范围中包含所述车辆的车身的一部分的第一相机所摄影的图像、和对在由所述第一相机摄影的图像中由于所述车身的一部分而成为死角的死角区域进行摄影的第二相机以及第三相机所摄影的图像；以及合成部，对由所述第一相机摄影的图像的所述死角区域，合成由所述第二相机摄影的图像之中与所述死角区域对应的死角区域图像，所述图像处理装置具备：三维信息取得部，通过所述第二相机和所述第三相机的立体视觉，取得表示后方车辆的形状的三维信息；以及保持部，保持在所述后方车辆的整体处于所述立体视觉的范围内时，所述后方车辆的车辆形状信息，所述合成部在所述后方车辆的一部分成为所述立体视觉的范围外的情况下，使用所述三维信息取得部所取得的所述三维信息、和所述保持部所保持的所述车辆形状信息，决定与所述后方车辆的一部分对应的所述三维信息，使用所决定的所述三维信息而对所述死角区域合成所述死角区域图像。专利技术效果根据本专利技术的一实施方式，即使在后方车辆接近到极近距离时，也使用后方车辆的三维信息，容易地对由第一相机摄影的图像和由第二相机摄影的图像进行合成。附图说明图1是表示一实施方式所涉及的图像处理系统的系统结构的一例的图。图2是用于说明使用了虚拟投影面的透视图的图(1)。图3是用于说明使用了虚拟投影面的透视图的图(2)。图4是用于说明本专利技术的一实施方式所涉及的透视图的图。图5是用于说明使用了三维信息的透视图的课题的图。图6是用于说明一实施方式所涉及的图像处理装置的处理的概要的图。图7是表示一实施方式所涉及的图像处理装置的硬件结构的一例的图。图8是表示一实施方式所涉及的图像处理装置的功能结构的例的图。图9是表示一实施方式所涉及的图像处理装置的处理的例的流程图。图10是表示一实施方式所涉及的三维信息的取得处理的例的流程图。标号说明1图像处理系统10车辆100图像处理装置101第一相机102第二相机103第三相机211车身801图像取得部802三维信息取得部803车辆形状信息保持部(保持部)804合成部805显示控制部具体实施方式在以下，针对本专利技术的实施的方式，参照附图进行说明。＜系统结构＞图1是表示一实施方式所涉及的图像处理系统的系统结构的一例的图。在图1的例中，图像处理系统1包含被搭载于汽车等车辆10的、图像处理装置100、第一相机101、第二相机102、以及第三相机103等。图像处理装置100例如是实现被搭载于汽车等车辆10的相机监视系统(CMS:CameraMonitoringSystem)的信息处理装置。图像处理装置100也可以是预先被搭载于车辆10的车载ECU(电子控制单元(ElectronicControlUnit))，也可以是能够在之后搭载于车辆10的信息处理装置。第一相机101被配置为在摄影范围中包含车辆10的车身的一部分，是对车辆的后方的图像(影像)进行摄影，并向图像处理装置进行输出的相机。例如，第一相机101如图2的(A)所例示，被配置于车辆10的侧方，是如图2的(B)所示，对包含车辆10的车身211的一部分的后方的图像210进行摄影的侧相机等。第二相机102、以及第三相机103是对包含在由第一相机101摄影的后方的图像210中由于车身211的一部分而成为死角的区域(以下，称为死角区域)的图像(影像)进行摄影，并向图像处理装置进行输出的相机。第二相机102例如图2的(A)所例示，被配置于车辆10的后方，能够应用以如图2的(C)所示那样比第一相机101宽的视场角对后方的图像220进行摄影的广角相机或鱼眼相机等。第三相机103例如被配置于车辆10的后方等，是以比第二相机102窄的视场角对车辆10的后方的图像进行摄影的相机。第三相机103例如能够应用对用于替换内置镜的图像进行摄影的相机等。第三相机103例如与第二相机相隔规定的距离而被配置，被用于使用第二相机所摄影的图像、和第三相机所摄影的图像通过立体视觉而对距离进行测量等。图像处理装置100对在由第一相机101摄影的图像中由于车身211的一部分而成为死角的死角区域，合成由第二相机102摄影的图像之中与死角区域对应的死角区域图像，使显示后方的图像的显示部进行显示。由此，在被搭载于车辆10的相机监视系统中，图像处理装置100例如对侧相机的影像的本车辆部分合成后置相机的影像，实现使车身看起来透明的透视图。另外，图1所示的图像处理系统1的系统结构是一例。例如，第一相机101、第二相机102、以及第三相机之中至少一部分也可以被包含于图像处理装置100。此外，侧相本文档来自技高网...

【技术保护点】
1.一种图像处理装置，具备：/n图像取得部，被搭载于车辆，取得被配置为在摄影范围中包含所述车辆的车身的一部分的第一相机所摄影的图像、和对在由所述第一相机摄影的图像中由于所述车身的一部分而成为死角的死角区域进行摄影的第二相机以及第三相机所摄影的图像；以及/n合成部，对由所述第一相机摄影的图像的所述死角区域，合成由所述第二相机摄影的图像之中与所述死角区域对应的死角区域图像，/n所述图像处理装置具备：/n三维信息取得部，通过所述第二相机和所述第三相机的立体视觉，取得表示后方车辆的形状的三维信息；以及/n保持部，保持在所述后方车辆的整体处于所述立体视觉的范围内时，所述后方车辆的车辆形状信息，/n所述合成部在所述后方车辆的一部分成为所述立体视觉的范围外的情况下，使用所述三维信息取得部所取得的所述三维信息、和所述保持部所保持的所述车辆形状信息，决定与所述后方车辆的一部分对应的所述三维信息，使用所决定的所述三维信息而对所述死角区域合成所述死角区域图像。/n

【技术特征摘要】
20190507 JP 2019-0878441.一种图像处理装置，具备：
图像取得部，被搭载于车辆，取得被配置为在摄影范围中包含所述车辆的车身的一部分的第一相机所摄影的图像、和对在由所述第一相机摄影的图像中由于所述车身的一部分而成为死角的死角区域进行摄影的第二相机以及第三相机所摄影的图像；以及
合成部，对由所述第一相机摄影的图像的所述死角区域，合成由所述第二相机摄影的图像之中与所述死角区域对应的死角区域图像，
所述图像处理装置具备：
三维信息取得部，通过所述第二相机和所述第三相机的立体视觉，取得表示后方车辆的形状的三维信息；以及
保持部，保持在所述后方车辆的整体处于所述立体视觉的范围内时，所述后方车辆的车辆形状信息，
所述合成部在所述后方车辆的一部分成为所述立体视觉的范围外的情况下，使用所述三维信息取得部所取得的所述三维信息、和所述保持部所保持的所述车辆形状信息，决定与所述后方车辆的一部分对应的所述三维信息，使用所决定的所述三维信息而对所述死角区域合成所述死角区域图像。


2.如权利要求1所述的图像处理装置，
所述合成部在所述后方车辆的一部分成为所述立体视觉的范围外的情况下，使用所决定的与所述后方车辆的一部分对应的所述三维信息、和所述三维信息取得部所取得的所述后方车辆的三维信息，将所述第二相机所摄影的图像变换为所述第一相机的视点，与由所述第一相机摄影的图像进行合成。


3.如权利要求1所述的图像处理装置，
所述后方车辆的三维信息包含通过所述立体视觉而测量的至后方车辆上的多个点为止的距离信息、或者基于至所述多个点为止的距离信息而得到的所述多个点的三维坐标信息。


4.如权利要求3所述的图像处理装置，
所述车辆形状信息包含所述后...

【专利技术属性】
技术研发人员：须田亮平，
申请(专利权)人：阿尔派株式会社，
类型：发明
国别省市：日本;JP