图像处理装置、图像处理方法和图像处理系统制造方法及图纸

本发明专利技术令人满意地实现通过运动视差的距离感的提供和各种视野的提供。通过将车辆内部图像叠加在通过拍摄车辆后方的图像而获得的拍摄图像上，生成显示图像。所述显示图像是基于由设定单元设定的基准视野设定信息生成的。基准视野设定包括例如显示位置设定、显示尺寸设定、在水平方向上整体或部分的压缩设定、在垂直方向上整体或部分的压缩设定等。表示车辆的图像例如是计算机图形图像。例如，按照驾驶员视点的运动，改变拍摄图像与表示车辆的图像之间的叠加位置关系。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、图像处理方法和图像处理系统
本技术涉及图像处理装置、图像处理方法和图像处理系统，更具体地，涉及适合应用于车载电子视镜的图像处理装置等。
技术介绍
通常，提出了车载电子视镜，其中用摄像头和显示器来代替车辆的后视镜(车内镜以及左和右车门后视镜)。例如，专利文献1提出一种技术，其中通过使用驾驶员的头部相对于显示器的相对位置来改变要显示在显示器上的摄像头图像的范围，以便解决电子视镜中的外观(appearance)与实际视镜中的外观的差异。引文列表专利文献专利文献1：日本专利申请公开No.2013-216286
技术实现思路
本专利技术要解决的问题驾驶员视觉识别的重要信息之一是从运动视差获得的距离感。当移动视点时，人类从物体的出现和消失按照物体的透视位置而变化的现象，感知到物体的距离以及物体之间的相对距离。专利文献1中提出的技术不能辅助上述感知。此外，适合于驾驶的视野随驾驶状况而异，并且还存在个人偏好。本技术的目的是令人满意地实现通过运动视差的距离感的提供和各种视野的提供。问题的解决方案本技术的概念是一种图像处理装置，包括：处理单元，所述处理单元被配置成通过将车辆内部图像叠加在通过拍摄车辆后方的图像而获得的拍摄图像上，生成显示图像，其中上述处理单元基于关于基准视野的设定信息，生成上述显示图像，并且所述图像处理装置还包括：设定单元，所述设定单元被配置成设定上述基准视野。在本技术中，处理单元将车辆内部图像叠加在通过拍摄车辆后方的图像而获得的拍摄图像上，以生成显示图像。这种情况下，基于关于基准视野的设定信息，生成显示图像。基准视野由设定单元设定。例如，基准视野设定可包括显示位置设定。此外，例如，基准视野设定可包括显示尺寸设定。此外，例如，基准视野设定可包括在水平方向上的整体或部分的压缩设定。此外，例如，基准视野设定可包括垂直方向上的整体或部分的压缩设定。如上所述，在本技术中，显示图像是通过将车辆内部图像叠加在通过拍摄车辆后方的图像而获得的拍摄图像上获得的。这种情况下，由于显示图像并不仅仅由通过拍摄车辆后方的图像而获得的拍摄图像构成，相反显示图像是通过将表示车辆的图像叠加在所述拍摄图像上获得的，因此可以令人满意地通过运动视差提供距离感。此外，提供了配置成设定基准视野的设定单元。于是，可以按照驾驶状况或按照驾驶员(个人)的偏好令人满意地提供视野。注意，在本技术中，例如，可以使处理单元使用由附装在车辆后部的图像拍摄装置拍摄的拍摄图像和由附装在车辆侧部的图像拍摄装置拍摄的拍摄图像，作为通过拍摄车辆后方的图像而获得的拍摄图像。这种配置扩大了拍摄图像的图像拍摄范围，能够提高在作为视野设定的显示位置设定、显示尺寸设定等方面的设定自由度。此外，在本技术中，例如，还可以提供配置成从多个基准视野设定中选择任意基准视野设定的选择单元，并且可以使处理单元基于选择的基准视野设定生成显示图像。这种配置使得例如可以按照驾驶状况等的变化，容易且立即地切换视野。此外，在本技术中，例如，车辆内部图像可以是计算机图形图像。使用计算机图形图像使生成车辆内部图像方面的自由度更高。此外，在本技术中，例如，可以使处理单元按照驾驶员视点的运动，改变拍摄图像与车辆内部图像之间的叠加位置关系。这种配置能够产生与观看实际视镜相接近的运动视差，并且能够辅助驾驶员的距离之间的感知。这种情况下，例如，可以使处理单元将拍摄图像和表示车辆的图像布置在三维空间中，获得按照驾驶员视点的运动而变化的虚拟视点位置，并利用由虚拟视点位置决定的视野，将拍摄图像和表示车辆的图像转换成投影坐标系图像，以获得显示图像。这种配置使得可以按照驾驶员视点的运动，精确改变拍摄图像与表示车辆的图像之间的叠加位置关系。然后，在这种情况下，例如，可以使处理单元将拍摄图像布置在存在于车辆后方的预定对象的位置。例如，预定对象可以是最接近车辆的对象，或者是驾驶员看到的对象。通过以这种方式将拍摄图像布置在存在于车辆后方的预定对象的位置，预定对象能够以适当的尺寸布置在三维空间中的适当位置，并且能够正确地表现在预定对象与车辆内部图像之间发生的运动视差。例如，可以使处理单元基于对于每个驾驶员登记的基准视点位置和基准虚拟视点位置，获得按照驾驶员视点的运动而变化的虚拟视点位置。这种配置使得可以对于每个驾驶员获得最佳的显示图像。此外，在本技术中，例如，可以使处理单元将车辆内部图像叠加在拍摄图像上，以使拍摄图像能被看透。即使在通过叠加车辆内部图像来提供运动视差时，这种配置也能够避免削弱后方可视性。附图说明图1是表示作为实施例的车辆的组件布置的例子的视图。图2是表示车辆的车身(轿车车身)、车身开口(车窗)和内饰物的视图。图3是表示图像处理装置的配置例子的方框图。图4是表示虚拟空间中的组件布置(一个摄像头)的视图。图5是表示虚拟空间中的组件布置(多个摄像头)的视图。图6是用于说明视点运动和虚拟视点运动的视图。图7是表示在基准视野的情况下电子视镜中的外观的例子的视图。图8是表示初始化流程的例子的流程图。图9是表示基准视点位置的登记流程的例子的流程图。图10是表示视点检测区域和视线检测区域的例子的视图。图11是用于说明拍摄的摄像头图像的视图。图12是表示摄像头图像的布置例子的视图。图13是表示由于摄像头图像的布置的差异引起的摄像头图像的外观的变化的视图。图14是表示摄像头图像布置计算单元的处理流程的例子的流程图。图15是表示摄像头图像布置计算单元的处理流程的另一个例子的流程图。图16是表示摄像头图像布置计算单元的处理流程的另一个例子的流程图。图17是表示虚拟空间中的摄像头图像布置(使用一个摄像头图像)的视图。图18是表示虚拟空间中的摄像头图像布置(使用多个摄像头图像)的视图。图19是表示在虚拟空间中进行描绘所需的元素的布置例子(使用一个摄像头图像)的视图。图20是表示在虚拟空间中进行描绘所需的元素的布置例子(使用多个摄像头图像)的视图。图21是表示由图像描绘单元获得的显示图像的例子的视图。图22是用于说明基准视野设定中的显示位置的操作方法的例子的视图。图23是用于说明基准视野设定中的显示尺寸操作方法的例子的视图。图24是用于说明基准视野设定中的整个水平方向的压缩(曲率)的操作方法的例子的视图。图25是用于说明基准视野设定中的仅在水平方向端部的压缩(曲率)的操作方法的例子的视图。图26是用于说明基准视野设定中的整个垂直方向的压缩(曲率)的操作方法的例子的视图。图27是用于说明基准视野设定中的仅在垂直方向端部的压缩(曲率)的操作方法的例子的视图。图28是表示图像处理装置中的正常操作流程的例子的流程图。图29是表示显示图像处理的例子的流程图。...

【技术保护点】
1.一种图像处理装置，包括：/n处理单元，所述处理单元被配置成通过将车辆内部图像叠加在通过拍摄车辆后方的图像而获得的拍摄图像上，生成显示图像，其中/n所述处理单元基于关于基准视野的设定信息，生成所述显示图像，并且/n所述图像处理装置还包括：/n设定单元，所述设定单元被配置成设定所述基准视野。/n

【技术特征摘要】
【国外来华专利技术】20181211 JP 2018-2320481.一种图像处理装置，包括：
处理单元，所述处理单元被配置成通过将车辆内部图像叠加在通过拍摄车辆后方的图像而获得的拍摄图像上，生成显示图像，其中
所述处理单元基于关于基准视野的设定信息，生成所述显示图像，并且
所述图像处理装置还包括：
设定单元，所述设定单元被配置成设定所述基准视野。


2.按照权利要求1所述的图像处理装置，其中
作为基准视野设定，包括显示位置设定。


3.按照权利要求1所述的图像处理装置，其中
作为基准视野设定，包括显示尺寸设定。


4.按照权利要求1所述的图像处理装置，其中
作为基准视野设定，包括在水平方向上的整体或部分的压缩设定。


5.按照权利要求1所述的图像处理装置，其中
作为基准视野设定，包括在垂直方向上的整体或部分的压缩设定。


6.按照权利要求1所述的图像处理装置，其中
所述处理单元使用由安装在所述车辆后部的图像拍摄装置拍摄的拍摄图像和由安装在所述车辆侧部的图像拍摄装置拍摄的拍摄图像，作为通过拍摄所述车辆后方的图像而获得的拍摄图像。


7.按照权利要求1所述的图像处理装置，还包括：
选择单元，所述选择单元被配置成从多个基准视野设定中选择任意的基准视野设定，其中
所述处理单元基于选择的所述基准视野设定生成所述显示图像。


8.按照权利要求1所述的图像处理装置，其中
所述车辆内部图像为计算机图形图像。


9.按照权利要求1所述的图像处理装置，其中
所述处理单元按照驾驶员视点的运动，改变所述拍摄图像与所述车辆内部图像之间的叠加位置关系。


10.按照权利要求9所述的图像处理装置，其中
所述处理单元
将所述...

【专利技术属性】
技术研发人员：长田浩二，汤川泰宏，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：日本;JP