俯瞰图像生成装置制造方法及图纸

本发明专利技术提供一种能够生成可以水平线的位置未偏离的状态显示的俯瞰图像的俯瞰图像生成装置。该俯瞰图像生成装置具备：多个摄像机，安装于车辆的车体上；图像处理部，读入所述摄像机的影像，针对各个所述摄像机生成根据摄像机标定数据和虚拟的视点视线信息而进行视点变换处理后的俯瞰图像，并生成将所述俯瞰图像彼此在边界处连接的合成俯瞰图像；以及显示部，显示通过该图像处理部生成的所述合成俯瞰图像，所述俯瞰图像的形状的高度方向的比例与各个所述摄像机的高度成比例地变化。

【技术实现步骤摘要】
本申请以日本专利申请特愿2015-111235(申请日：2015/06/01)为基础，而从该申请享有优先权益。本申请通过参照该申请而包含该申请的全部内容。
本专利技术涉及俯瞰图像生成装置。
技术介绍
近年来，提出了与使用监视车辆周围的多个摄像机而显示来自车辆上方的虚拟视点的俯瞰图像的装置有关的技术开发。例如，根据得到的影像来进行校正的技术(例如参照日本专利第4956799号公报)、根据摄像机的高度而改变地面平面范围的技术(例如参照日本专利特开2010-204821号公报)、将两个平面连接的技术(例如参照日本专利特开2008-141643号公报)、或者将摄像机的数据直接描绘在一个显示面上的技术(例如参照日本专利特开2010-128951号公报)。然而，在这些技术中，存在这种各摄像机的俯瞰图像彼此的水平线位置未对准的问题。
技术实现思路
本专利技术所要解决的课题在于，提供一种能够在水平线的位置未偏离的状态下生成可显示的俯瞰图像的俯瞰图像生成装置。本实施方式的俯瞰图像生成装置具备：多个摄像机，安装于车辆的车体上；图像处理部，读入所述摄像机的影像，针对各个所述摄像机生成根据摄像机标定数据和虚拟的视点视线信息而进行视点变换处理后的俯瞰图像，并生成将所述俯瞰图像彼此在边界处连接的合成俯瞰图像；以及显示部，显示通过该图像处理部生成的所述合成俯瞰图像，其中，所述俯瞰图像的形状的高度方向的比例与各个所述摄像机的高度成比例地变化。根据上述构成的俯瞰图像生成装置，在同时显示地面区域和水平线区域的图像时，通过使其位于在显示图像上对于将多个摄像机合成显示时容易产生违和感的水平线的偏离进行了校正后的位置，从而能够以水平线的位置未偏离的状态进行显示。能够根据光盘的外径推断中心孔部的位置，并检出中心孔部中存在异物，从而能够防止异物混入装置内。附图说明图1是示出本专利技术的第一实施方式涉及的俯瞰图像生成装置的构成例的图。图2是示出本实施方式中的车体图像、各摄像机和俯瞰图像的基本的位置关系的图。图3是基于各摄像机的影像来说明俯瞰图像彼此的水平线的位置偏离的图。图4是说明使俯瞰图像的形状的高度方向与摄像机的高度成比例的俯瞰图像的图。图5是说明从车体中心起在半径方向上具有地面的平面区域、且改变了纵横比的俯瞰图像的图。图6是说明从车体中心起在纵向、横向上具有地面的平面区域、且改变了纵横比的俯瞰图像的图。图7的(a)和(b)是说明任意地指定俯瞰图像形状的例子的图。图8是示出截至俯瞰图像显示的处理的流程的流程图。图9是示出查找表创建处理的流程的流程图。图10是说明本专利技术的第二实施方式中的任意设定视点位置时的俯瞰图像的图。具体实施方式以下，参照附图对本专利技术的一个实施方式进行说明。此外，各图中对于同一处标注同一的符号，并省略重复说明。＜第一实施方式＞图1是示出本专利技术的第一实施方式涉及的俯瞰图像生成装置的构成例的图。如图1所示，俯瞰图像生成装置1主要由前方摄像机10、后方摄像机20、左侧摄像机30、右侧摄像机40、图像处理部50和显示部60而构成。前方摄像机10是拍摄车辆外部的摄像机，且被安装在车体前方。通过前方摄像机10获得车辆的前方的拍摄影像。后方摄像机20是拍摄车辆外部的摄像机，且被安装在车体后方。通过后方摄像机20获得车辆后方的拍摄影像。左侧摄像机30是拍摄车辆外部的摄像机，且被安装在车体左侧。通过左侧摄像机30获得车辆左侧的拍摄影像。右侧摄像机40是拍摄车辆外部的摄像机，且被安装在车体右侧。通过右侧摄像机40获得车辆右侧的拍摄影像。俯瞰图像(birds-eye-view image)是对利用摄像机拍摄的影像在从车辆的正上方垂直向下观察的状态下进行视点变换处理的图像。通过将多个俯瞰图像彼此合成而生成从车辆的正上方俯视观察周围的合成俯瞰图像。由此，作为使用者的车辆驾驶员能够在一个画面上连续地确认(視認)车辆周围。本实施方式涉及的图像处理部50生成将多个俯瞰图像的水平线的位置对准的合成俯瞰图像(以下，有时也仅称为俯瞰图像)。关于俯瞰图像彼此的水平线的位置对准，后面进行详述。图像处理部50由摄像机标定数据存储部51、视点视线信息存储部52、俯瞰查找表创建部53以及俯瞰图像创建部54而构成。摄像机标定数据存储部51存储事先获得的各摄像机的摄像机标定数据(camera calibration data)。利用摄像机拍摄的影像有时会因为摄像机的镜头的歪斜、焦点距离等而产生歪斜。另外，除了摄像机的特性(镜头的歪斜、焦点距离)之外，还会受到车体上的安装位置的影响。摄像机标定数据是将与这些摄像机的特性等相关的规格汇总而成的数据。使用者可以设定将合成俯瞰图像设为从哪个视点视线方向观察的图像。视点在三维坐标系中以使视点的坐标(x、y、z)和基准视线矢量绕任意的旋转轴矢量(vx、vy、vz)进行θ弧度旋转后的视线方向(vx、vy、vz、θ)进行定义。视点视线信息存储部52存储与视点视线方向相关的视点视线信息。俯瞰查找表创建部53读入摄像机标定数据和视点视线信息，并创建用于对利用摄像机获得的影像进行视点变换的坐标变换用的查找表(look-up table)。查找表是针对各摄像机的拍摄像素而预先计算出坐标变
换后的像素值，并存储在矩阵(matrix)中，从而无需每次都进行计算，而通过参照矩阵(表格)有效地进行坐标变换用的表格。此外，在变更虚拟的视点、视线并重新创建查找表时，有时处理需要大量时间。这样的情况下，事先准备预先限定的视点、视线的查找表较佳。由此，能够通过流畅的动作来切换图像。另外，预先根据当前的视点、视线而对视点、视线的可变化量进行限定，并预先创建将视点、视线的变化量分割为多个的部分的查找表较佳。当当前的视点、视线发生变更时，也可以从变更前后的视点、视线求出变化量，并重新创建将该变化量分割为多个的部分的查找表。由此，能够减少用于运算的缓冲，从而能够通过流畅的动作切换图像。另外，也可以在确定变更的视点、视线的变更量之后，创建将该视点、视线的变化量分割为多个的查找表，并在查找表创建结束后进行视点、视线的变更。由此，能够通过流畅的动作切换合成俯瞰图像。俯瞰图像创建部54读入前方摄像机拍摄的车辆外部的前方影像、后方摄像机拍摄的车辆外部的后方影像、左侧摄像机拍摄的车辆外部的左侧影像、右侧摄像机拍摄的车辆外部的右侧影像，并从俯瞰查找表创建部53输入查找表的信息，针对各个摄像机而生成形状的高度方向的比例与各摄像机的高度成比例地变化的俯瞰图像，并将俯瞰图像彼此在边界处加以连接而生成水平线的位置对准的合成俯瞰图像。关于俯瞰图像的生成、俯瞰图像彼此的水平线的位置对准的详细情况，后面进行详述。显示部60显示利用图像处理部50生成的合成俯瞰图像。本实施方式涉及的俯瞰图像生成装置1的图像处理部50可以利用通用的CPU、和在该CPU上动作的软件而实现。本实施方式也可以作为使该CPU执行与各摄像机影像的获取、通过读入摄像机标定数据和视点视
线信息而创建用于图像的视点变换处理的坐标变换用查找表、通过查找表信息而与俯瞰图像的生成和俯瞰图像彼此的合成相关的一系列处理步骤的程序而实施。对于以上那样构成的俯瞰图像生成装置1中的俯瞰图像的生成、俯瞰图像彼此的水平线的位置对准详细地进本文档来自技高网...

【技术保护点】
一种俯瞰图像生成装置，具备：多个摄像机，安装于车辆的车体上；图像处理部，读入所述摄像机的影像，针对各个所述摄像机生成根据摄像机标定数据和虚拟的视点视线信息而进行视点变换处理后的俯瞰图像，并生成将所述俯瞰图像彼此在边界处连接的合成俯瞰图像；以及显示部，显示通过该图像处理部生成的所述合成俯瞰图像，其中，所述俯瞰图像的形状的高度方向的比例与各个所述摄像机的高度成比例地变化。

【技术特征摘要】
2015.06.01 JP 2015-1112351.一种俯瞰图像生成装置，具备：多个摄像机，安装于车辆的车体上；图像处理部，读入所述摄像机的影像，针对各个所述摄像机生成根据摄像机标定数据和虚拟的视点视线信息而进行视点变换处理后的俯瞰图像，并生成将所述俯瞰图像彼此在边界处连接的合成俯瞰图像；以及显示部，显示通过该图像处理部生成的所述合成俯瞰图像，其中，所述俯瞰图像的形状的高度方向的比例与各个所述摄像机的高度成比例地变化。2.根据权利要求1所述的俯瞰图像生成装置，其中，所述俯瞰图像生成装置预先将标准的摄像机的高度定为基准，使所述俯瞰图像的形状的高度方向与各个所述摄像机的高度成比例。3.根据权利要求1或2所述的俯瞰图像生成装置，其中，所述摄像机包括：前方摄像机，安装在车体前方，拍摄车辆的前方；后方摄像机，安装在车体后方，拍摄车辆的后方；左侧摄像机，安装在车体左侧，拍摄车辆的左侧；以及右侧摄像机，安装在车体右侧，拍摄车辆的右侧。4.根据权利要求3所述的俯瞰图像生成装置，其中，所述摄像机标定数据除了是包括镜头的歪斜和焦点距离在内的摄像机特性之外，还是所述摄像机安装在车体上的位置信息。5.根据权利要求1所述的俯瞰图像生成装置，其中，在所述视点视线信息中，视点在三维坐标系中以使视点的坐标(x、y、z)和基准视线矢量绕任意的旋转轴矢量(vx、vy、vz)进行θ弧度旋转后的视线方向(vx、vy、vz、θ)进行定义。6.根据权利要求1所述的俯瞰图像生成装置，其中，所述图像处理部包括：摄像机标定数据存储部，存储事先获得的所述摄像机标定数据；视点视线信息存储部，存储所述视点视线信息；俯瞰查找表创建部，读入所述摄像机标定数据和所述视点视线信息，并创建用于对利用所述摄像机获得的影像进行视点变换的坐标变换用的查找表；以及俯瞰图像创建部，读入所述摄像机拍摄的影像，并输入所述查找表的信息，从而生成水平线的位置对准的合成俯瞰图像。7.根据权利要求2所述的俯瞰图像生成装置，其中，所述图像处理部包括：摄像机标定数据存储部，存储事先获得的所述摄像机标定数据；视点视线信息存储部，存储所述视点视线信息；俯瞰查找表创建部，读入所述摄像机标定数据和所述视点视线信息，并创建用于对利用所述摄像机获得的影像进行视点变换的坐标变换用的查找表；以及俯瞰图像创建部，读入所述摄像机拍摄的影像，并输入所述查找表的信息，从而生成水平线的位置对准的合成俯瞰图像。8.根据权利要求3所述的俯瞰图像生成装置，其中，所述图像处理部包括：摄像机标定数据存储部，存储事先获得的所述摄像机标定数据；视点视线信息存储部，存储所述视点视线信息；俯瞰查找表创建部，读入所述摄像机标定数据和所述视点视线信息，并创建用于对利用所述摄像机获得的影像进行视点变换的坐标变换用的查找表；以及俯瞰图像创建部，读...

【专利技术属性】
技术研发人员：小崎正宪，
申请(专利权)人：东芝阿尔派·汽车技术有限公司，
类型：发明
国别省市：日本;JP