摄像装置、图像处理装置、摄像方法制造方法及图纸

本发明专利技术提供一种摄像装置、图像处理装置、摄像方法。摄像装置拍摄多个图像，从多个图像计算三维位置，输出多个图像和三维位置的信息，具有：摄像单元，利用至少3个照相机进行拍摄，生成并输出多个图像，各照相机配置为光轴互相平行且靠近；照相机参数存储单元，预先存储包含外部参数、内部参数及遮挡信息的照相机参数；位置计算单元，由2个以上的图像的组和照相机参数来计算多个点的三维位置；位置选择单元，从多个点的位置信息选择无遮挡的被拍摄物体区域的位置信息，作为选择位置信息而输出；图像补全单元，基于选择位置信息生成对多个图像之一中存在的遮挡区域使用其他图像进行补全后的补全图像，输出补全图像和选择位置信息。

【技术实现步骤摘要】

本专利技术涉及拍摄宽视野角的图像、并且取得视野内的H维位置的技术。
技术介绍
W主，已知有使用多个具备鱼眼透镜的摄像装置来对目标物进行测位的技术方案 (参照专利文献2)。 <现有技术文献〉 专利文献1;日本特开2001 - 285692号公报 专利文献2;日本特开平6 - 167564号公报 专利文献3;日本特开2007 _ 24647号公报非专利文献 1 ;C.Zach,T.化ck和H.Bischof,"Adualitybasedapproachfor realtimeTV-Llopticalflow,"，关于图案识别的第29届DAGM会议的会议记录，第 214-223 页，2007 年。非专利文献 2 ;M.Wer化erger,T.化ck,比Bischof,"Motionestimationwith non-localtotalvariationregularization,'，，IEEEConferenceonComputerVision andPatternReco即ition(CVPR),第 2464-2471 页，2010 年6 月 13-18 日。 非专利文献3;松山隆司等编，"计算机视觉"、新技术通信株式会社（ShinGijutsu CommunicationsK.K. )、ppl23 ~137。
技术实现思路
在上述现有技术中，在具备多个包括鱼眼透镜的照相机的摄像装置中存在W下情 况；在用多个照相机所包含的某一照相机拍摄到的图像中，存在映入了多个照相机所包含 的其它照相机的区域。也即是，在用某一照相机拍摄到的图像中，位于其它照相机的后方的 物体等被遮挡而无法取得图像和H维位置。 一个非限制的例示性实施例提供了一种摄像装置，其能够取得不存在拍摄到摄像 装置所包含的照相机的区域的图像和H维位置。 本专利技术的实施方式的其他益处和优点将通过说明书和附图得到明确。该些益处和 /或优点能够单独地由所公开的说明书和附图的各个实施方式和特征来实现，并且，不需要 通过所有的实施方式和特征来实现一个或更多的益处和/或优点。本专利技术的一个技术方案涉及一种摄像装置，其拍摄多个图像，并且，从所取得的所 述多个图像计算H维位置，输出所述多个图像和所述H维位置的信息，所述摄像装置具有： 摄像单元，其通过利用至少3个照相机的每个照相机进行拍摄，生成并输出所述多个图像， 各照相机配置为其光轴互相平行且靠近；照相机参数存储单元，其预先存储包含与所述各 照相机的物理配置有关的外部参数、与所述各照相机的特性有关的内部参数、W及遮挡信 息的照相机参数，所述遮挡信息包含在各照相机的图像中是否存在被其他照相机遮挡的区 域的信息；位置计算单元，其接受所述多个图像和所述照相机参数，由利用了所述多个图像 的2个W上的图像的组和所述照相机参数来计算多个点的H维位置；位置选择单元，其接 受在所述位置计算单元中计算出的所述多个点的位置信息和所述照相机参数存储单元存 储的遮挡信息，从所述多个点的位置信息中选择无遮挡的被拍摄物体区域的位置信息来作 为选择位置信息而进行输出；W及图像补全单元，其接受所述多个图像和所述选择位置信 息，基于所述选择位置信息来生成对所述多个图像之一中存在的遮挡区域使用其他图像进 行补全（追补）后的补全图像，输出所述补全图像和所述选择位置信息。 此外，本专利技术的总体W及【具体实施方式】可W由系统、方法、集成电路、计算机程序 或计算机能读取的记录介质、例如压缩盘只读存储器（CD-ROM)的形式来实现，或者可W使 用系统、方法、集成电路、计算机程序和计算机能读取的记录介质的任何组合来实现。 根据本专利技术的一个技术方案涉及的摄像装置，能够取得没有拍摄到摄像装置所包 含的照相机的区域的图像和H维位置。【附图说明】 图1A是表示实施方式1的摄像装置的结构的框图。 图1B是表示实施方式1的摄像装置的结构的框图。 图2的（a)和化）是表示本专利技术例示的实施方式1的摄像单元的结构的示意图。 图3是表示具备由计算机构成的图像处理单元的摄像装置的结构的框图。 图4是表示实施方式1的图像处理单元的工作的顺序的流程图。[002。 图5的（a)是表示本专利技术例示的实施方式1的摄像装置的设置的例子的示意图， 图5的化）是表示摄像状况的例子的示意图。 图6的（a)和化）是表示本专利技术例示的实施方式1的摄像图像的例子的示意图。 图7是表示实施方式1的各照相机图像的遮挡信息的例子的示意图。 图8是表示实施方式1的位置信息中的遮挡区域的例子的示意图。[002引图9的（a)和化）是表示本专利技术例示的实施方式1的补全图像和选择位置信息的 例子的示意图。 图10是表示实施方式1的从移动物体检测单元输出的合成图像的例子的示意图。 图11是表示实施方式2的摄像装置的工作的顺序的流程图。 图12的（a)~（d)是表示实施方式1中的考虑到遮挡的4个照相机的图像间的 视差的例子的示意图。 图13是表示由实施方式1的图像中的位置产生的被拍摄物体像的形状、大小、朝 向的差异的例子的示意图。 图14的（a)和化）是表示现有技术中的摄像装置的结构例的示意图。 图15是说明照相机坐标系和照相机的外部参数的示意图。[00础标号说明 100;摄像单元100a~lOOd;照相机[003引 110;图像处理单元 111;位置计算单元 112;位置选择单元[00測113;图像补全单元 114;照相机参数存储单元 115;照相机参数取得单元[004引120;障碍物检测单元[004引130;显示器【具体实施方式】(基础见解） 在汽车安全驾驶支援系统、移动机器人的远程操作系统、或者检测可疑者等的监 视摄像系统等中，用户和系统要进行判断或控制，需要系统周围的图像和监视对象的H维 位置的信息。特别是在人或车等的监视对象移动的情况下，甚至是汽车、机器人等的系统本 身移动的情况下，取得更宽视角的图像和监视对象等的H维位置尤为重要。 作为取得图像和监视对象等的H维位置的手段，一般采用所谓的双目立体视觉。 在双目立体视觉下，将两台照相机配置为在互不相同的视点上视野重复而取得两个图像， 计算两个图像间的对应点，使用对应点和预先求出的照相机的位置和/或朝向的信息来计 算对应点的H维位置。 在双目立体视觉下，在连接两台照相机的直线上、更准确而言在连接两台照相机 的视点的直线上W及该直线附近无法计算H维位置。其理由是，作为来自两个视点的方向 之差的视差成为0或接近0。特别是在利用鱼眼透镜等的使用视野角为180度W上的照相 机的情况下，视野内一定包含由于视差成为0而无法计算H维位置的区域。因而，作为取得 宽视角的图像和H维位置的方法，研究出将构成比180度窄的视野角的立体视觉的多个照 相机作为1组并使用该多组照相机的方法、和使用3台W上的具有180度W上的鱼眼透镜 的照相机的方法。 图14的（a)示出在同一构件上设置视野角小于180度的多个照相机并将其作为1 组立体照相机、在多面体的各面各设置1组立体照相机的结构的装置。例如专利文献1公 开了该装置。当使用该装置时，能够取得全方位（球状）的H维位置。该技术由于各组立 体照相机的视野角相对于180度充分窄，因此不包含由于视差成为0而无法计算H维位置 的区域本文档来自技高网...

【技术保护点】
一种摄像装置，拍摄多个图像，并且，从所取得的所述多个图像计算三维位置，输出所述多个图像和所述三维位置的信息，所述摄像装置具有：摄像单元，其通过利用至少3个照相机的每个照相机进行拍摄，生成并输出所述多个图像，各照相机配置为其光轴互相平行且靠近；照相机参数存储单元，其预先存储包含与所述各照相机的物理配置有关的外部参数、与所述各照相机的特性有关的内部参数、以及遮挡信息的照相机参数，所述遮挡信息包含在各照相机的图像中是否存在被其他照相机遮挡的区域的信息；位置计算单元，其接受所述多个图像和所述照相机参数，由利用了所述多个图像的2个以上的图像的组和所述照相机参数来计算多个点的三维位置；位置选择单元，其接受在所述位置计算单元中计算出的所述多个点的位置信息和所述照相机参数存储单元存储的遮挡信息，从所述多个点的位置信息中选择无遮挡的被拍摄物体区域的位置信息来作为选择位置信息而进行输出；以及图像补全单元，其接受所述多个图像和所述选择位置信息，基于所述选择位置信息来生成对所述多个图像之一中存在的遮挡区域使用其他图像进行补全后的补全图像，输出所述补全图像和所述选择位置信息。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：登一生，佐藤智，吾妻健夫，
申请(专利权)人：松下知识产权经营株式会社，
类型：发明
国别省市：日本;JP