图像处理装置、摄像装置及图像处理方法制造方法及图纸

一种图像处理装置（10），利用从相互不同的视点拍摄的第1图像及第2图像生成深度数据，具备：视差值计算部（11），针对作为第1图像内的一部分像素的多个代表像素中的各个像素，基于代表像素与对应于代表像素的第2图像内的像素的位置关系，计算代表像素的视差值；分段部（12），基于像素值的类似性，将第1图像分割为多个段；以及深度数据生成部（13），按每个段，基于段中包含的代表像素的视差值确定段的视差值，从而生成表示与各段对应的进深的深度数据。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、摄像装置及图像处理方法
本专利技术涉及使用从相互不同的视点拍摄的第1图像和第2图像生成深度数据的图像处理装置、摄像装置及图像处理方法。
技术介绍
近年来，显示3D图像的3D显示器开始广泛普及。并且，拍摄向这样的3D显示器显示的3D图像的3D照相机的需求也增加。在通常的3D照相机中，使用两组透镜及传感器拍摄立体图像。已知有使用通过这样的3D照相机拍摄的立体图像生成表示立体图像的进深的深度数据的方法。例如，通过在立体图像中按每个像素检测对应点，并计算对应点间的视差值，能够生成深度数据。并且，能够使用这样生成的深度数据对立体图像实施各种处理。现有技术文献专利文献专利文献1：特表2007-520822号公报专利技术概要专利技术要解决的问题但是，在上述以往的方法中，为了生成深度数据而需要按每个像素检测对应点，处理负荷变高。对此，公开了按照通过将图像分割而得到的每个段、基于该段的大小分配进深值的方法（例如，参照专利文献1）。在专利文献1的方法中，越小的段分配越小的进深值。但是，并不一定段越小则与该段对应的被摄体越存在于近前。即，在专利文献1的方法中，在生成深度数据时，虽然能够减轻处理负荷，但深度数据的正确度大幅下降。
技术实现思路
所以，本专利技术提供一种在使用从相互不同的视点拍摄的第1图像和第2图像生成深度数据时，能够抑制深度数据的正确度的下降，并且减轻处理负荷的图像处理装置、摄像装置及图像处理方法。用于解决问题的手段有关本专利技术的一形态的图像处理装置，是利用从相互不同的视点拍摄的第1图像及第2图像生成深度数据的图像处理装置，具备：视差值计算部，针对作为上述第1图像内的一部分像素的多个代表像素中的各个代表像素，基于上述代表像素与对应于上述代表像素的上述第2图像内的像素的位置关系，计算上述代表像素的视差值；分段部，基于像素值的类似性，将上述第1图像分割为多个段；以及深度数据生成部，按每个段，基于上述段中包含的代表像素的视差值确定上述段的视差值，从而生成表示与各段对应的进深的深度数据。另外，这些总括性的或具体的形态也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM（CompactDiscReadOnlyMemory）等的记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。专利技术效果根据有关本专利技术的一形态的图像处理装置，当使用从相互不同的视点拍摄的第1图像和第2图像生成深度数据时，能够抑制深度数据的正确度的下降，并且减轻处理负荷。附图说明图1是表示有关实施方式1的图像处理装置的功能结构的框图。图2是表示有关实施方式1的图像处理装置的处理动作的流程图。图3是用于说明有关实施方式1的图像处理装置的处理动作的图。图4是表示有关实施方式2的图像处理装置的功能结构的框图。图5是表示有关实施方式2的图像处理装置的处理动作的流程图。图6是表示有关实施方式2的校准处理的概要的图。图7是用于说明有关实施方式2的校准处理的一例的图。图8是表示有关实施方式2的分段的详细情况的流程图。图9是用于说明有关实施方式2的分段的图。图10是用于说明有关实施方式2的分段的图。图11是表示有关实施方式2的分段结果的一例的图。图12是表示有关实施方式2的段结合处理的详细情况的流程图。图13是用于说明有关实施方式2的段结合处理的图。图14是表示有关实施方式2的变形例的深度数据生成处理的详细情况的流程图。图15是表示有关一实施方式的摄像装置的结构的框图。具体实施方式有关本专利技术的一形态的图像处理装置，是利用从相互不同的视点拍摄的第1图像及第2图像生成深度数据的图像处理装置，具备：视差值计算部，对作为上述第1图像内的一部分像素的多个代表像素中的各个代表像素，基于上述代表像素与对应于上述代表像素的上述第2图像内的像素的位置关系，计算上述代表像素的视差值；分段部，基于像素值的类似性，将上述第1图像分割为多个段；以及深度数据生成部，按每个段，基于上述段中包含的代表像素的视差值确定上述段的视差值，从而生成表示与各段对应的进深的深度数据。根据该结构，能够基于各段中包含的代表像素的视差值生成表示与各段对应的进深的深度数据。即，为了生成深度数据，只要检测与各代表像素对应的第2图像内的像素就可以，不需要检测与全部的像素分别对应的第2图像内的像素。因而，能够减轻用于生成深度数据的处理负荷。进而，根据该结构，由于基于像素值的类似性将第1图像分割为多个段，所以在1个段中包含相互不同的多个被摄体的可能性变低。即，进深类似的区域被分割为1个段的可能性变高。通过按这样分割后的每个段确定视差值，能够抑制表示与各段对应的进深的深度数据的正确度下降。此外，优选的是，上述图像处理装置还具备段结合部，所述段结合部在上述多个段中包括不包含代表像素的空段的情况下，将上述空段与相邻于上述空段的段结合为1个；上述深度数据生成部基于由上述段结合部结合后的段生成上述深度数据。根据该结构，在多个段中包括空段的情况下，能够将该空段和相邻段结合为1个。因而，当通过分段部将第1图像分割为多个段时，不需要必须分割为包含代表像素。即，能够不考虑与代表像素的对应关系而进行分段。结果，能够将分段和代表像素的视差值计算并行处理，能够实现深度数据生成处理的高速化。此外，优选的是，上述段结合部在上述空段与多个段相邻的情况下，基于颜色的类似性从上述多个段中选择至少1个段，将所选择的上述至少1个段与上述空段结合为1个。根据该结构，能够将颜色类似的段彼此结合为1个。即，由于将颜色类似的区域作为1个段，所以进深类似的区域成为1个段的可能性变高。通过按这样得到的每个段确定视差值，能够更正确地生成表示与各段对应的进深的深度数据。此外，优选的是，上述深度数据生成部在上述段中包含两个以上的代表像素的情况下，将上述两个以上的代表像素的视差值的中央值或平均值确定为上述段的视差值。根据该结构，在段中包含有两个以上的代表像素的情况下，能够将两个以上的代表像素的视差值的中央值或平均值确定为段的视差值。因而，能够简单地确定段的视差值，能够减轻用于生成深度数据的处理负荷。此外，能够使段的视差值与段中包含的各像素的视差值的误差比较小，能够更正确地生成深度数据。此外，优选的是，上述深度数据生成部按每个段，使用上述段中包含的至少1个代表像素的视差值对上述段中包含的其他像素的视差值进行插补，从而计算上述段中包含的各像素的视差值；基于计算出的各像素的视差值，生成表示各像素的进深的深度图作为上述深度数据。根据该结构，能够按每个段，使用该段中包含的至少1个代表像素的视差值对该段中包含的其他像素的视差值进行插补。因而，能够通过插补得到各像素的视差值，能够更正确地生成深度数据。此外，优选的是，上述分段部通过基于类似性的聚类，将上述第1图像分割为多个段，该类似性是使用像素值及像素位置定义的类似性。根据该结构，能够通过基于使用像素值及像素位置定义的类似性的聚类，来将第1图像分割为多个段。因而，能够以1个段中不包含相互不同的多个被摄体的方式将第1图像高精度地分割为多个段。结果，能够更正确地生成深度数据。此外，优选的是，上述聚类是k平均法（k-meansclustering）。根据该结构，能够通过k平均法将第1图像分割为多个段。因本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2011.11.17 JP 2011-2519441.一种图像处理装置，利用从相互不同的视点拍摄的第1图像及第2图像生成深度数据，具备：视差值计算部，针对作为上述第1图像内的一部分像素的多个代表像素中的各个代表像素，基于上述代表像素与对应于上述代表像素的上述第2图像内的像素的位置关系，计算上述代表像素的视差值；分段部，基于像素值的类似性，将上述第1图像分割为多个段；段结合部，从上述多个段中选择不包含代表像素的空段，将上述空段与相邻于上述空段的段结合为1个；以及深度数据生成部，按每个段，基于上述段中包含的代表像素的视差值确定上述段的视差值，从而生成表示与各段对应的进深的深度数据；上述深度数据生成部基于由上述段结合部结合后的段生成上述深度数据。2.如权利要求1所述的图像处理装置，上述段结合部在上述空段与多个段相邻的情况下，基于颜色的类似性从上述多个段中选择至少1个段，将所选择的上述至少1个段与上述空段结合为1个。3.如权利要求1所述的图像处理装置，上述深度数据生成部在上述段中包含两个以上的代表像素的情况下，将上述两个以上的代表像素的视差值的中央值或平均值确定为上述段的视差值。4.如权利要求1所述的图像处理装置，上述深度数据生成部按每个段，使用上述段中包含的至少1个代表像素的视差值对上述段中包含的其他像素的视差值进行插补，从而计算上述段中包含的各像素的视差值；上述深度数据生成部基于计算出的各像素的视差值，生成表示各像素的进深的深度图作为上述深度数据。5.如权利要求1所述的图像处理装置，上述分段部通过基于类似性的聚类，将上述第1图像分割为多个段，上述类似性是使用像素值及像素位置定义的类似性。6.如权利要求5所述的图像处理装置，上述聚类是k平均法即k-meansclustering。7.如...

【专利技术属性】
技术研发人员：石井育规，
申请(专利权)人：松下电器产业株式会社，
类型：
国别省市：