图像处理设备及图像处理方法技术

本发明专利技术涉及能够以高精度和小的计算量生成多个视点的视差图像的图像处理设备和图像处理方法。相关性生成单元使用从多个视点捕获的捕获图像计算从多个视点的对捕获的捕获图像的相关性值。基于相关性值，生成单元生成包括作为多个视点之一的标准视点的视差值的视差图像以及包括遮挡区域的视差值的视差图像，作为不同标准视点的分层视差图像。本发明专利技术可以应用于光场相机等图像处理设备。

【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及图像处理设备和图像处理方法，更具体地涉及使得能够以小的计算量高精度生成不同视点的视差图像的图像处理设备和图像处理方法。
技术介绍
近来被称为光场相机等的成像设备受到关注。这样的成像设备通过成像单元获得视点的捕获图像，根据捕获图像生成虚拟视点的捕获图像(视图插值)，以及使用这些捕获图像生成虚拟焦点等的捕获图像(例如参见专利文献1)。这样的成像设备以如下方式生成虚拟视点的图像:通过生成与视点的捕获图像对应的视差图像(深度图)，根据所述捕获图像使用相应视点的视差图像生成虚拟视点的捕获图像(图像配准)，以及将所述捕获图像进行组合。因此，为了生成虚拟视点的高精度捕获图像，生成具有高精度的视差图像是必要的。应当注意，视差图像是具有作为捕获图像中的相应像素的视差值的像素值的图像。在此，位于较远侧的对象的图像具有较小的视差值，而位于较近侧的对象的图像具有较大的视差值。引用列表专利文献专利文献1:JP 4706882 B2
技术实现思路
本专利技术要解决的问题生成视点的视差图像的方法可以是如下方法:根据作为用作参考的单个视点的参考视点的捕获图像生成视差图像，并且根据所生成的视差图像估计除参考视点之外的视点的视差图像。然而，通过该方法，例如在参考视点的捕获图像中出现遮挡时，不能精确地估计参考视点的遮挡区域的视差值，从而不能生成除参考视点之外的视点的具有高精度的视差图像。应当注意，在本说明书中，参考视点的遮挡区域表示从参考视点不能观看到但是从除参考视点之外的视点能够观看到的区域。可替选地，生成视点的视差图像的方法可以为如下方法:根据每个视点的捕获图像生成视差图像。通过该方法，能够生成高精度的视差图像，但是需要巨大的计算量。本公开鉴于上述情形做出，本公开使得能够以小的计算量高精度生成不同视点的视差图像。问题的解决方案根据本公开的第一方面的图像处理设备是如下图像处理设备，其包括:计算单元，该计算单元使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及生成单元，所述生成单元基于由所述计算单元计算出的相关性值来生成参考视点的不同层级的视差图像，所述视差图像是由所述参考视点的视差值形成的视点视差图像以及由遮挡区域的视差值形成的遮挡视差图像，所述参考视点为所述多对视点之一。根据本公开的第一方面的图像处理方法与根据本公开的第一方面的图像处理设备兼容。在本公开的第一方面中，使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值，以及基于相关性值来生成由所述参考视点的视差值形成的视点视差图像以及由遮挡区域的视差值形成的遮挡视差图像，作为参考视点的不同层级的视差图像，所述参考视点为所述多对视点之一。根据本公开的第二方面的图像处理设备是如下图像处理设备，其包括:计算单元，所述计算单元使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及生成单元，所述生成单元基于使相应对的相关性值的模式与所述多对视点中的预定对相关联的表来生成视点视差图像，所述视点视差图像根据作为与所述预定对的最高相关性值对应的视差值的最高相关性视差值而生成，所述视点视差图像由参考视点的视差值形成，所述参考视点为所述多对视点之一。根据本公开的第二方面的图像处理方法与根据本公开的第二方面的图像处理设备兼容。在本公开的第二方面中，使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；基于使相应对的相关性值的模式与所述多对视点中的预定对相关联的表来生成视点视差图像，所述视点视差图像根据作为与所述预定对的最高相关性值对应的视差值的最高相关性视差值而生成，所述视点视差图像由参考视点的视差值形成，所述参考视点为所述多对视点之一。根据本公开的第一方面和第二方面的图像处理设备还可以通过使计算机执行程序来实现。此外，为了实现根据本公开的第一方面和第二方面的图像处理设备，待由计算机执行的程序可以通过传输介质传输并提供，或者可以提供记录在记录介质上的程序。本专利技术的效果根据本公开，能够以小的计算量生成不同视点的高精度视差图像。【附图说明】图1是示出了作为应用本公开的图像处理设备的成像设备的实施例的示例结构的框图。图2是成像阵列的示例结构的透视图。图3是示出了检测单元的示例结构的框图。图4是示出了与相关性生成单元对应的16个视点对的图。图5是用于解释待由相关性生成单元执行的相关性检测的图。图6是示出了当前像素区域的一部分的示例的图。图7是示出了相关性值信息的示例的图。图8是示出了当前像素区域的多组最高相关性视差值的图。图9是示出了当前像素区域的其他组最高相关性视差值的图。图10是示出了分层表的示例的图。图11是示出了参考视点的第一层级和第二层级的视差图像的示例的图。图12是示出了除参考视点之外的视点的视差图像的示例的图。图13是示出了除参考视点之外的视点的传统视差图像的示例的图。图14是示出了虚拟视点的示例的图。图15是用于解释生成虚拟视点的捕获图像的图。图16是用于解释生成虚拟视点的捕获图像的图。图17是用于解释生成虚拟视点的捕获图像的图。图18是用于解释生成虚拟视点的捕获图像的图。图19是用于解释生成虚拟视点的捕获图像的图。图20是用于解释生成虚拟视点的捕获图像的图。图21是用于解释成像处理的流程图。图22是成像阵列的另一种示例结构的透视图。图23是示出了计算机的硬件的示例配置的框图。【具体实施方式】<实施例>(成像设备的实施例的示例结构)图1是示出了作为应用本公开的图像处理设备的成像设备的实施例的示例结构的框图。图1所示的成像设备10包括成像阵列12和图像处理单元13。成像设备10获得不同视点的捕获图像，并且生成虚拟焦点的捕获图像作为重聚焦图像。具体地，成像设备10的成像阵列12由二维布置的成像单元形成，每个成像单元包括成像透镜、成像器件例如CCD (电荷耦合器件)或CMOS (互补金属氧化物半导体)以及A/D转换器。成像阵列12中的每个成像单元通过该成像透镜从具有成像器件的对象接收入射光，并且通过使用Α/D转换器对由于光接收获得的模拟信号进行Α/D转换而获取捕获图像。以这种方式，成像阵列12使用各个成像单元获得不同视点的捕获图像。成像阵列12向图像处理单元13提供所获得的各个视点的捕获图像。图像处理单元13由例如LSI (大规模集成电路)形成。图像处理单元13包括检测单元21、虚拟视点图像生成单元22以及重聚焦图像生成单元23。检测单元21不仅基于从成像阵列12提供的参考视点的捕获图像与除参考视点之夕卜的视点的捕获图像之间的相关性值，而且基于除参考视点之外的视点的捕获图像之间的相关性值来检测视差值。结果是，检测到参考视点的视差值以及参考视点的遮挡区域的视差值。为了简化解释，在本实施例中仅存在参考视点的一个遮挡区域。检测单元21以如下方式生成参考视点的两个层级的视差图像:通过将由参考视点的视差值形成的视差图像设置为第一层级的视差图像(视点视差图像)，以及将由参考视点的遮挡区域的视差值形成的视差图像设置为第二层级的视差图像(遮挡视差图像)。检测单元21然后向虚拟视点图像生成单元22提供参考视点的两个层级的视差图像。虚拟视点图像生成单元22对从检测单元21提供的参考视点的两个层级的视差图像进行存储。使用所存储的参考视点的两本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：计算单元，所述计算单元被配置成使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及生成单元，所述生成单元被配置成基于由所述计算单元计算出的相关性值来生成参考视点的不同层级的视差图像，所述视差图像是由所述参考视点的视差值形成的视点视差图像以及由遮挡区域的视差值形成的遮挡视差图像，所述参考视点为所述多对视点之一。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：井藤功久，早坂健吾，森浩典，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP