具有孔径改变深度估计的图像处理系统及其操作方法技术方案

本发明专利技术公开了具有孔径改变深度估计的图像处理系统及其操作方法。一种系统和操作图像处理系统的方法包括：接收图像模块，其用于接收具有第一孔径的第一图像和具有第二孔径的第二图像，其中第一图像和第二图像各自具有红色通道和绿色通道；计算模糊差异模块，其用于计算对应于第一图像和第二图像的红色通道的模糊差异的红色迭代计数，并且计算对应于第一图像和第二图像的绿色通道的模糊差异的绿色迭代计数；计算深度图模块，其用于形成具有基于红色迭代计数和绿色迭代计数的单元深度的深度图；以及计算显示图像模块，其用于基于第一图像和深度图形成显示图像以用于在显示设备上显示。

【技术实现步骤摘要】

本专利技术总体上涉及图像处理系统，更具体来说涉及一种具有孔径改变深度估计的图像处理系统。
技术介绍
现今的消费和工业电子装置(特别是具有图形成像能力的设备，比如摄影机、电视、投影仪、蜂窝电话以及组合设备)正在提供越来越高的功能水平以支持现今的生活，其中包括三维显示服务。现有技术中的研发可能是在许多不同方向上进行的。随着三维显示设备的成长为用户赋予了更多能力，新的和旧的范例开始利用这一新的设备空间。针对利用这一新的显示设备机会存在许多技术解决方案。一种现有的方法是在消费、工业和移动电子装置上显示三维图像，比如视频投影仪、电视、监视器、智能电话、游戏系统、摄影机或者个人数字助理(PDA)。三维图像处理系统已被合并在摄影机、投影仪、电视、笔记本和其他便携式产品中。如今，这些系统帮助用户捕获和显示可用的相关信息，比如图表、地图或视频。三维图像的显示提供极有价值的相关信息。可以通过利用多个透镜捕获立体图像来形成三维图像。但是以三维形式显示信息已成为消费者首要关注的问题。显示不与真实世界相关的三维图像会减少使用所述工具的益处。因此，仍然需要有更好的图像处理系统来捕获和显示三维图像。鉴于不断增大的商业竞争压力，连同不断增长的消费者预期以及市场中的有意义的产品区分的机会不断减少，找到这些问题的答案也变得越来越关键。此外，针对降低成本、改进效率和性能以及满足竞争压力的需求也为找到这些问题的答案的关键必要性增加了更大的紧迫性。深度估计还可以被用于例如自动对焦、游戏之类的应用或者其他类似的应用。长期以来一直在寻求针对这些问题的解决方案，但是先前的发展没有教导或建议任何解决方案，因此本领域技术人员一直以来都没有找到针对这些问题的解决方案。
技术实现思路
本专利技术提供了一种操作图像处理系统的方法，其包括：接收具有第一孔径的第一图像和具有第二孔径的第二图像，其中第一图像和第二图像分别具有红色通道和绿色通道；计算对应于第一图像和第二图像的相应部分的红色通道的模糊差异的红色迭代计数；计算对应于第一图像和第二图像的相应部分的绿色通道的模糊差异的绿色迭代计数；形成具有基于红色迭代计数和绿色迭代计数的单元深度的深度图；以及基于第一图像和深度图形成显示图像以用于在显示设备上显示。本专利技术提供了一种图像处理系统，其包括：接收图像模块，其用于接收具有第一孔径的第一图像和具有第二孔径的第二图像，其中第一图像和第二图像分别具有红色通道和绿色通道；耦合到接收图像模块的计算模糊差异模块，其用于计算对应于第一图像和第二图像的相应部分的红色通道的模糊差异的红色迭代计数，并且计算对应于第一图像和第二图像的相应部分的绿色通道的模糊差异的绿色迭代计数；耦合到计算模糊差异模块的计算深度图模块，其用于形成具有基于红色迭代计数和绿色迭代计数的单元深度的深度图；以及耦合到计算深度图模块的计算显示图像模块，其用于基于第一图像和深度图形成显示图像以用于在显示设备上显示。本专利技术的某些实施例具有其他步骤或单元，以作为前面所提到的那些步骤或单元的补充或替换。通过阅读后面参照附图作出的详细描述，本领域技术人员将认识到所述步骤或单元。附图说明图1是本专利技术的一个实施例中的图像处理系统。图2是成像系统的一个实例。图3是所接收到的图像的一个实例。图4是匹配曲线图表的一个实例。图5是匹配曲线差异图表的一个实例。图6是对应于红色通道的多个孔径对的匹配曲线图表的一个实例。图7是对应于绿色通道的多个孔径对的匹配曲线图表的一个实例。图8是对应于红色通道和绿色通道的多个孔径对的匹配曲线差异图表的一个实例。图9是场景的一个实例。图10A是深度图的第一实例。图10B是深度图的第二实例。图11是具有孔径深度估计的图像处理系统的处理流程的一个实例。图12是所述图像处理系统的功能方框图的一个实例。图13是本专利技术的另一个实施例中的图像处理系统的操作方法的流程图。具体实施方式下面将以充足的细节描述后面的实施例，从而使得本领域技术人员能够制作及使用本专利技术。应当理解的是，基于本公开内容，其他实施例将是显而易见的，并且在不背离本专利技术的范围的情况下可以作出系统、处理或机械改变。在后面的描述中给出了许多具体细节以提供对于本专利技术的透彻理解。但是应当认识到，可以在没有这些具体细节的情况下实践本专利技术。为了避免模糊本专利技术，一些众所周知的电路、系统配置和处理步骤没有被详细公开。示出了所述系统的实施例的附图是半示意性的并且不是按比例绘制的，特别为了呈现清楚起见在附图中夸大示出了其中一些维度。类似地，虽然附图中的视图为了容易描述起见通常示出了类似的指向，但是附图中的这一描绘在大多数情况下是任意的。通常来说，本专利技术可以被操作在任何指向中。在所有附图中使用相同的附图标记来指代相同的单元。将各个实施例编号成第一实施例、第二实施例等等是为了描述方便，而不意图具有任何其他意义或者提供对于本专利技术的限制。术语“图像”被定义成对于对象的画面表示。图像可以包括二维图像、三维图像、视频帧、所计算的文件表示、来自摄影机的图像、视频帧或其组合。举例来说，所述图像可以是机器可读数字文件、物理照片、数字照片、电影帧、视频帧、x射线图像、扫描图像或其组合。所述图像可以由设置在矩形阵列中的像素形成。所述图像可以包括沿着行方向的x轴和沿着列方向的y轴。水平方向是平行于图像的x轴的方向。垂直方向是平行于图像的y轴的方向。对角线方向是不平行于x轴也不平行于y轴的方向。这里所提到的术语“模块”可以包括软件、硬件或其组合。举例来说，软件可以是机器代码、固件、嵌入式代码和应用软件。同样是举例来说，硬件可以是电路、处理器、计算器、集成电路、集成电路核心或其组合。现在参照图1，其中示出了本专利技术的一个实施例中的图像处理系统100。图像处理系统100可以在成像设备102中的成像传感器108处接收第一图像104和第二图像106。第一图像104和第二图像106可以利用对应于孔径设定的不同值来捕获。图像处理系统100可以通过多种方式来捕获第一图像104和第二图像106。举例来说，可以通过利用成像传感器108顺序地捕获场景140来形成第一图像104和第二图像106。第一图像104和第二图像106可以包括图像元数据110。图像元数据110是关于相关本文档来自技高网...

【技术保护点】
一种操作图像处理系统的方法，包括：接收具有第一孔径的第一图像和具有第二孔径的第二图像，其中第一图像和第二图像各自具有红色通道和绿色通道；计算对应于第一图像和第二图像的相应部分的红色通道的模糊差异的红色迭代计数；计算对应于第一图像和第二图像的相应部分的绿色通道的模糊差异的绿色迭代计数；形成具有基于红色迭代计数和绿色迭代计数的单元深度的深度图；以及基于第一图像和深度图形成显示图像以用于在显示设备上显示。

【技术特征摘要】
2014.12.04 US 14/560,9781.一种操作图像处理系统的方法，包括：
接收具有第一孔径的第一图像和具有第二孔径的第二图像，其中
第一图像和第二图像各自具有红色通道和绿色通道；
计算对应于第一图像和第二图像的相应部分的红色通道的模糊差
异的红色迭代计数；
计算对应于第一图像和第二图像的相应部分的绿色通道的模糊差
异的绿色迭代计数；
形成具有基于红色迭代计数和绿色迭代计数的单元深度的深度
图；以及
基于第一图像和深度图形成显示图像以用于在显示设备上显示。
2.如权利要求1所述的方法，其中，形成深度图包括计算对应于
孔径校准对的第一校准图像和第二校准图像的红色通道与绿色通道之
间的模糊差异的校准深度。
3.如权利要求1所述的方法，其中，接收第一图像包括：
利用具有被设定到第一孔径的孔径直径的透镜来接收第一图像；
以及
利用具有被设定到第二孔径的孔径直径的透镜来接收第二图像。
4.如权利要求1所述的方法，其中，计算红色迭代计数包括：
通过把第二图像的红色通道迭代地与模糊内核进行卷积来计算第
一图像和第二图像的红色通道之间的模糊差异，直到第二图像的模糊
量度处在第一图像的模糊量度的模糊差异阈值内为止；以及
为红色迭代计数指派将第二图像的模糊量度带到第一图像的模糊
量度的模糊差异阈值内所需的卷积次数的值。
5.如权利要求1所述的方法，其中，计算深度图包括利用以下公
式计算单元深度：
其中，Ir是红色迭代计数，Ig是绿色迭代计数，c是常数，并且f是当
前透镜对焦位置。
6.一种操作图像处理系统的方法，包括：
接收具有第一孔径的第一图像和具有第二孔径的第二图像，其中
第一图像和第二图像各自具有红色通道和绿色通道；
将第一图像和第二图像划分成具有栅格单元的栅格阵列，其中第
一图像的每一个栅格单元具有第二图像中的相应的一个栅格单元；
计算对应于第一图像的其中一个栅格单元和第二图像的相应的其
中一个栅格单元的红色通道的模糊差异的红色迭代计数；
计算对应于第一图像的其中一个栅格单元和第二图像的相应的其
中一个栅格单元的绿色通道的模糊差异的绿色迭代计数；
计算红色迭代计数与绿色迭代计数之间的迭代次数差异；
通过将所述迭代次数差异与对应于其中一个栅格单元的单元深度
进行相关而形成深度图；以及
基于第一图像和深度图形成显示图像以用于在显示设备上显示。
7.如权利要求6所述的方法，其中，形成深度图包括计算对应于
孔径校准对的第一校准图像和第二校准图像的红色通道与绿色通道之
间的模糊差异的校准深度处的迭代次数差异。
8.如权利要求6所述的方法，其中，接收第一图像包括：
利用具有被设定到第一孔径的孔径直径的透镜来接收第一图像；

\t以及
利用具有被设定到第二孔径的孔径直径的透镜来接收第二图像。
9.如权利要求6所述的方法，其中，计算红色迭代计数包括：
通过把第二图像的其中一个栅格单元的红色通道迭代地与模糊内
核进行卷积来计算第一图像的其中一个栅格单元的红色通道与第二图
像的栅格单元的红色通道之间的模糊差异，直到第二图像的其中一个
栅格单元的模糊量度处在第一图像的其中一个栅格单元的模糊量度的
模糊差异阈值内为止；以及
为红色迭代计数指派将第二图像的模糊量度带到第一图像的模糊
量度的模糊差异阈值内所需的卷积次数的值。
10.如权利要求6所述的方法，其中，计算深度图包括利用以下
公式计算对应于每一个栅格单元的单元深度：
单元深度＝f-y/a
其中，y是迭代次数差异，a是匹配曲线差异斜率，并且f是当前透...

【专利技术属性】
技术研发人员：李平山，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP