【技术实现步骤摘要】
【国外来华专利技术】
本申请涉及图像处理。更具体地说，本申请涉及将由多个图像传感器捕获的图像数据用作一个或多个机器学习系统的输入以生成具有合成景深(dof)的图像的系统和方法。
技术介绍
1、相机的景深(dof)是指从相机到图像的主体可以被定位以便在图像中显现焦点对准且清晰而非失焦且模糊的距离范围。相机的dof通常取决于相机的孔径尺寸和/或相机的镜头的焦距。例如，具有较大孔径的相机通常具有与具有较小孔径的相机相比更浅的dof。类似地，具有较长焦距的相机通常具有与具有较短焦距的相机相比更浅的dof。通常期望图像的主体在焦点上并且因此在相机的dof中，而图像的其它部分失焦并且因此在dof之外。长dof使得此类图像难以捕获，因为大多数场景完全落在dof内。
2、因为移动设备具有有限的组件空间，所以移动设备通常包括具有小孔径和小透镜并且因此具有长dof的相机。由于大多数场景完全落在长dof中，所以大多数移动装置相机难以或不可能捕获这样的图像：其中，场景的第一部分在dof中且因此焦点对准且清晰，而场景的第二部分在dof之外且因此失焦且模糊。
技术实现思路
1、在一些示例中，描述了用于处理图像数据的系统和技术。所述技术可以使用由成像系统的多个相机的多个图像传感器捕获的图像数据作为一个或多个经训练机器学习(ml)系统的输入以生成具有合成dof的图像。在一些示例中，多个相机可以包括以菱形图案布置在表面上的四个相机。在一些示例中，多个相机可以包括以内联图案布置在表面上的四个相机。一个或多个经训练的ml系统可以
2、在一个示例中，提供了一种用于图像处理的装置。所述装置包括存储器及耦合到所述存储器的一个或多个处理器(例如，在电路中实现)。一个或多个处理器被配置为并且能够进行以下操作：接收由第一图像传感器捕获的场景的第一图像数据；接收由第二图像传感器捕获的所述场景的第二图像数据，其中，所述第一图像传感器从所述第二图像传感器偏移达一偏移距离；使用至少所述第一图像数据和所述第二图像数据作为一个或多个经训练的机器学习系统的输入来生成具有与模拟孔径尺寸相对应的合成景深的图像，其中，所述模拟孔径尺寸与所述偏移距离相关联；以及输出所述图像。
3、在另一示例中，提供了一种图像处理的方法。所述方法包括：接收由第一图像传感器捕获的场景的第一图像数据；接收由第二图像传感器捕获的所述场景的第二图像数据，其中，所述第一图像传感器从所述第二图像传感器偏移达一偏移距离；使用至少所述第一图像数据和所述第二图像数据作为一个或多个经训练的机器学习系统的输入来生成具有与模拟孔径尺寸相对应的合成景深的图像，其中，所述模拟孔径尺寸与所述偏移距离相关联；以及输出所述图像。
4、在另一示例中，提供了一种具有存储在其上的指令的非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器进行以下操作：接收由第一图像传感器捕获的场景的第一图像数据；接收由第二图像传感器捕获的所述场景的第二图像数据，其中，所述第一图像传感器从所述第二图像传感器偏移达一偏移距离；使用至少所述第一图像数据和所述第二图像数据作为一个或多个经训练的机器学习系统的输入来生成具有与模拟孔径尺寸相对应的合成景深的图像，其中，所述模拟孔径尺寸与所述偏移距离相关联；以及输出所述图像。
5、在另一示例中，提供了一种用于图像处理的装置。所述装置包括用于进行以下操作的单元：接收由第一图像传感器捕获的场景的第一图像数据；接收由第二图像传感器捕获的所述场景的第二图像数据，其中，所述第一图像传感器从所述第二图像传感器偏移达一偏移距离；使用至少所述第一图像数据和所述第二图像数据作为一个或多个经训练的机器学习系统的输入来生成具有与模拟孔径尺寸相对应的合成景深的图像，其中，所述模拟孔径尺寸与所述偏移距离相关联；以及输出所述图像。
6、在一些方面中，所述一个或多个处理器被配置为：使用至少所述第一图像数据和所述第二图像数据作为所述一个或多个经训练的机器学习系统的输入来生成视差错误图，所述视差错误图标识对应于所述图像的一个或多个视差错误区域，其中，为了生成所述图像，所述一个或多个处理器被配置为：还基于所述视差错误图来生成所述图像。
7、在一些方面中，所述一个或多个处理器被配置为：至少部分地通过缩小所述第一图像数据来生成经缩小的第一图像数据；至少部分地通过缩小所述第二图像数据来生成经缩小的第二图像数据；使用至少所述经缩小的第一图像数据和所述经缩小的第二图像数据作为所述一个或多个经训练的机器学习系统的输入来生成具有所述合成景深的第二图像；以及使用至少所述经缩小的第一图像数据和所述经缩小的第二图像数据作为所述一个或多个经训练的机器学习系统的输入来生成第二视差错误图，所述第二视差错误图标识对应于所述第二图像的一个或多个视差错误区域的第二集合，其中，为了生成所述图像，所述一个或多个处理器被配置为：生成所述图像，以包括所述第二图像的在与所述视差错误图相比的所述第二视差错误图中的视差错误的减少相关联的一个或多个位置处的一个或多个经放大的部分。
8、在一些方面中，所述模拟孔径尺寸是基于所述偏移距离的。在一些方面中，所述模拟孔径尺寸是与所述合成景深相对应的模拟孔径的直径。在一些方面中，所述模拟孔径尺寸是与所述合成景深相对应的模拟孔径的面积。
9、在一些方面中，所述第一图像传感器从所述第二图像传感器偏移达所述偏移距离包括：与所述第一图像传感器相关联的第一光轴从与所述第二图像传感器相关联的第二光轴偏移达所述偏移距离。
10、在一些方面中，所述合成景深比对应于所述第一图像传感器的第一景深和对应于所述第二图像传感器的第二景深中的至少一者浅。在一些方面中，所述模拟孔径尺寸大于对应于所述第一图像传感器的第一孔径和对应于所述第二图像传感器的第二孔径。
11、在一些方面中，所述一个或多个处理器被配置为：接收由第三图像传感器捕获的所述场景的第三图像数据，其中，为了生成所述图像，所述一个或多个处理器被配置为：使用至少所述第本文档来自技高网...
【技术保护点】
1.一种用于处理图像数据的装置，所述装置包括：
2.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：使用至少所述第一图像数据和所述第二图像数据作为所述一个或多个经训练的机器学习系统的输入来生成视差错误图，所述视差错误图标识对应于所述图像的一个或多个视差错误区域，其中，为了生成所述图像，所述一个或多个处理器被配置为：还基于所述视差错误图来生成所述图像。
3.根据权利要求2所述的装置，其中，所述一个或多个处理器被配置为：
4.根据权利要求1所述的装置，其中，所述模拟孔径尺寸是基于所述偏移距离的。
5.根据权利要求1所述的装置，其中，所述模拟孔径尺寸是与所述合成景深相对应的模拟孔径的直径。
6.根据权利要求1所述的装置，其中，所述模拟孔径尺寸是与所述合成景深相对应的模拟孔径的面积。
7.根据权利要求1所述的装置，其中，所述第一图像传感器从所述第二图像传感器偏移达所述偏移距离包括：与所述第一图像传感器相关联的第一光轴从与所述第二图像传感器相关联的第二光轴偏移达所述偏移距离。
8.根据权利要求
9.根据权利要求1所述的装置，其中，所述模拟孔径尺寸大于对应于所述第一图像传感器的第一孔径和对应于所述第二图像传感器的第二孔径。
10.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
11.根据权利要求10所述的装置，其中，所述一个或多个处理器被配置为：
12.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
13.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
14.根据权利要求1所述的装置，其中，所述图像包括对焦的第一区域和模糊的第二区域。
15.根据权利要求14所述的装置，其中，所述第一区域描绘前景，其中，所述第二区域描绘背景。
16.根据权利要求1所述的装置，还包括：
17.根据权利要求1所述的装置，还包括：
18.根据权利要求1所述的装置，还包括：
19.根据权利要求1所述的装置，其中，所述装置包括移动手持机、无线通信装置和头戴式显示器中的至少一者。
20.一种用于处理图像数据的方法，所述方法包括：
21.根据权利要求20所述的方法，还包括：
22.根据权利要求21所述的方法，还包括：
23.根据权利要求20所述的方法，其中，所述模拟孔径尺寸是基于所述偏移距离的。
24.根据权利要求20所述的方法，其中，所述第一图像传感器从所述第二图像传感器偏移达所述偏移距离包括：与所述第一图像传感器相关联的第一光轴从与所述第二图像传感器相关联的第二光轴偏移达所述偏移距离。
25.根据权利要求20所述的方法，其中，所述合成景深比对应于所述第一图像传感器的第一景深和对应于所述第二图像传感器的第二景深中的至少一者浅。
26.根据权利要求20所述的方法，其中，所述模拟孔径尺寸大于对应于所述第一图像传感器的第一孔径和对应于所述第二图像传感器的第二孔径。
27.根据权利要求20所述的方法，还包括：
28.根据权利要求20所述的方法，还包括：
29.根据权利要求20所述的方法，还包括：
30.根据权利要求20所述的方法，其中，所述图像包括对焦的第一区域和模糊的第二区域。
...【技术特征摘要】
【国外来华专利技术】
1.一种用于处理图像数据的装置，所述装置包括：
2.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：使用至少所述第一图像数据和所述第二图像数据作为所述一个或多个经训练的机器学习系统的输入来生成视差错误图，所述视差错误图标识对应于所述图像的一个或多个视差错误区域，其中，为了生成所述图像，所述一个或多个处理器被配置为：还基于所述视差错误图来生成所述图像。
3.根据权利要求2所述的装置，其中，所述一个或多个处理器被配置为：
4.根据权利要求1所述的装置，其中，所述模拟孔径尺寸是基于所述偏移距离的。
5.根据权利要求1所述的装置，其中，所述模拟孔径尺寸是与所述合成景深相对应的模拟孔径的直径。
6.根据权利要求1所述的装置，其中，所述模拟孔径尺寸是与所述合成景深相对应的模拟孔径的面积。
7.根据权利要求1所述的装置，其中，所述第一图像传感器从所述第二图像传感器偏移达所述偏移距离包括：与所述第一图像传感器相关联的第一光轴从与所述第二图像传感器相关联的第二光轴偏移达所述偏移距离。
8.根据权利要求1所述的装置，其中，所述合成景深比对应于所述第一图像传感器的第一景深和对应于所述第二图像传感器的第二景深中的至少一者浅。
9.根据权利要求1所述的装置，其中，所述模拟孔径尺寸大于对应于所述第一图像传感器的第一孔径和对应于所述第二图像传感器的第二孔径。
10.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
11.根据权利要求10所述的装置，其中，所述一个或多个处理器被配置为：
12.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
13.根据权利要求1所述的装置，其中...
【专利技术属性】
技术研发人员：ML吴，V·R·K·达亚娜，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。