【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、本公开涉及全光相机。全光相机类似于具有透镜系统和光传感器的普通相机，其中在微图像传感器上添加了微透镜阵列。每个微透镜在传感器上产生微图像。所得全光图像可称为4d光场，该4d光场给出关于传感器和光子轨迹的光瞳坐标的指示。对于稍后的显示和处理，可通过被称为投影到2d重新聚焦的图像中的操作来处理4d光场。投影操作允许调整聚焦距离的可能性。
2、在一些全光相机中，光传感器的每个像素由滤色器覆盖，该滤色器主要允许一种颜色的光到达对应像素。在一些此类相机中，滤色器被布置为所谓的拜耳滤色器。常规拜耳滤色器允许由每个对应像素记录一种颜色—红色、绿色或蓝色。当已经使用拜耳滤色器捕获图像时，每个像素仅具有一个相关联的颜色值，其对应于与该像素相关联的滤色器的颜色。根据该图像，可能需要获得其中像素中的每一者具有所有三个颜色值的图像。这可通过处理来完成，以获得每个像素的两个缺失颜色值。此类处理技术被称为去马赛克。去马赛克可以是重要的过程，特别是对于覆盖高度纹理化的区域的图像或图像区域。
3、拜耳滤色器已经与全光相机一起使用。为了处理用此类相机捕获的4d光场图像，可与2d重新聚焦过程同时执行去马赛克。
4、4d光场数据的全光采样。
5、常规全光相机类似于普通的2d相机，其中添加了设置在传感器的前部的微透镜阵列，如图1中示意性示出的。每个微透镜下方的传感器像素记录相应微透镜图像。
6、全光相机记录4d光场数据，该4d光场数据可被转换成各种副产物，诸如具有自由选择的聚焦距离的重新聚焦的
7、光场相机的传感器记录由布置在较大2d图像内的2d小图像的集合构成的图像。阵列中的每个微透镜以及在该透镜下方生成的每个对应的小微透镜图像可通过坐标(i,j)来索引。光场的像素可与四个坐标(x,y,i,j)相关联，其中(x,y)识别像素在完整图像中的位置。由传感器记录的4d光场可由l(x,y,i,j)表示。图2示意性地示出了由传感器记录的图像。每个微透镜产生由圆圈示意性地表示的微图像(小图像的形状取决于通常为圆形的微透镜的形状)。标记了像素坐标(x,y)。p是两个连续微图像之间的距离。p不必须是整数值。微透镜被选择为使得p大于像素大小δ。微透镜图像由它们的坐标(i,j)来参考。每个微透镜图像以(u,v)坐标系对主透镜的光瞳进行采样。一些像素可能不从任何微透镜接收任何光子；那些像素可被忽略。实际上，微透镜间空间可被掩蔽以防止光子从微透镜向外传递(如果微透镜具有正方形形状，则不需要掩蔽)。微透镜图像的中心(i,j)在坐标(xi,j,yi,j)处位于传感器上。θ是像素的正方形点阵与微透镜的正方形点阵之间的角度。在图2中，θ＝0。假设微透镜根据规则的正方形点阵布置，则考虑到(x0,0,y0,0)微透镜图像的像素坐标(0,0)，可通过以下等式来计算(xi,j,yi,j)：
8、
9、图2也示出了来自场景的对象在若干连续微透镜图像上可以是可见的，其中每个图像被示出为黑色正方形点。对象的两个连续视图之间的距离是w。该距离w在本文中被称为复制距离。对象在r个连续微透镜图像上理论上是可见的，其中
10、
11、其中r是一个维度中的连续微透镜图像的数量，并且是下取整函数。对象在r2个微透镜图像中理论上是可见的。根据微透镜图像的形状，对象的r2个视图可能是不可见的。
12、光场相机的光学属性。
13、在前一子章节中引入的距离p和w是以像素大小为单位给出的。通过将它们乘以像素大小δ，它们可被转换成物理单位距离(例如，米)，分别为p和w，使得w＝δw并且p＝δp。这些距离可根据光场相机特性而变化。
14、图3和图4是假定完美薄透镜模型的不同光场相机的示意性侧视图。这些示例中的主透镜具有焦距f和孔径φ。微透镜阵列由具有焦距f的微透镜组成。微透镜阵列的节距为φ。微透镜阵列位于距主透镜距离d处，和距传感器距离d处。对象(图中不可见)位于距主透镜(朝向左)距离z处。该对象由主透镜聚焦在距主透镜(朝向右)距离z′处。图3示出了其中d>z′的情况，并且图4示出了其中d<z′的情况。在这两种情况下，微透镜图像可根据d和f对焦。图3和图4示出了所谓的类型ii全光相机的示例。
15、在称为类型i全光相机的另选光场相机设计中，参数被选择为使得f＝d。这种设计的示例在图5中示出。这种设计使得主透镜聚焦靠近微透镜阵列的图像。如果主透镜精确地聚焦在微透镜阵列上，则w＝∞。微透镜图像也是完全失焦的，并且等于常数(不考虑噪声)。
16、复制距离w随对象的距离z变化。为了建立w与z之间的关系，可参考薄透镜等式
17、
18、以及参考泰勒斯定律
19、
20、结合前面的两个等式，可推导出
21、
22、w与z之间的关系没有假设微透镜图像是对焦的。当满足薄透镜等式时，微透镜图像可以是对焦的，使得
23、
24、也从泰勒斯定律推导出p如下。
25、
26、比例e定义微透镜节距与微透镜图像节距之间的放大。该比例非常接近1，因为d＞＞d。
27、子孔径图像。
28、如上所述的全光相机中的一些具有以下属性：微透镜阵列具有正方形点阵(类似于像素阵列)并且相对于像素没有旋转；并且微透镜图像直径等于像素的整数(或几乎等于像素的整数)。这些属性由大多数可行的全光传感器满足。这些属性允许生成被称为子孔径图像的图像。
29、子孔径图像收集在它们的相应微透镜图像内具有相同相对位置的所有4d光场像素，例如具有相同(u,v)坐标的所有像素。如果微透镜阵列具有以下大小i×j，则每个子孔径图像也具有大小i×j。并且如果存在在每个微透镜下的p×p像素阵列，则存在p×p子孔径图像。如果传感器的像素数量是nx×ny，则每个子孔径图像可具有大小nx/p×ny/p。
30、图6a至图6b示意性地示出了从捕获的光场图像l(x,y,i,j)转换成一系列子孔径图像s(α,β,u,v)。图6a示出了光场图像(在该简化的示例中具有大小24×16像素，尽管现实世界示例通常包括更多的像素)，其中每个像素位置由坐标(x,y)给出。微透镜中的每个微透镜(由圆圈示意性地示出)与4×4微图像相关联，其中微图像中的位置由坐标(u,v)给出。微图像以6×4阵列布置，其中每个微图像由坐标(i,j)索引。如图6a所示，对象(由实心圆点表示)被成像在微图像中的九个中。
31、图6b示出了从图6a的光场生成的十六个，即4×4子孔径图像。每个子孔径图像具有大小i×j像素(在该简化的示例中为6×4，对应于微图像的数量)。每个子孔径图像内的位置由坐标(α,β)指示，其中0≤α<i并且0≤β<j。可通过光瞳坐标(u,v)来识别每个2d子孔径图像，并且其可由s(u,v)表示。
32、从光场图像生成子孔径图像的示例如下。在图6a中，光场图像本文档来自技高网...
【技术保护点】
1.一种装置，所述装置包括：
2.根据权利要求1所述的装置，其中：
3.根据权利要求1或2所述的装置，其中所述6×6滤色器像素图案以如下图案或者以如下图案的旋转或反射形式布置，其中“1”指示所述第一颜色，“2”指示所述第二颜色，并且“3”指示所述第三颜色：
4.根据权利要求1或2所述的装置，其中所述6×6滤色器像素图案以如下图案或者以如下图案的旋转或反射形式布置，其中“1”指示所述第一颜色，“2”指示所述第二颜色，并且“3”指示所述第三颜色：
5.根据权利要求1至4中任一项所述的装置，还包括具有多个传感器像素的光传感器阵列，其中所述滤色器像素中的每个滤色器像素叠加所述传感器像素中的对应一个传感器像素。
6.根据权利要求1至5中任一项所述的装置，还包括微透镜阵列，其中所述微透镜中的每个微透镜叠加所述6×6滤色器像素图案内的相应3×3象限。
7.根据权利要求6所述的装置，还包括主透镜，所述主透镜操作以将光朝向所述微透镜阵列聚焦。
8.根据权利要求1至7中任一项所述的装置，其中所述第一颜色是红色，所述第
9.根据权利要求1至7中任一项所述的装置，其中所述第一颜色是青色，所述第二颜色是品红色，并且所述第三颜色是黄色。
10.一种全光传感器，所述全光传感器包括：
11.一种对使用九合一像素传感器生成的全光图像进行联合重新聚焦和去马赛克的方法，所述方法包括：
12.根据权利要求11所述的方法，其中所述九个子孔径图像中的每一者都具有扩展拜耳图案。
13.根据权利要求11或12所述的方法，其中所述整数视差值是零。
14.根据权利要求11或12所述的方法，其中所述整数视差值是一。
15.根据权利要求11或12所述的方法，其中所述整数视差值是二。
16.根据权利要求11至15中任一项所述的方法，其中所述全光图像中的所述像素与重复6×6颜色图案相关联，所述颜色图案中的每个位置能够由整数坐标(m,n)识别，其中0≤m≤5并且0≤n≤5，并且所述颜色图案中的每个位置具有第一颜色、第二颜色或第三颜色；
17.一种处理器，所述处理器被配置为执行根据权利要求11至16中任一项所述的方法。
18.一种存储指令的计算机可读介质，所述指令在处理器上执行时操作以执行根据权利要求11至16中任一项所述的方法。
19.一种存储全光图像的计算机可读介质，所述全光图像包括多个像素，所述全光图像中的所述像素与重复6×6颜色图案相关联，所述颜色图案中的每个位置能够由整数坐标(m,n)识别，其中0≤m≤5并且0≤n≤5，并且所述颜色图案中的每个位置具有第一颜色、第二颜色或第三颜色；
20.根据权利要求19所述的非暂态计算机可读介质，其中：
21.根据权利要求1或2所述的装置，其中所述6×6滤色器像素图案被布置成以下基本图案：
22.根据权利要求1或2所述的装置，其中所述6×6滤色器像素图案被布置成以下基本图案：
...【技术特征摘要】
【国外来华专利技术】
1.一种装置，所述装置包括：
2.根据权利要求1所述的装置，其中：
3.根据权利要求1或2所述的装置，其中所述6×6滤色器像素图案以如下图案或者以如下图案的旋转或反射形式布置，其中“1”指示所述第一颜色，“2”指示所述第二颜色，并且“3”指示所述第三颜色：
4.根据权利要求1或2所述的装置，其中所述6×6滤色器像素图案以如下图案或者以如下图案的旋转或反射形式布置，其中“1”指示所述第一颜色，“2”指示所述第二颜色，并且“3”指示所述第三颜色：
5.根据权利要求1至4中任一项所述的装置，还包括具有多个传感器像素的光传感器阵列，其中所述滤色器像素中的每个滤色器像素叠加所述传感器像素中的对应一个传感器像素。
6.根据权利要求1至5中任一项所述的装置，还包括微透镜阵列，其中所述微透镜中的每个微透镜叠加所述6×6滤色器像素图案内的相应3×3象限。
7.根据权利要求6所述的装置，还包括主透镜，所述主透镜操作以将光朝向所述微透镜阵列聚焦。
8.根据权利要求1至7中任一项所述的装置，其中所述第一颜色是红色，所述第二颜色是绿色，并且所述第三颜色是蓝色。
9.根据权利要求1至7中任一项所述的装置，其中所述第一颜色是青色，所述第二颜色是品红色，并且所述第三颜色是黄色。
10.一种全光传感器，所述全光传感器包括：
11.一种对使用九合一像素传感器生成的全光图像进行联合重新聚焦和去马赛克的方法，所述方法包括：
12.根据...
【专利技术属性】
技术研发人员：B·范达姆，G·沙泰尼耶，J·维兰特，
申请(专利权)人：交互数字CE专利控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。