用于高质量薄透镜成像的神经纳米光学器件制造技术

本发明专利技术描述了一种用于成像的超表面和系统以及成像方法

【技术实现步骤摘要】
【国外来华专利技术】用于高质量薄透镜成像的神经纳米光学器件
[0001]相关领域的交叉引用
[0002]本申请要求于
2021
年2月5日提交的美国专利申请
No.63/146509
的优先权，其全部公开内容通过引用并入本文
。
[0003]政府许可权声明
[0004]本专利技术是在国防高级研究计划局的编号为
140D0420C0060
的资金援助下以及国家科学基金会编号为
2047359
的资金援助下完成的
。
政府在本专利技术中享有一定权利
。

技术介绍

[0005]近几十年来，亮度传感器的小型化使得当今的相机在包括医学成像
、
商用智能手机
、
安全
、
机器人和自动驾驶等众多应用领域无处不在
。
然而，只有比传统相机小一个数量级的成像仪才能在纳米机器人
、
体内成像
、AR/VR
和健康监测中实现新的应用
。
虽然现在存在亚微米像素的传感器，但由于传统光学器件的基本限制，进一步小型化是不可能的
。
传统系统由一系列用于校正像差的折射元件组成，这些庞大的镜头限制了相机占用空间的下限
。
另一基本障碍是难以减小焦距，因为这会导致更大的色差
。
[0006]一些色散工程的超表面旨在通过利用群延迟和群延迟色散来聚焦宽带光以缓解传统超表面的缺点，但这种技术从根本上受到限制，其将设计限制在大约
10
微米的孔径
。
因此，现有方法无法在不显著降低数值孔径或支持的波长范围的情况下增加能够实现的孔径尺寸
。
其他尝试的解决方案仅足以满足离散波长或窄带照明
。
[0007]超表面还表现出强烈的几何像差，其限制了其在宽视场
(FOV)
成像中的实用性
。
支持宽
FOV
的方法通常依赖于限制光收集的小输入孔径或使用多个超表面，这大大增加了制造的复杂性
。
此外，这些多个超表面被随孔径线性缩放的间隙隔开，从而使得超构光学器件的尺寸优势随着孔径增加而被消除
。
[0008]最近，研究人员利用计算成像将像差校正的工作转移到后处理软件
。
尽管这些方法可以在没有严格的孔径限制的情况下实现超表面全彩色成像，但其视场限制在小于
20
°
，并且重建的空间分辨率比传统的折射光学器件低一个数量级
。
[0009]在传统技术中，研究人员也提出了类似的相机设计，这些设计利用单一光学器件而不是复合堆栈，但由于衍射效率低，这些系统无法与商品成像仪的性能相匹配
。
此外，最成功的方法阻碍了微型化，因为它们的后焦距离超过
10
毫米
。
相反，无镜头相机通过用振幅掩模代替光学器件来减小尺寸，但这严重限制了空间分辨率，并且需要很长的采集时间
。
[0010]在亚波长尺度上调制光的纳米光学成像仪可以在从机器人到医学的不同领域开启前所未有的应用
。
尽管超镜头提供了这种超小型成像仪的实现途径，但现有方法获得的图像质量远不如庞大的折射的替代方案，其从根本上受到大孔径和低
f
值下像差的限制
。
[0011]因此，需要使用超小型成像仪来改进用于成像的系统和方法
。

技术实现思路

[0012]提供此总结是为了以简化的形式介绍一系列概念，这些概念将在下面的详细说明
中进一步描述
。
本总结无意确定要求保护的主题的关键特征，也不打算用作确定要求保护的主题范围的辅助手段
。
[0013]为此，本专利技术提供了一种能够完全微分的学习方法，该方法将超表面的物理结构与新的基于神经特征的图像重建算法相结合
。
通过实验验证本专利技术方法，实现了降低一个数量级的重建误差
。
在一些实施例中，高质量的纳米光学成像仪结合了用于全彩色超表面操作的最宽视场，同时实现了最大演示的
0.5mm
的
f/2
孔径
。
[0014]在本专利技术技术的一些实施例中，神经超构光学器件利用了克服现有技术局限性的已知的设计方法
。
与以往依赖手工设计的工作相比，该专利技术技术将与端到端的能够微分的图像形成和计算重建模型的模型共同优化超表面和去卷积算法
。
该专利技术模型利用了节省内存的能够微分的纳米散射器模型，以及新颖的
、
基于神经特征的重建架构
。
本专利技术技术与反设计的超构光学器件不同，因为本技术的实施方案支持更大的孔径尺寸，且直接优化最终图像的质量而不是例如焦点亮度等中间指标
。
尽管过去已经探索过
DOE
的端到端优化，但现有方法使用相板假设移位不变系统，并且仅支持约5°
的小视场
(FOV)。
此外，现有的已知的去卷积方法只是标准编码器
‑
解码器架构
(
如
U
‑
Net)
的微小变体，并且通常无法推广到实验测量或处理通常在超表面图像中发现的大型空间依赖性的像差
。
[0015]通过本专利技术的神经超构光学器件，本专利技术技术的实施方案实现了高质量
、
非偏振敏感的纳米光学成像仪，其用于全彩色
(400nm
至
700nm)、f
值为2的宽
FOV(40
°
)
成像
。
作为非限制示例，使用
500
μ
m
孔径，我们优化了
1.6
×
106
的纳米散射器，这比现有的消色差的超构光学器件多了一个数量级
。
与所有现有的启发式设计的超表面和超表面计算成像应用相比，本专利技术技术的实施方案在实验捕获器上的标称波长范围之外的重建误差方面比现有方法高出一个数量级
。
[0016]在一个实施方案中，通过具有超透镜的成像系统获取图像的方法包括：照亮超镜头；通过图像传感器获取通过超透镜的光作为第一图像；并且通过后处理引擎将第一图像处理成第二图像，第二图像是第一图像的去卷积版本
。
超透镜包括由基底承载的多个纳米柱
。
[0017]一方面，该方法还包括通过后处理引擎将真实值图像与第二图像进行比较
。
[0018]一方面，该方法还包括基于将真实值图像与第二图像进行比较来确定图像梯度
。
[0019]另一方面，后处理引擎包括特征去卷积块
。
[0020]一方面，该方法还包括基于图像梯度训练该特征去卷积块
。
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种通过包括超透镜的成像系统获取图像的方法，所述方法包括：照亮所述超透镜；通过图像传感器获取通过所述超透镜的光作为第一图像；以及通过后处理引擎将所述第一图像处理成第二图像，第二图像是所述第一图像的去卷积版本，其中，所述超透镜包括由基底承载的多个纳米柱
。2.
根据权利要求1所述的方法，还包括通过所述后处理引擎将真实值图像与所述第二图像进行比较
。3.
根据权利要求2所述的方法，还包括基于所述真实值图像与所述第二图像的比较来确定图像梯度
。4.
根据权利要求3所述的方法，其中，所述后处理引擎包括特征去卷积块
。5.
根据权利要求4所述的方法，还包括基于所述图像梯度来训练所述特征去卷积块
。6.
根据权利要求5所述的方法，其中，所述特征去卷积块至少部分基于利用特征传播方案的神经去卷积
(f
DECONV
)
：
f
DECONV
(I)
＝
f
DE
(f
Z
→
W
(f
FE
(I)))
其中，
f
FE
和
f
DE
都包含卷积神经网络
(CNN)
及其能够优化的参数，
I
指的是所述第一图像
。7.
根据权利要求1所述的方法，其中，所述后处理引擎为神经网络引擎
。8.
根据权利要求1所述的方法，还包括基于点扩散函数
(PSF)
来校准所述超透镜
。9.
根据权利要求1所述的方法，基于点扩散函数
(PSF)
来校准所述超透镜是基于人工图像的
。10.
根据权利要求1所述的方法，其中，基于点扩散函数
(PSF)
校准所述超透镜包括相位函数作为与光轴距离
r
的函数：其中，
{a0
，
...an}
是能够优化的系数，
R
...

【专利技术属性】
技术研发人员：阿卡，
申请(专利权)人：普林斯顿大学理事会，
类型：发明
国别省市：