一种无透镜光电智能成像优化方法及成像方法技术

本发明专利技术公开了一种无透镜光电智能成像优化方法，应用于无透镜光电智能成像系统，所述无透镜光电智能成像系统包括：依次设置的可学习的光学衍射层、图像传感器和图像处理神经网络；包括以下步骤：获取训练集图像信息；根据所述训练集图像信息对可学习的光学衍射层和所述图像处理神经网络进行训练，得到训练后的目标光学衍射层和目标图像处理神经网络；其中，所述图像传感器作为非线性连接层。本发明专利技术通过可学习的光学衍射层可以有效提取光信号的强度或相位信息，从而可以将相位信息转换为强度形式通过图像传感器输出，实现多模态的计算成像。同时，在训练时利用深度光学理念实现“端到端”的联合优化，实现高精度的图像特征提取与重建。重建。重建。

【技术实现步骤摘要】
一种无透镜光电智能成像优化方法及成像方法


[0001]本专利技术属于计算机视觉
，具体涉及一种无透镜光电智能成像优化方法及成像方法
。

技术介绍

[0002]光信号具有多个维度信息，如幅度，相位等
。
然而，现有图像传感器仅输出光强信息，造成相位信息丢失
。
如何将相位信息转换为强度形式通过图像传感器输出，实现多模态的计算成像有待解决
。
光学衍射神经网络利用光的衍射效应实现对入射光的相位调制，其中可学习相位的衍射层允许大部分光通过，提供高信噪比，适用于弱光场景和光子受限成像，且光学衍射神经网络具有光速
、
多模态与低功耗的特点
。
然而，光学卷积神经网络的信号特征提取依赖于线性操作，很难与卷积操作的特征提取能力相媲美
。
因此，如何对光信号实现高精度和多模态的特征提取有待解决
。
[0003]现有技术中，植入式
、
可穿戴设备，自动驾驶汽车
、
机器人
、
互联网物联网
(Internet of Things,IoT)、
虚拟现实
/
增强现实和人机交互等新兴应用正在推动成像装置的小型化
。
传统成像装置包含镜片，增加重量，成本和体积，同时对焦距有严格要求，即焦距与光圈成正比
。
然而，无镜头成像装置抛弃传统光学镜头，即光学对焦元件，只保留图像传感器
。
现有技术使用衍射光学元件结合计算机图像重建算法
。
但是，如果二者分别优化，将导致信息熵增，进而严重影响无透镜成像质量
。

技术实现思路

[0004]为了解决现有技术中存在的上述问题，本专利技术提供了一种无透镜光电智能成像优化方法及成像方法
。
本专利技术要解决的技术问题通过以下技术方案实现：
[0005]本专利技术实施例的第一方面提供一种无透镜光电智能成像优化方法，应用于无透镜光电智能成像系统，所述无透镜光电智能成像系统包括：依次设置的可学习的光学衍射层
、
图像传感器和图像处理神经网络；
[0006]包括以下步骤：
[0007]获取训练集图像信息；其中，所述训练集图像信息包括：散斑图像信息或待缩放图像信息；所述散斑图像信息包括：散斑图像强度信息或散斑图像相位信息；所述待缩放图像信息包括：待缩放图像强度信息或待缩放图像相位信息；
[0008]根据所述训练集图像信息对可学习的光学衍射层和所述图像处理神经网络进行训练，得到训练后的目标光学衍射层和目标图像处理神经网络；
[0009]其中，在训练过程中，所述图像传感器作为所述可学习的光学衍射层和所述图像处理神经网络之间的非线性连接层
。
[0010]在本专利技术的一个实施例中，所述可学习的光学衍射层上的每个人工神经元的传输系数为：
[0011][0012]其中，
i
表示第
i
个神经元，
a
i
表示第
i
个神经元的振幅，为常数，表示第
i
个神经元的相位
。
[0013]在本专利技术的一个实施例中，所述可学习的光学衍射层和所述图像传感器之间的传递函数为：
[0014][0015]其中，
z
表示所述可学习的光学衍射层和所述图像传感器之间的轴向距离，
λ
表示照明波长，
f
x
和
f
y
分别表示
x
和
y
方向上的频率
。
[0016]在本专利技术的一个实施例中，所述可学习的光学衍射层上第
i
个神经元的强度分布表示为：
[0017][0018]其中，表示输入图像的第
k
个像素的强度分布
。
[0019]在本专利技术的一个实施例中，所述图像处理神经网络，包括
U
‑
Net
神经网络或生成对抗网络
。
[0020]在本专利技术的一个实施例中，所述生成对抗网络，包括：生成器和判决器；
[0021]所述生成器，包括：特征嵌入模块
、
第一下采样模块
、
第二下采样模块
、
隐空间特征聚集瓶颈模块
、
第一上采样模块
、
第二上采样模块
、
最邻近插值模块
、Transformer
编码器和非线性激活函数层；
[0022]所述第一下采样模块
、
所述第二下采样模块
、
所述第一上采样模块和所述第二上采样模块均为包含多头注意力机制的
Transformer
编码模块；
[0023]所述特征嵌入模块的输出连接所述第一下采样模块的输入；
[0024]所述第一下采样模块的输出连接所述第二下采样模块的输入；
[0025]所述第二下采样模块的输出连接所述隐空间特征聚集瓶颈模块的输入；
[0026]所述隐空间特征聚集瓶颈模块的输出连接所述第二上采样模块的输入；
[0027]所述第二上采样模块的输出连接所述第一上采样模块的输入；
[0028]所述第一上采样模块的输出连接最邻近插值模块的输入；
[0029]所述最邻近插值模块
、
所述
Transformer
编码器和所述非线性激活函数层依次连接；
[0030]所述第一下采样模块和所述第一上采样模块通过跳跃连接结构连接；
[0031]所述第二下采样模块和所述第二上采样模块通过跳跃连接结构连接；
[0032]所述非线性激活函数层的输出连接所述判决器的输入
。
[0033]在本专利技术的一个实施例中，所述
Transformer
编码器为包含线性空间缩减注意力机制的
Transformer
编码器
。
[0034]在本专利技术的一个实施例中，所述判决器为金字塔形式的视觉
Transformer。
[0035]本专利技术实施例的第二方面提供一种无透镜光电智能成像方法，包括以下步骤：
[0036]获取待处理图像信息；其中，待处理图像信息包括：待处理散斑图像信息或待处理待缩放图像信息；所述待处理散斑图像信息包括：待处理散斑图像强度信息或待处理散斑图像相位信息；所述待处理待缩放图像信息包括：待处理待缩放图像强度信息或待处理待
缩放图像相位信息；
[0037]将所述待处理图像信息输入本专利技术实施例第一方面提供的对应的目标光学衍射层进行处理输出待处理光场，然后经过图像传感器处理后输入本专利技术实施例的第一方面提供的对应的目标图像处理神经网络，输出重建图像或缩放图像
。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种无透镜光电智能成像优化方法，其特征在于，应用于无透镜光电智能成像系统，所述无透镜光电智能成像系统包括：依次设置的可学习的光学衍射层
、
图像传感器和图像处理神经网络；包括以下步骤：获取训练集图像信息；其中，所述训练集图像信息包括：散斑图像信息或待缩放图像信息；所述散斑图像信息包括：散斑图像强度信息或散斑图像相位信息；所述待缩放图像信息包括：待缩放图像强度信息或待缩放图像相位信息；根据所述训练集图像信息对可学习的光学衍射层和所述图像处理神经网络进行训练，得到训练后的目标光学衍射层和目标图像处理神经网络；其中，在训练过程中，所述图像传感器作为所述可学习的光学衍射层和所述图像处理神经网络之间的非线性连接层
。2.
根据权利要求1所述的一种无透镜光电智能成像优化方法，其特征在于，所述可学习的光学衍射层上的每个人工神经元的传输系数为：其中，
i
表示第
i
个神经元，
a
i
表示第
i
个神经元的振幅，为常数，表示第
i
个神经元的相位
。3.
根据权利要求1所述的一种无透镜光电智能成像优化方法，其特征在于，所述可学习的光学衍射层和所述图像传感器之间的传递函数为：其中，
z
表示所述可学习的光学衍射层和所述图像传感器之间的轴向距离，
λ
表示照明波长，
f
x
和
f
y
分别表示
x
和
y
方向上的频率
。4.
根据权利要求3所述的一种无透镜光电智能成像优化方法，其特征在于，所述可学习的光学衍射层上第
i
个神经元的强度分布表示为：其中，表示输入图像的第
k
个像素的强度分布
。5.
根据权利要求1所述的一种无透镜光电智能成像优化方法，其特征在于，所述图像处理神经网络，包括
U
‑
Net
神经网络或生成对抗网络
。6.
根据权利要求5所述的一种无透镜光电智能成像优化方法，其特征在于，所述生成对抗网络，包括：生成器和判决器；所述生成器，包括：特征嵌入模块
、

【专利技术属性】
技术研发人员：王杨云逗，邵晓鹏，
申请(专利权)人：西安电子科技大学杭州研究院，
类型：发明
国别省市：