一种基于深度学习的低光子图像恢复方法技术

本发明专利技术公开了一种基于深度学习的低光子图像恢复方法，涉及计算成像与图像处理领域，包括以下步骤：获取任意来源的图像，通过泊松仿真生成该图像的低光子计数采样图，低光子计数采样图用于模型训练；将低光子计数采样图和图像作为训练集，训练神经网络，该神经网络基于深度学习，实现将低光子采样图恢复为对应的高光子图像；使用低光子成像设备，通过调整光源强度和曝光时间，获取待恢复的低光子图像；将低光子图像输入到神经网络，实现对低光子图像的恢复。本发明专利技术仅需要测量高、低光子条件下平均光子数之比，便能对任意图像快速生成大量低光子采样图，简化采样训练样本的流程，避免重新采样训练集的操作，鲁棒性更强，提高了图像恢复质量。像恢复质量。像恢复质量。

【技术实现步骤摘要】
一种基于深度学习的低光子图像恢复方法


[0001]本专利技术涉及计算成像与图像处理领域，尤其涉及一种基于深度学习的低光子图像恢复方法。

技术介绍

[0002]低光子图像重建在现实生活中有重要的应用，在诸如夜间探测、天文观测、高速成像等等各个领域都有着重要的应用。
[0003]传统成像设备获取一张高质量图片一般需要10
12
光子数，平均到每像素来说，一个高质量的阵列探测器平均每像素需捕获105光子数。但在一些应用场景下，光子数值很难达到这个要求。尤其在极弱光和曝光时间有限的情形下，有效光子数甚至只能达到每像素几个光子，本申请关注的正是这种低光子场景。
[0004]在光子数充足的情况下普通的探测器探测的信号是模拟量，其光信号中包含着大量的光子，这些光子叠加在一起即为探测所得的光强。通过记录探测目标上每个位置的光强来获取图像的方式称作模拟方式。但是随着探测目标的光强衰减，光强逐渐变为脉冲信号，尤其当光强衰弱到单光子条件时，信号变为脉冲数很少的离散脉冲信号。而单光子一般被看作是探测的极限，是不能进一步分割的最小的能量单位。因此，在少光子计数条件下，信号呈现的是粒子特征。在这种情况下，把光当作单个光子来记录，在探测单个光子的同时确定它的空间位置，进行二维光子计数探测，这便是光子计数成像的基础。
[0005]电子增益电荷耦合相机(EMCCD)是一种二维阵列探测器，它的每个像素相当于一个独立的点探测器。由于可通过电子增益大幅提高灵敏度，被广泛用于低光子计数探测。特别的，这种相机并不是直接捕获一张灰度图，它的每个像素记录的是探测到的光强，而光子发射和探测的随机性是成像系统中噪声的主要来源，低光子计数条件下的噪声分布符合泊松分布，通过对光子数进行归一化即可得所需灰度图。
[0006]传统物理研究问题与深度学习结合已经发挥出了一些优势，尤其在图像处理方面。传统低光子成像局限于恢复弱曝光图像，没有达到真正的低光子成像所要求的平均每像素单个光子量级的图像恢复。随着光强的衰弱带来的信息缺失，对图像的成像更为困难。近年来，深度学习的方法被广泛应用在低光子图像恢复领域上，并取得了不错的成像结果。但现有技术中深度学习的方法也有着许多的缺陷，比如需要采样大量的训练数据进行预训练才能具有成像的能力，对每一类图像需大量采样以保持成像质量，效率低下；大多局限于恢复语义极度简单的图像，如手写数字等。这两个缺陷导致这些方法不足以进入实用。
[0007]因此，本领域的技术人员致力于开发一种基于深度学习的低光子图像恢复方法以解决现有技术中存在的问题。

技术实现思路

[0008]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是减少训练样本数据的采集，提升训练数据采样效率，提高低光子图像的恢复质量。
[0009]为实现上述目的，本专利技术提供了一种基于深度学习的低光子图像恢复方法，其特征在于，所述方法包括以下步骤：
[0010]S101：获取任意来源的图像，通过泊松仿真生成所述图像的低光子计数采样图，所述低光子计数采样图用于模型训练；
[0011]S103：将所述低光子计数采样图和所述图像作为训练集，训练神经网络，所述神经网络基于深度学习，实现将所述低光子采样图恢复为对应的高光子图像；
[0012]S105：使用低光子成像设备，通过调整光源强度和曝光时间，获取待恢复的低光子图像；
[0013]S107：将所述低光子图像输入到所述神经网络，实现对所述低光子图像的恢复。
[0014]进一步地，在所述步骤S101中，所述低光子计数采样图的采样公式满足以下第一公式：
[0015]X(x，y)＝Possion[λ0I(x，y)][0016]其中，X(x，y)代表在λ0采样率下的低光子图像，Possion[]表示低光子探测的泊松过程，λ0为采样率，I(x，y)代表原图。
[0017]进一步地，在所述步骤S101中，所述低光子计数采样图中的每个像素所探测到的光子数符合泊松随机分布概率。
[0018]进一步地，所述光子数满足以下第二公式：
[0019][0020]其中，n
x，y
为光子数，λ0i
x，y
代表在指定成像条件下能对原光子数为i
x，y
的像素采样到的平均光子数。
[0021]进一步地，通过低光子采样下的采样率λ0进行仿真，生成待恢复的图像，所述图像中的光子数和所述低光子采样下的所述光子数相符，所述图像作为训练所述神经网络的所述训练集。
[0022]进一步地，在所述步骤S101还包括如下步骤：
[0023]S1011：选取多个物体或物体的多个部分组成第一集合N
i
；
[0024]S1012：对所述N
i
中的每一个元素进行正常采样，统计获得的第一平均光子数P，所述正常采样使用正常光强和曝光时间；
[0025]S1013：对所述N
i
中的每一个元素进行低光子采样，统计获得的第二平均光子数所述低光子采样使用低光子的光强和曝光时间；
[0026]S1014：计算第一平均光子数和第二平均光子数的比值将所述比值作为λ0代入所述第二公式中；
[0027]S1015：选取多张自然图像组成第二集合I
i
，根据所述第二公式和所述S1014步骤中计算的所述λ0，生成多组随机仿真采样图像；
[0028]S1016：将所有的所述随机仿真采样图像构成图像矩阵，所述图像矩阵构成用于训练的所述低光子计数采样图。
[0029]进一步地，所述神经网络设置为含有傅里叶卷积模块的无残差U型网络。
[0030]进一步地，所述神经网络的训练方式设置为包含额外对抗网络的有监督学习，所述额外对抗网络包括判决器网络，所述判决器网络判断输入图片为真实图片的可能性，所
述判决器网络最小化所述神经网络输出结果的分数并最大化所述真实图片的分数，所述神经网络最小化重建结果与实际高光子图像的距离并提高判决器分数。
[0031]进一步地，所述低光子成像设备包括：
[0032]光源，所述光源发出的光强度可调；
[0033]扩束器，将所述光源发射的光扩束至较大光斑，并投射在物体的待成像区域内；
[0034]透镜，用于汇聚所述光源发出的穿过所述物体后的投射光；
[0035]探测器，用于探测所述光源发出光的强度，并统计所述光子数量；
[0036]处理器模块，所述处理器模块和所述探测器有数据连接，所述处理器模块处理所述探测器采集的数据，并实现所述低光子采样图的图像恢复。
[0037]进一步地，所述探测器为单光子级别灵敏度的EMCCD设备，所述灵敏度级别可通过电子增益来实现。
[0038]在本专利技术的较佳实施方式中，与现有技术相比，本专利技术具有如下技术效果：
[0039]1、适用于低光子计数情况，在光弱到呈现粒子特性的时候仍然可以通过计数成像获取一定的有效信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的低光子图像恢复方法，其特征在于，所述方法包括以下步骤：S101：获取任意来源的图像，通过泊松仿真生成所述图像的低光子计数采样图，所述低光子计数采样图用于模型训练；S103：将所述低光子计数采样图和所述图像作为训练集，训练神经网络，所述神经网络基于深度学习，实现将所述低光子采样图恢复为对应的高光子图像；S105：使用低光子成像设备，通过调整光源强度和曝光时间，获取待恢复的低光子图像；S107：将所述低光子图像输入到所述神经网络，实现对所述低光子图像的恢复。2.如权利要求1所述的方法，其特征在于，在所述步骤S101中，所述低光子计数采样图的采样公式满足以下第一公式：X(x，y)＝Possion[λ0I(x，y)]其中，X(x，y)代表在λ0采样率下的低光子图像，Possion[]表示低光子探测的泊松过程，λ0为采样率，I(x，y)代表原图。3.如权利要求2所述的方法，其特征在于，在所述步骤S101中，所述低光子计数采样图中的每个像素所探测到的光子数符合泊松随机分布概率。4.如权利要求3所述的方法，其特征在于，所述光子数满足以下第二公式：其中，n
x，y
为光子数，λ0i
x，y
代表在指定成像条件下能对原光子数为i
x，y
的像素采样到的平均光子数。5.如权利要求4所述的方法，其特征在于，通过低光子采样下的采样率λ0进行仿真，生成待恢复的图像，所述图像中的光子数和所述低光子采样下的所述光子数相符，所述图像作为训练所述神经网络的所述训练集。6.如权利要求1所述的方法，其特征在于，在所述步骤S101还包括如下步骤：S1011：选取多个物体或单个物体的多个部分组成第一集合N
i
；S1012：对所述N

【专利技术属性】
技术研发人员：石剑虹，覃文韬，曾贵华，霍娟，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：