一种基于光场显微系统的光场三维重建方法技术方案

一种基于光场显微系统的光场三维重建方法，包括如下步骤：A1：搭建光场显微装置，按光的传播路径依次设置显微标本、显微镜、微透镜阵列、相机；A2：根据需求确定移动间隔，设定相机帧率与平移台移动速度，确定相机端扫描策略；A3：根据微透镜分布对光场图像进行平移、裁剪与对齐；A4：根据荧光显微镜成像过程中散粒噪声特性，得到多光场图像三维重建目标函数；A5：目标函数加入先验作为正则项，进行最大后验估计；A6：将多光场反向投影平均结果作为迭代初始值；A7：利用梯度下降算法进行迭代重建，得到大深度下分辨率深度一致的三维体。本方法在深度方向上使得轴向分辨率与横向分辨率更一致，重建得到的三维体深度分辨率一致性明显增强。增强。增强。

【技术实现步骤摘要】
一种基于光场显微系统的光场三维重建方法


[0001]本专利技术涉及计算机视觉与数字图像处理领域，特别是涉及一种基于光场显微系统的光场三维重建方法。

技术介绍

[0002]光场显微镜是一种无需扫描即可快速三维体积成像的光学显微成像技术，其实现基于在光路中插入一张经过设计的微透镜阵列，通过同时采集角度信息与强度信息来进行体积成像。然而，光场显微镜的三维成像能力以牺牲横向分辨率为代价。为了提高空间分辨率，基于波动光学提出了一种光场反卷积算法，但是在重建得到的深度层内，横向分辨率的分布并不均匀，只在某些特定深度层上分辨率较好，而在其他深度层上分辨率较差，这使得轴向有效视场较小，制约了其在观测中对于大体积高深度样本的应用。引起这一情况的原因是采样密度随着深度而变化。
[0003]需要说明的是，在上述
技术介绍
部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0004]本专利技术的主要目的在于克服上述
技术介绍
的缺陷，提供一种基于光场显微系统的光场三维重建方法。
[0005]为实现上述目的，本专利技术采用以下技术方案：
[0006]一种基于光场显微系统的光场三维重建方法，包括如下步骤：
[0007]A1：搭建光场显微装置，按光的传播路径依次设置显微标本、显微镜、微透镜阵列、相机；
[0008]A2：根据需求确定移动间隔，设定相机帧率与平移台移动速度，确定相机端扫描策略；
[0009]A3：根据微透镜分布对光场图像进行平移、裁剪与对齐；
[0010]A4：根据荧光显微镜成像过程中散粒噪声特性，得到多光场图像三维重建目标函数；
[0011]A5：目标函数加入先验作为正则项，进行最大后验估计；
[0012]A6：将多光场反向投影平均结果作为迭代初始值；
[0013]A7：利用梯度下降算法进行迭代重建，得到大深度下分辨率深度一致的三维体。
[0014]进一步地：
[0015]步骤A1中，将所述微透镜阵列与所述相机进行固定，并将所述相机沿轴向放置在电控平移台上。
[0016]步骤A2中，确定相机端扫描策略为：
[0017]D
cam
＝M2D
sample
[0018]其中D
sample
为物空间中深度方向上的采样间隔，优选取15
‑
40μm，M为系统的放大倍
数，D
cam
为相机采样间隔距离。
[0019]步骤A2中，多图像采集过程中的采样间隔s、电控平移台移动速度v与相机帧率f满足：
[0020]v＝sf。
[0021]步骤A3中，对于分布均匀的微透镜阵列，根据连通域对单个微透镜进行划分得到中心微透镜与微透镜间距，以第一张光场图像作为基准对中心微透镜位置偏移量进行校准，并进行裁剪操作，使所有光场图像长宽一致并微透镜位置对齐。
[0022]步骤A4中，利用似然函数的KL散度作为损失函数：
[0023][0024]k为光场数据对应编号，k＝1,2,
…
,N，共有N组，以k为下标代表不同组相对应的数据，H为系统的点扩散函数的矩阵表达式，f为实际采集到的光场显微图像，b为假设的散粒噪声，其服从泊松分布，g为需要求解的深度方向上分辨率深度一致性强的三维体。
[0025]步骤A5中，可加入的正则项包括但不限于L1、L2正则项与TV正则项，假设正则化项为f1(g)，新的损失函数为：
[0026][0027]其中λ为正则化系数。
[0028]步骤A7中，采用的梯度下降算法步长不固定，采用Richardson
‑
Lucy算法，步长与前一次迭代结果相关。
[0029]步骤A7中，计算梯度：
[0030][0031]根据梯度下降公式：
[0032][0033]取有
[0034][0035]通过将三维反卷积算法运用到采集到的多张光场图片中，最后得到分辨率深度一致性更佳的重建三维体。
[0036]在一些实施例中，所述步骤A1中所搭建的系统中采集端的相机固定在电控平移台上。
[0037]在一些实施例中，所述步骤A2中使用特定的相机采集与相机移动匹配方式，使得
采集光场数据符合参数设计；电控平移台与相机是同步进行的，以获得对应于设计值的光场图像。
[0038]在一些实施例中，所述步骤A3中对中心微透镜位置与微透镜阵列间隔进行定位，以进行裁剪、旋转与对齐操作。
[0039]在一些实施例中，所述步骤A4中成像过程只考虑散粒噪声的影响而忽略其他噪声(比如高斯噪声)的影响。
[0040]一种计算机可读存储介质，存储有计算机程序，所述计算机程序由处理器执行时，实现所述的方法的步骤A2至A7。
[0041]本专利技术的有益效果：
[0042]本专利技术提供了一种基于光场显微系统的光场三维重建方法，在光场显微系统中，基于采集端平移以得到多张光场图像和使用多图像三维反卷积模型对多光场图像进行反卷积，以实现深度方向上分辨率一致。在先前光场显微反卷积的基础上，相对于使用单张光场图像进行反卷积操作得到的三维体结果而言，本专利技术提出的方法可以有效克服单图像三维反卷积分辨率深度一致性差的缺陷，在深度方向上使得轴向分辨率与横向分辨率更一致，重建得到的三维体深度分辨率一致性明显增强，空间分辨率变化平缓，有效提高了光场显微镜观测大深度分布样本/厚样本的能力。
附图说明
[0043]图1为本专利技术一种实施例的基于光场显微系统的光场三维重建方法的流程图。
具体实施方式
[0044]以下对本专利技术的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本专利技术的范围及其应用。
[0045]本专利技术提供在光场显微领域基于采集端轴向扫描的光场显微装置进行光场三维重建方法：通过将微透镜阵列与相机固定沿轴向扫描，可以得到多张光场图像；基于成像模型，可根据泊松噪声特点将多图像光场三维重建问题转化为求解目标函数的最小化问题，进行迭代重建，最后加入正则项平滑。
[0046]本专利技术中，基于采集端轴向扫描以得到多张光场图像，使用多图像三维反卷积模型进行反卷积，以达到重建体分辨率深度一致性目标的系统设计与重建。设计相机端扫描策略，设定电控平移台与相机配合采集，利用多张光场图像与点扩散函数信息，使得深度方向上分辨率变化平缓，达到增强重建三维体深度一致性的目标。
[0047]参阅图1，一种基于光场显微系统的光场三维重建方法，提高分辨率深度一致性，所述光场三维重建方法包括如下步骤：
[0048]A1：搭建光场显微装置，按光的传播路径依次设置显微标本、显微镜、微透镜阵列、相机；
[0049]A2：根据需求确定移动间隔，设定相机帧率与平移台移动速度，确定相机端扫描策略；
[0050]A3：根据微透镜分布对光场图像进行平移本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光场显微系统的光场三维重建方法，其特征在于，包括如下步骤：A1：搭建光场显微装置，按光的传播路径依次设置显微标本、显微镜、微透镜阵列、相机；A2：根据需求确定移动间隔，设定相机帧率与平移台移动速度，确定相机端扫描策略；A3：根据微透镜分布对光场图像进行平移、裁剪与对齐；A4：根据荧光显微镜成像过程中散粒噪声特性，得到多光场图像三维重建目标函数；A5：目标函数加入先验作为正则项，进行最大后验估计；A6：将多光场反向投影平均结果作为迭代初始值；A7：利用梯度下降算法进行迭代重建，得到大深度下分辨率深度一致的三维体。2.如权利要求1所述的方法，其特征在于，步骤A1中，将所述微透镜阵列与所述相机进行固定，并将所述相机沿轴向放置在电控平移台上。3.如权利要求1或2所述的方法，其特征在于，步骤A2中，确定相机端扫描策略为：D
cam
＝M2D
sample
其中D
sample
为物空间中深度方向上的采样间隔，优选取15
‑
40μm，M为系统的放大倍数，D
cam
为相机采样间隔距离。4.如权利要求1至3任一项所述的方法，其特征在于，步骤A2中，多图像采集过程中的采样间隔s、电控平移台移动速度v与相机帧率f满足：v＝sf。5.如权利要求1至4任一项所述的方法，其特征在于，步骤A3中，对于分布均匀的微透镜阵列，根据连通域对单个微透镜进行划分得到中心微透镜与微透镜间距，以第一张光场图像作为基准对中心微透镜位置偏移量进行校准，并进行裁剪操作，使所有光场图像长...

【专利技术属性】
技术研发人员：金欣，郑琦，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：