一种傅里叶光场显微镜超分辨成像方法及系统技术方案

本发明专利技术公开了一种傅里叶光场显微镜超分辨成像方法及系统。方法包括以下步骤：(1)将傅里叶光场显微镜获取的低角向采样率的单张多视角光场图像，输入角度差值网络，获得高角向采样率多张单视角光场图像；(2)将步骤(1)获得的高角向采样率的多张单视角光场图像，逐视角重建为三维图像，并按照与所述角度差值网络的训练样本采样数据中多张单视角图像排序相同的顺序进行叠加，获得所述傅里叶光场显微镜超分辨成像的。本发明专利技术提供的一种傅里叶光场显微镜超分辨成像方法，通过深度学习算法在实际拍摄的光场图像中内插更多的视角图像而不会产生串扰，同时获得与之匹配的光场PSF，再利用三维重建算法获得高质量的重建结果。维重建算法获得高质量的重建结果。维重建算法获得高质量的重建结果。

【技术实现步骤摘要】
一种傅里叶光场显微镜超分辨成像方法及系统


[0001]本专利技术属于生物光子领域，更具体地，涉及一种傅里叶光场显微镜超分辨成像方法及系统。

技术介绍

[0002]最近，人们对傅里叶光场显微镜(FLFM)的发展越来越感兴趣，它可以在单次曝光中记录样本的空间和角度信息，然后利用后续的重建算法便可以重建出样本的三维体积。该策略有效地克服了传统光场显微镜(LFM)在重建伪影和计算成本方面的基本限制，显著提高了重建质量。
[0003]然而，傅里叶光场显微镜为获取较高的横向空间分辨率以及视场，会损失其视角信息，而获得更多的角度信息又是获得高分辨率、高保真的三维重建图的关键。例如在光学投影层析成像(opt)技术中，研究人员企图获得样本更多角度的投影视图来得到更高分辨率的三维重建图。但这在傅里叶光场显微镜中并不容易实现，考虑到傅里叶光场显微镜的视场以及孔径(大透镜)的空间阻隔限制，无法在无视角串扰的情况下同时同时获得更多角度图像，导致其成像分辨率无法进一步提高。

技术实现思路

[0004]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种傅里叶光场显微镜超分辨成像方法及系统，其目的在于采用超分辨方法模拟提高角向分辨率，模拟实际无法排列的傅里叶广场显微成像的微透镜阵列，从而重建出超分辨的傅里叶广场显微图像，由此解决傅里叶广场显微镜的市场以及孔径的空间阻隔限制、视角串扰导致分辨率难以进一步提高的技术问题。
[0005]为实现上述目的，按照本专利技术的一个方面，提供了一种傅里叶光场显微镜超分辨成像方法，包括以下步骤：
[0006](1)将傅里叶光场显微镜获取的低角向采样率的单张多视角光场图像，输入角度差值网络，获得高角向采样率多张单视角光场图像；
[0007](2)将步骤(1)获得的高角向采样率的多张单视角光场图像，逐视角重建为三维图像，并按照与所述角度差值网络的训练样本采样数据中多张单视角图像排序相同的顺序进行叠加，获得所述傅里叶光场显微镜超分辨成像的。
[0008]优选地，所述傅里叶光场显微镜超分辨成像方法，其步骤(1)具体为：
[0009]将低角向采样率的多视角光场图像及其中相邻视角的角向插值图像作为初始高角向采样率的多视角光场图像进行迭代；所述相邻视角的角向插值图像，采用相邻视角的光场图像进行双三插值等插值算法在角向维度上进行插值获取；
[0010]所述角度差值网络基于深度学习模型，包括融合通道、以及卷积通道组成，其中：所述融合通道用于将原始低角向采样率图像堆栈以及插值图像堆栈进行通道维度上的叠加，并通过多次卷积处理提取高维信息，包括多个融合模块；所述的卷积通道，包括多个卷
积模块，用于对前端的融合模块进行进一步信息提取，由多层卷积层组成。
[0011]优选地，所述傅里叶光场显微镜超分辨成像方法，其所述基于深度学习模型角度差值网络，按照如下方法训练：
[0012](1
‑
1)获取训练样本：
[0013](1
‑1‑
1)以静态或动态样本为目标，采用高分辨率三维成像显微镜对其进行实际拍摄，获得高分辨率的事实三维图像；所述高分辨率三维成像显微镜，包括但不限于宽场显微镜、共聚焦显微镜；
[0014](1
‑1‑
2)根据硬件傅里叶光场显微成像系统的光学参数获取硬件傅里叶光场显微成像系统的点扩散函数，采用该点扩散函对步骤(1
‑1‑
1)获得的高分辨率的事实三维图像进行低角向采样率波动光学仿真，获得关于硬件傅里叶光场显微成像系统的单张点扩散函数图像，所述单张点扩散函数图像包括低角向采样的多视角点扩散图像阵列，所述多视角点扩散图像阵列与所述硬件傅里叶光场显微成像系统的微透镜阵列相应；
[0015]优选方案，对实际拍摄的图像进行像素重采样，获得所述高分辨率的事实三维图像；
[0016](1
‑1‑
3)根据假想傅里叶光场显微成像系统的光学参数获取假象傅里叶光场显微成像系统的点扩散函数，采用该扩散函对步骤(1
‑1‑
1)获得的高分辨率的事实三维图像进行高角向采样率波动光学仿真，获得关于假想傅里叶光场显微成像系统的多张单视角点扩散函数图像，其中每一张点扩散函数图像包括高角向采样的一个视角的点扩散图像；所述多张点扩散函数图像与所述假想傅里叶光场显微成像系统的微透镜阵列相应；
[0017](1
‑1‑
4)对步骤(1
‑1‑
1)获得的高分辨率三维图像分别与步骤(1
‑1‑
2)获得的单张多视角的点扩散函数图像、以及步骤(1
‑1‑
3)获得多张单视角的点扩散函数图像进行逐视角卷积，获得事实三维图像进行前向投影的单张多视角的低角向采样率光场图像和多张单视角的高角向采样率光场图像，将单张多视角的低角向采样率光场图像作为一个训练样本的输入，将其对应多张单视角的高角向采样率光场图像作为所述训练样本的输出；
[0018]单张多视角的低角向采样率光场图像，各个视角的图像表示为：
[0019]Projection
low
＝{Resize(O(x,y,z))*|E(x,y,v,z)|2}
v＝1,2,...,v0
[0020]多张单视角的高角向采样率光场图像，各个视角的图像表示为：
[0021]Projection
high
＝{Resize(O(x,y,z))*|E(x,y,v,z)|2}
v＝1,2,...,ratio
·
v0
[0022]其中Projection
high
与Projection
low
分别为高/低角向采样率的光场投影图像，Resize为重采样，O(x,y,z)为三维图像，E(x,y,v,z)为前文所述的微透镜后的传播函数，v0为在原始角向采样率下的视角数量；
[0023](1
‑
2)模型训练。
[0024]优选地，所述傅里叶光场显微镜超分辨成像方法，其所述假想的傅里叶光场显微成像系统模拟的微透镜位置为所述硬件傅里叶光场显微成像系统微透镜位置的整倍率差值排布.
[0025]优选地，所述傅里叶光场显微镜超分辨成像方法，其根据角向插值倍率可计算得所述高角向采样率的多视角光场图像模拟的微透镜间距为：
[0026]Δd＝d/ratio
[0027]其中d为实际微透镜间距，也即所述低角向采样的多视角光场图像模拟的透镜阵
列的微透镜间距，ratio为角向插值倍率。
[0028]优选地，所述傅里叶光场显微镜超分辨成像方法，其对于任一傅里叶光场显微成像系统，根据其光学参数获取该成像系统给的点扩散函数，具体为：
[0029]S1、通过微透镜间距、微透镜排布方式，获得多视角光场图像模拟的透镜阵列中所有微透镜空间位置。
[0030]S2、根据微透镜的光学参数确定其透过率函数T...

【技术保护点】

【技术特征摘要】
1.一种傅里叶光场显微镜超分辨成像方法，其特征在于，包括以下步骤：(1)将傅里叶光场显微镜获取的低角向采样率的单张多视角光场图像，输入角度差值网络，获得高角向采样率多张单视角光场图像；(2)将步骤(1)获得的高角向采样率的多张单视角光场图像，逐视角重建为三维图像，并按照与所述角度差值网络的训练样本采样数据中多张单视角图像排序相同的顺序进行叠加，获得所述傅里叶光场显微镜超分辨成像的。2.如权利要求1所述的傅里叶光场显微镜超分辨成像方法，其特征在于，步骤(1)具体为：将低角向采样率的多视角光场图像及其中相邻视角的角向插值图像作为初始高角向采样率的多视角光场图像进行迭代；所述相邻视角的角向插值图像，采用相邻视角的光场图像进行双三插值等插值算法在角向维度上进行插值获取；所述角度差值网络基于深度学习模型，包括融合通道、以及卷积通道组成，其中：所述融合通道用于将原始低角向采样率图像堆栈以及插值图像堆栈进行通道维度上的叠加，并通过多次卷积处理提取高维信息，包括多个融合模块；所述的卷积通道，包括多个卷积模块，用于对前端的融合模块进行进一步信息提取，由多层卷积层组成。3.如权利要求2所述的傅里叶光场显微镜超分辨成像方法，其特征在于，所述基于深度学习模型角度差值网络，按照如下方法训练：(1
‑
1)获取训练样本：(1
‑1‑
1)以静态或动态样本为目标，采用高分辨率三维成像显微镜对其进行实际拍摄，获得高分辨率的事实三维图像；所述高分辨率三维成像显微镜，包括但不限于宽场显微镜、共聚焦显微镜；(1
‑1‑
2)根据硬件傅里叶光场显微成像系统的光学参数获取硬件傅里叶光场显微成像系统的点扩散函数，采用该点扩散函对步骤(1
‑1‑
1)获得的高分辨率的事实三维图像进行低角向采样率波动光学仿真，获得关于硬件傅里叶光场显微成像系统的单张点扩散函数图像，所述单张点扩散函数图像包括低角向采样的多视角点扩散图像阵列，所述多视角点扩散图像阵列与所述硬件傅里叶光场显微成像系统的微透镜阵列相应；优选方案，对实际拍摄的图像进行像素重采样，获得所述高分辨率的事实三维图像；(1
‑1‑
3)根据假想傅里叶光场显微成像系统的光学参数获取假象傅里叶光场显微成像系统的点扩散函数，采用该扩散函对步骤(1
‑1‑
1)获得的高分辨率的事实三维图像进行高角向采样率波动光学仿真，获得关于假想傅里叶光场显微成像系统的多张单视角点扩散函数图像，其中每一张点扩散函数图像包括高角向采样的一个视角的点扩散图像；所述多张点扩散函数图像与所述假想傅里叶光场显微成像系统的微透镜阵列相应；(1
‑1‑
4)对步骤(1
‑1‑
1)获得的高分辨率三维图像分别与步骤(1
‑1‑
2)获得的单张多视角的点扩散函数图像、以及步骤(1
‑1‑
3)获得多张单视角的点扩散函数图像进行逐视角卷积，获得事实三维图像进行前向投影的单张多视角的低角向采样率光场图像和多张单视角的高角向采样率光场图像，将单张多视角的低角向采样率光场图像作为一个训练样本的输入，将其对应多张单视角的高角向采样率光场图像作为所述训练样本的输出；单张多视角的低角向采样率光场图像，各个视角的图像表示为：Prohectio
low
＝{Resize(O(x,y,z))*|E(x,y,v,z)|2}
v＝1,2,...,v0
多张单视角的高角向采样率光场图像，各个视角的图像表示为：Projectio
high
＝{Resize(O(x,y,z))*|E(x,y,v,z)|2}
v＝1,2,...,ratio

【专利技术属性】
技术研发人员：费鹏，易成强，何勉，朱兰馨，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：