一种基于物理先验深度学习的荧光显微分辨率提升方法技术

本发明专利技术公开了一种基于物理先验深度学习的荧光显微分辨率提升方法，该方法首先进行低分辨率图像获取并进行训练数据集制作；其次搭建一个包括上投影模块与下投影模块的Res

【技术实现步骤摘要】
一种基于物理先验深度学习的荧光显微分辨率提升方法


[0001]本专利技术涉及光学超分辨显微成像领域，尤其涉及一种基于物理先验深度学习的荧光显微分辨率提升方法。

技术介绍

[0002]荧光显微成像技术是细胞微观结构与动态过程观测的重要手段，其分辨率和成像速度决定了细胞动态过程的观测能力。然而目前的成像技术难以实现兼具高速、分辨率的成像性能，如单分子定位显微术(SMLM)和受激发射损耗显微术(STED)等需要牺牲成像时间来满足高分辨率的要求，而结构光照明显微术(SIM)虽然具备成像时间短的特性，但成像分辨率上受到了限制。
[0003]在此背景下，计算成像是解决快速成像时间与高成像分辨率不能兼具的有效手段。到目前为止，研究人员提出了多种计算成像相关算法，从提升空间分辨率的角度出发，如基于深度学习的跨模态技术，传统超分辨算法，如稀疏反卷等计算超分辨技术，可以提升低分辨率图像的空间分辨率，使其兼具高分辨率和快速成像的性能。在提升成像速度方面，利用深度学习算法也可大幅缩短诸如STED,SMLM等高分辨率，低成像速度等成像技术所需成像时间。但传统计算超分辨算法的成功重构依赖于图像中的结构先验信息来解决诸如超分辨重构此类病态逆问题，而上述深度学习方法，均为有监督的训练方式，需要采集大量同种结构的高质量真值数据进行训练，且训练网络只能应用于固定成像模式下或者不同结构的数据，为此，目前的计算超分辨以及深度学习算法均存在着结构保真性与泛化性上的不足。

技术实现思路

[0004]为了解决上述技术问题，本专利技术提出一种物理先验深度学习的荧光显微超分辨成像方法，仅需一次训练，即可提升不同成像模式下，不同结构的成像结果的空间分辨率。
[0005]本专利技术所述的一种基于物理先验深度学习的荧光显微分辨率提升方法，该方法包括以下步骤：
[0006]S1、低分辨率图像获取：将得到的多组原始图像进行重构，得到原始训练数据；
[0007]S2、训练数据集制作：将原始训练数据进行预处理，得到一批训练数据集，并将该数据集作为网络的输入；
[0008]S3、搭建Res
‑
U
‑
DBPN网络：该网络为U型网络，包括上投影模块与下投影模块，同深度的上投影模块与下投影模块之间通过跳层进行特征融合；
[0009]S4、构建目标函数：该目标函数包含三个部分，分别为物理先验约束，稀疏约束，连续性约束；
[0010]S5、进行Res
‑
U
‑
DBPN网络训练：将训练数据集输入已搭建网络，采用优化器进行迭代优化，缩小目标函数取值至网络收敛，停止训练并获得最优网络参数；
[0011]S6、荧光图像分辨率提升：对样品进行成像，得到样品荧光图像的结果，进行荧光
图像的点扩散函数匹配，并对匹配后的荧光图像进行去背景，而后将去背景荧光图像输入Res
‑
U
‑
DBPN网络，并将最优网络参数载入Res
‑
U
‑
DBPN网络，得到网络的输出即为分辨提升后图像结果。
[0012]进一步地，所述S1中多组原始图像的获取方式为：利用SIM硬件系统拍摄不同种类样品的相同区域、不同方向、不同相位下正弦条纹照明的多张图像作为一组原始图像，重复上述步骤，拍摄不同样品、不同区域，得到多组原始图像，对原始数据进行重构，得到SIM训练数据集。
[0013]进一步地，所述S2将原始训练数据进行分割后还需进行分割、旋转和数据增强，并对原始图像进行归一化，设置信息密度阈值，去除信息密度低于信息密度阈值的图像。
[0014]进一步地，Res
‑
U
‑
DBPN网络结构具体为：该网络融合了U
‑
NET、残差以及DBPN网络，结构为U型网络，网络同一深度包含同特征图尺寸的上投影模块与下投影模块，由跳层连接进行特征融合，相邻深度的下投影模块之间通过下采样层连接，上投影模块之间通过上采样层连接。
[0015]进一步地，所述下投影模块具体为：下投影模块首先通过步长为1的卷积层获得原始特征图h0，然后用步长为2的卷积层进行下采样得到低分辨率特征图l0，而后经过转置卷积层进行上采样得到高分辨率特征图h1，将所得特征图h1与原始特征图h0相减，获得差值，而后将差值输入卷积层进行步长为2的下采样，将下采样结果l1与l0进行加和，得到最终特征图输入下层下投影模块。
[0016]进一步地，所述上投影模块具体为：上投影模块首先通过步长为1的卷积层获得原始特征图l0，然后用步长为2的转置卷积层进行上采样得到高分辨率特征图h0，而后经过步长为2卷积层进行下采样得到低分辨率特征图l1，将所得特征图l1与原始特征图l0相减，获得差值，而后将差值输入转置卷积层进行步长为2的上采样得到高分辨率特征图h1，将h1与h0加和结果与同层下采样模块结果进行特征融合，输入残差块，得到最终特征图输入下层上投影模块。
[0017]进一步地，所述目标函数具体为：
[0018][0019]物理先验约束构建了光学系统成像模型，将网络输出图像f与数据集等效的srPSF进行卷积，求取与网络输入的结构相似度；连续性约束R
Hessian
(x)为海森约束，表示为稀疏性约束为网络输出图像f的L1范数，α，β为网络超参数，用于平衡稀疏性与连续性约束。
[0020]进一步地，所述荧光图像分辨率提升中点扩散函数匹配具体为：
[0021]将荧光图像进行点扩散函数匹配，通过图像上/下采样改变图像的像素尺寸，进行点扩散函数匹配图像的像素尺寸pixelsize
input
应满足奈奎斯特采样定理，即小于λ
input
/4NA
input
，λ
input
为原始图像点扩散函数的激发波长，NA
input
为原始图像点扩散函数的等效数值孔径；
[0022]上下采样尺寸应满足如下公式：
[0023][0024]其中λ
srPSF
，NA
srPSF
与pixelsize
srPSF
为S3.2中物理先验约束所使用点扩散函数的激发波长，有效数值孔径与像素尺寸，且采样后图片也应满足奈奎斯特采样定理即小于λ
input
/4NA
input
。
[0025]与现有技术相比，本专利技术具有以下有益的技术效果：
[0026](1)与传统的计算超分辨算法与有监督深度学习算法相比，本方法有较高的结构泛化性以及保真性，无需针对特定结构进行调参，或采集对应高分辨率数据集进行训练。
[0027](2)训练集需要使用SIM系统采集，仅需一次训练，即可在SIM分辨率基础上提升1.5倍，且对硬件，样品没有特殊要求。
[0028](3)该方法无需迭代优化，训练后网络可直接对荧光图像进行处理，速度快，相较本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于物理先验深度学习的荧光显微分辨率提升方法，其特征在于，该方法包括以下步骤：S1、低分辨率图像获取：将得到的多组原始图像进行重构，得到原始训练数据；S2、训练数据集制作：将原始训练数据进行预处理，得到一批训练数据集，并将该数据集作为网络的输入；S3、搭建Res
‑
U
‑
DBPN网络：该网络为U型网络，包括上投影模块与下投影模块，同深度的上投影模块与下投影模块之间通过跳层进行特征融合；S4、构建目标函数：该目标函数包含三个部分，分别为物理先验约束，稀疏约束，连续性约束；S5、进行Res
‑
U
‑
DBPN网络训练：将训练数据集输入已搭建网络，采用优化器进行迭代优化，缩小目标函数取值至网络收敛，停止训练并获得最优网络参数；S6、荧光图像分辨率提升：对样品进行成像，得到样品荧光图像的结果，进行荧光图像的点扩散函数匹配，并对匹配后的荧光图像进行去背景，而后将去背景荧光图像输入Res
‑
U
‑
DBPN网络，并将最优网络参数载入Res
‑
U
‑
DBPN网络，得到网络的输出即为分辨提升后图像结果。2.根据权利要求1所述的一种基于物理先验深度学习的荧光显微分辨率提升方法，其特征在于，所述S1中多组原始图像的获取方式为：利用SIM硬件系统拍摄不同种类样品的相同区域、不同方向、不同相位下正弦条纹照明的多张图像作为一组原始图像，重复上述步骤，拍摄不同样品、不同区域，得到多组原始图像，对原始数据进行重构，得到SIM训练数据集。3.根据权利要求1所述的一种基于物理先验深度学习的荧光显微分辨率提升方法，其特征在于，所述S2将原始训练数据进行分割后还需进行分割、旋转和数据增强，并对原始图像进行归一化，设置信息密度阈值，去除信息密度低于信息密度阈值的图像。4.根据权利要求1所述的一种基于物理先验深度学习的荧光显微分辨率提升方法，其特征在于，Res
‑
U
‑
DBPN网络具体为：该网络融合了U
‑
NET、残差以及DBPN网络，结构为U型网络，网络同一深度包含同特征图尺寸的上投影模块与下投影模块，由跳层连接进行特征融合，相邻深度的下投影模块之间通过下采样层连接，上投影模块之间通过上采样层连接。5.根据权利要求4所述的一种基于物理先验深度学习的荧光显微分辨率提升方法，其特征在于，所述下...

【专利技术属性】
技术研发人员：匡翠方，叶子桐，刘文杰，陈友华，刘旭，
申请(专利权)人：浙江大学，
类型：发明
国别省市：