一种深度学习的亚五十纳米结构光照明超分辨成像方法技术

本发明专利技术公开了一种亚五十纳米结构光照明超分辨显微成像方法，涉及光学超分辨显微成像领域，先通过图像退化获得高分辨STORM图像和低分辨SIM图像并进行配对、再对配对的数据进行训练数据集制作，然后通过训练的去噪网络进行去噪优化，最后通过SIM超分辨重构，输出高分辨率图像，本发明专利技术将传统SIM技术的分辨率提升至50 nm，同时不损失其快速、低光毒性、长时程成像能力；所需的训练集通过高分辨图像退化得到，无需实验获取，无需复杂的配准过程，大大降低了训练集的制作难度；本方法不增加任何系统复杂度，可基于任何已有SIM系统实现，应用范围广。广。广。

【技术实现步骤摘要】
一种深度学习的亚五十纳米结构光照明超分辨成像方法


[0001]本专利技术涉及光学超分辨显微成像的
，尤其涉及一种深度学习的亚五十纳米结构光照明超分辨成像方法。

技术介绍

[0002]在生命科学中，荧光显微镜是研究细胞时空动态的关键工具，在过去的几十年里，人们专利技术出许多技术对细胞内的生物过程进行超分辨成像，如可达到百纳米分辨率的结构光照明显微镜（SIM）、可达到亚五十纳米分辨率的受激发射损耗显微术（STED）和随机光学重构显微术（STORM）。这些生物过程的观测质量不仅取决于所用光学设备的空间分辨率，还取决于所需的时间分辨率、成像深度、采集的荧光密度、光漂白和光毒性等。然而这些成像参数之间往往都是矛盾，难以在一套成像技术中同时优化分辨率、速度、曝光和成像深度等方面，必须进行权衡。例如，SIM中通过减少曝光时间可以获得成像速度但是会牺牲信噪比，STED中通过提高光功率可以提升空间分辨率但是会增大光漂白，STORM中通过获取更多帧原始图像也可以提高分辨率但是会延长成像时间。
[0003]SIM是公认的最适用于快速超分辨成像的技术，其可以在百纳米分辨率水平尽可能平衡其他成像参数，实现对活细胞的快速和长时程成像。近年来也有提高其空间分辨率的探索，但都会导致其他性能的降低，如非线性SIM可以将分辨率提升至~50 nm，但所需的光功率急剧升高，从而难以适用于活细胞成像，稀疏反卷SIM可以将分辨率提升至60 nm左右，也适用于活细胞成像，但是其需要针对特定结构进行调参，大大限制了应用范围。因此，目前SIM仍然无法在亚五十纳米分辨率水平下对活细胞进行更具普适性的快速、长时程成像。

技术实现思路

[0004]本专利技术的主要目的在于克服现有技术的缺点与不足，本专利技术提供了一种深度学习的亚五十纳米结构光照明超分辨成像方法。
[0005]本专利技术的一种深度学习的亚五十纳米结构光照明超分辨成像方法，包括以下步骤：S1：图像退化，通过仿真或实验获得SIM光学显微系统的点扩散函数图像，将点扩散函数图像与开源或实验获得的高分辨STORM图像进行卷积、向下采样获得低分辨SIM成像结果，将对应的高分辨STORM图像和低分辨SIM图像进行配对得到配对数据；S2：训练数据集制作，对配对数据进行随机分割，并通过旋转进行数据增强，将高分辨STORM图像归一化后设置阈值，去除信息密度低于阈值的图像对；S3：去噪网络、超分辨网络结构与训练，训练去噪网络得到去噪网络初始参数，将该参数导入联合网络去噪部分，进行联合训练，当联合网络对测试集测试所得均方根误差最小时则得到联合网络最优参数；S4：SIM超分辨重构，将若干张低分辨SIM图像输入对应的去噪网络与超分辨网络
联合训练组成的跨模态网络，加载网络训练过程中保存的均方根误差最低时得到的最优权重，输出高分辨率结果。
[0006]作为优选，所述步骤S1包括以下子步骤：S1.1：将开源或实验获得的高分辨STORM图像与至少3个方向、至少3个相位的照明条纹相乘；S1.2：通过仿真或实验获得SIM光学显微系统的点扩散函数图像，并与步骤S1.1的相乘结果进行卷积；S1.3：对步骤S1.2的卷积结果根据像素尺寸对应关系进行下采样，得到仿真的高信噪比SIM初始数据；S1.4：在仿真的高信噪比SIM初始数据中加入高斯噪声和泊松噪声模拟低信噪比下的SIM成像结果。
[0007]作为优选，所述步骤S2包括以下子步骤：S2.1：利用matlab对配对数据进行随机分割；S2.2：对分割图像进行90
°
，180
°
旋转进行数据增强；S2.3：将STORM图归一化后设置阈值，去除信息密度低的图像对；S2.4：重复上述步骤，形成5000对训练数据和500对验证数据集。
[0008]作为优选，所述步骤S3包括以下子步骤：S3.1：将仿真的高信噪比SIM初始数据作为网络输入，单独训练去噪网络，损失函数的取值降低至网络收敛，保存参数；S3.2：将提前训练好的去噪网络参数重新加载至联合网络中的去噪部分；S3.3：将仿真的高信噪比SIM初始数据作为网络输入，高分辨STORM图像作为真值；S3.4：经迭代优化缩小输出与真值间差距，至网络收敛，保存训练中联合网络最优权重。
[0009]作为优选，所述步骤S4包括以下子步骤：S4.1：利用正弦条纹光照明样品，得到9张原始图片；S4.2：将在低分辨率、低信噪比成像条件下得到的SIM九张初始图像数据输入联合网络；S4.3：加载训练中保存的联合网络最优权重，网络输出则为高分辨率结果。
[0010]与现有技术相比，本专利技术具有以下有益的技术效果：（1）可将传统SIM技术的分辨率提升至亚50 nm，同时不损失其快速、低光毒性、长时程成像能力；（2）本方法不增加任何系统复杂度，可基于任何已有SIM系统实现；（3）本方法所需的训练集通过高分辨图像退化得到，无需实验获取，无需复杂的配准过程，大大降低了训练集的制作难度；（4）本方法也可用于将其他低分辨率技术，如光片显微镜、共聚焦显微镜等的分辨率提升至亚五十纳米水平。
附图说明
[0011]下面结合附图和实施方式对本专利技术作进一步详细的说明。
[0012]图1是本专利技术的一种深度学习的亚五十纳米结构光照明超分辨成像方法流程图；图2是本专利技术的图像退化流程图；图3是本专利技术的训练集制作流程图；图4是本专利技术的SIM超分辨重构流程图；图5是本专利技术所使用的去噪深度学习网络结构与超分辨网络结构示意图；图6是本专利技术在宽场照明下成像结果图；图7是本专利技术的重建结果图。
具体实施方式
[0013]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0014]实施例1以SIM到STORM的跨模态实施场景为例，参阅图1，其为本专利技术的步骤流程图，包括以下步骤：（1）图像退化：如图2所示，图像退化过程包括仿真/实际采集SIM系统的点扩散函数，将开源或实验获取的STORM图像与三个方向、三个相位的照明条纹相乘后再与点扩散函数卷积，并根据像素尺寸对应关系进行下采样，得到仿真的高信噪比SIM初始数据。向下采样图像中加入高斯噪声和泊松噪声模拟低信噪比下的SIM成像结果，与原始STORM图像配对。
[0015]（2）训练数据集制作：利用matlab对配对数据进行随机分割，并进行90
°
，180
°
旋转进行数据增强，此外将STORM图归一化后设置阈值，去除信息密度低的图像对（如背景噪声区域），以增强数据间的相关性，本实施例中阈值设置为0.01，当信号强度大于0.01，则被判定为样品信号，若样品信号像素总数低于总图像数1/3,则抛弃该图像对，从而形成5000对训练数据和500对验证数据集。
[0016]（3）去噪网络、超分辨网络结构与训练流程如图3所示，首先，单独训练去噪网络，将仿真的不同信噪比的SIM原始数据作为网络输入，仿真高信噪比SIM重构数据作为真值，经迭本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习的亚五十纳米结构光照明超分辨成像方法，其特征在于，包括以下步骤：S1：图像退化，通过仿真或实验获得SIM光学显微系统的点扩散函数图像，将点扩散函数图像与开源或实验获得的高分辨STORM图像进行卷积、向下采样获得低分辨SIM成像结果，将对应的高分辨STORM图像和低分辨SIM图像进行配对得到配对数据；S2：训练数据集制作，对配对数据进行随机分割，并通过旋转进行数据增强，将高分辨STORM图像归一化后设置阈值，去除信息密度低于阈值的图像对；S3：去噪网络、超分辨网络结构与训练，训练去噪网络得到去噪网络初始参数，将该参数导入联合网络去噪部分，进行联合训练，当联合网络对测试集测试所得均方根误差最小时则得到联合网络最优参数；S4：SIM超分辨重构，将若干张低分辨SIM图像输入对应的去噪网络与超分辨网络联合训练组成的跨模态网络，加载网络训练过程中保存的均方根误差最低时得到的最优权重，输出高分辨率结果。2.根据权利要求1所述的一种深度学习的亚五十纳米结构光照明超分辨成像方法，其特征在于：所述步骤S1包括以下子步骤：S1.1：将开源或实验获得的高分辨STORM图像与至少3个方向、至少3个相位的照明条纹相乘；S1.2：通过仿真或实验获得SIM光学显微系统的点扩散函数图像，并与步骤S1.1的相乘结果进行卷积；S1.3：对步骤S1.2的卷积结果根据像素尺寸对应关系进行下采样，得到仿真的高信噪比SIM初始数据；S1.4：在仿真的高信噪比SIM初始数据中加入...

【专利技术属性】
技术研发人员：刘文杰，叶子桐，匡翠方，谢舜宇，陈友华，刘旭，
申请(专利权)人：之江实验室，
类型：发明
国别省市：