基于图像强度各阶导数的荧光显微图像3D重建方法及装置制造方法及图纸

本发明专利技术公开一种基于图像强度高阶导数的荧光显微图像3D重建方法即装置，其中方法包括以下步骤：输入荧光显微图像栈，荧光显微图像栈包括多幅轴向光切图像；确定高阶导数的阶数N；将荧光显微图像堆栈划分为多个轴向光切图像组，每个轴向光切图像组中包括数目大于N幅连续的轴向光切图像；对轴向光切图像组，以组内第一幅轴向光切图像为基准图像，计算基准图像处的各阶导数；利用基准图像和各阶导数，求取新增轴向位置对应的新增光切图像；以及根据原始的荧光显微图像栈和新增光切图像，重建荧光显微图像3D结构。本发明专利技术可以克服原有荧光显微图像栈获取时间过长易发生光裂解和光漂白现象等困难以及数量缺乏等缺点，具有效率高，应用范围广等优点。

【技术实现步骤摘要】
基于图像强度各阶导数的荧光显微图像3D重建方法及装置
本专利技术涉及图像处理和计算机视觉
，具体涉及一种基于图像强度各阶导数的荧光显微图像3D重建方法及其装置。
技术介绍
近年来，荧光显微图像3D复原或重建一直是图像处理与计算机视觉领域里一项具有挑战性的工作，并已证明在生物、医学和生命科学研究中具有重要价值。使用宽场显微镜和反卷积技术进行荧光显微图像栈的计算重建是日前非常流行的一种3D重建技术之一。其优点为宽场显微镜成本低廉，灵活性好，可以在获取图像后随时进行计算机处理，以及与共焦显微镜相比速度更快等优势，但该技术的缺点在于：即便对一个厚度仅为几微米的薄样本进行重建，也要预先做几百片光学切片，并进行成像和计算，这将是一件非常复杂，繁琐以及耗时的工作。而对于较厚的生物样本，由于低信噪比，光裂解，光漂白等现象在长时间成像过程中经常会出现，导致获取完整的光学图像栈几乎是件无法完成的事情。此外，这种技术的图像分辨率尤其是轴向分辨率会受到光学衍射的限制。共焦显微镜由于层析性质可以呈现深度1微米左右的立体图像，尤其是近来双光子和多光子技术的发展以后，共焦显微镜方法应用更加广泛。但是共焦显微镜方法的信噪比和效率由于针孔装置的使用及其低下。因此，设计并实现一种低成本、高效率、高质量的荧光显微图像3D重建方法非常重要，也非常迫切。
技术实现思路
本专利技术的目的旨在至少解决上述技术缺陷之一，特别是解决了现有的荧光显微图像3D重建方法在光切图像数目偏少时重建结果不准确的缺点。为达到上述目的，本专利技术一方面提供一种基于图像强度高阶导数的荧光显微图像3D重建方法，可以包括以下步骤：A.输入荧光显微图像栈，所述荧光显微图像栈包括多幅轴向光切图像；B.确定高阶导数的阶数N，N为正整数；C.将所述荧光显微图像堆栈划分为多个轴向光切图像组，每个所述轴向光切图像组中包括数目大于N幅连续的所述轴向光切图像；D.对所述轴向光切图像组，以组内第一幅轴向光切图像为基准图像，计算所述基准图像处的各阶导数；E.利用所述基准图像和步骤D获得的各阶导数，求取新增轴向位置对应的新增光切图像；以及F.根据原始的所述荧光显微图像栈和步骤E获得的所述新增光切图像，重建荧光显微图像3D结构。为达到上述目的，本专利技术另一方面提供一种基于图像强度高阶导数的荧光显微图像3D重建装置，包括以下部分：图像输入模块，用于输入荧光显微图像栈，所述荧光显微图像栈包括多幅轴向光切图像；阶数确定模块，用于确定高阶导数的阶数N，N为正整数；分组模块，所述分组模块与所述图像输入模块和所述阶数确定模块相连，用于将所述荧光显微图像堆栈划分为多个轴向光切图像组，每个所述轴向光切图像组中包括数目大于N幅连续的所述轴向光切图像；导数计算模块，所述导数计算模块与所述分组模块相连，用于对所述轴向光切图像组，以组内第一幅轴向光切图像为基准图像，计算所述基准图像处的各阶导数；新图生成模块，所述新图生成模块与所述导数计算模块相连，用于利用所述基准图像和所述导数计算模块获得的各阶导数，求取新增轴向位置对应的新增光切图像；以及重建模块，所述重建模块与所述图像输入模块和所述新图生成模块相连，用于根据原始的所述荧光显微图像栈和所述新图生成模块获得的所述新增光切图像，重建荧光显微图像3D结构。本专利技术实施例的荧光显微图像3D重建方法和装置，可以克服原有荧光显微图像栈获取时间过长易发生光裂解和光漂白现象等困难，以及数量缺乏等缺点，此外，该方法利用计算机后期处理完成，可以避免光学仪器成像过程时间过长产生的其他不利突发事件的影响，最后，该方法不仅可以应用于成本低廉的宽场显微镜，同时也可以应用于任意其他光学成像系统，例如共焦显微镜，能够更加快速地获得更加准确的荧光显微图像3D结构。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为荧光显微图像栈以及轴向光切图像的示意图。图2为本专利技术实施例的基于图像强度各阶导数的荧光显微图像3D重建方法的流程图。图3为将荧光显微图像堆栈划分为多个轴向光切图像组的示意图，其中(a)为不交叠划分情况，(b)为交叠划分情况。图4为本专利技术实施例的基于图像强度各阶导数的荧光显微图像3D重建装置的结构框图。图5为本专利技术一个实施例的荧光显微图像栈中的部分轴向光切图像的示意图，其中(a)z＝52，(b)z＝56，(c)z＝60，(d)z＝64，(e)z＝68，(f)z＝72，(g)z＝76，(h)z＝83，(i)z＝87。图6为本专利技术一个实施例的轴向光切图像组中的基准图像及其各阶导数，以及利用各阶导数生成的图像的示例，其中(a)基准图像(0阶导数)，及其对应的(b)一阶导数，(c)二阶导数，(d)三阶导数，(e)四阶导数，(f)五阶导数，(g)六阶导数，(h)利用各阶导数生成的图像(z＝86.5)。图7为本专利技术一个实施例的轴向光切图像及其新增光切图像示例，其中(a)z＝90(真实图像)，(b)z＝90.5(生成图像)，(c)z＝91(真实图像)，(d)z＝91.5(生成图像)，(e)z＝92(真实图像)，(f)z＝92.5(生成图像)。图8为本专利技术一个实施例的荧光显微图像3D结构重建结果对比图，其中(a)为通过原始荧光显微图像栈重建得到的3D结构，(b)为通过本专利技术的技术重建得到的3D结构。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。为使读者更好地理解本专利技术，申请人首先介绍下相关背景知识。如图1所示，图中左侧表示通过不断改变显微镜的载物台或者物镜的轴向位置，即通过不断变焦的方式，可以获得荧光显微样本的一组光切图像，称为荧光显微图像栈。该荧光显微图像栈中的部分光切图像如图中右侧图所示。本专利技术旨在提出一种利用图像强度各阶导数的荧光显微图像3D重建方法及装置。其原理为：假设在有限的轴向距离范围内图像栈中的图像满足线性关系和连续性，可以利用泰勒级数展开理论和线性拟合方法，计算得到第一幅图像或者基准图像的各阶导数，而各阶导数又可以计算生成沿光轴方向距离基准图像任意距离处的图像，最后利用原有荧光显微图像栈中的图像和新生成的图像重建样本3D结构。为实现上述目的，根据本专利技术实施例的基于图像强度高阶导数的荧光显微图像3D重建方法，如图2所示，可以包括以下步骤：A.输入荧光显微图像栈，荧光显微图像栈包括多幅轴向光切图像。B.确定高阶导数的阶数N，N为正整数。需要说明的是，为了避免过拟合现象，优选N≤20。过拟合可以这样来理解：原本通常情况下对多幅图像进行线性拟合得到的各阶导数本应是N越大拟合结果越准确。但是阶数N过大时，得到的各阶导数反而更加不准确，也就是利用误差公式检验计算得到的误差出现非减反增的现象。C.将荧光显微图像堆栈划分为多个轴向光切图像组，每个轴向光切图像组中包括数目大于N幅连续的轴向光切图像。需要说明的是，分组灵活性较大，体现在如下几方面：(1)各组轴向光切图像组内的本文档来自技高网...

【技术保护点】
一种基于图像强度高阶导数的荧光显微图像3D重建方法，其特征在于，包括以下步骤：A.输入荧光显微图像栈，所述荧光显微图像栈包括多幅轴向光切图像；B.确定高阶导数的阶数N，N为正整数；C.将所述荧光显微图像堆栈划分为多个轴向光切图像组，每个所述轴向光切图像组中包括数目大于N幅连续的所述轴向光切图像；D.对所述轴向光切图像组，以组内第一幅轴向光切图像为基准图像，计算所述基准图像处的各阶导数；E.利用所述基准图像和步骤D获得的各阶导数，求取新增轴向位置对应的新增光切图像；以及F.根据原始的所述荧光显微图像栈和步骤E获得的所述新增光切图像，重建荧光显微图像3D结构。

【技术特征摘要】
1.一种基于图像强度高阶导数的荧光显微图像3D重建方法，其特征在于，包括以下步骤：A.输入荧光显微图像栈，所述荧光显微图像栈包括多幅轴向光切图像；B.确定高阶导数的阶数N，N为正整数；C.将所述荧光显微图像堆栈划分为多个轴向光切图像组，每个所述轴向光切图像组中包括数目大于N幅连续的所述轴向光切图像；D.对所述轴向光切图像组，以组内第一幅轴向光切图像为基准图像，计算所述基准图像处的各阶导数；E.利用所述基准图像和步骤D获得的各阶导数，求取新增轴向位置对应的新增光切图像；以及F.根据原始的所述荧光显微图像栈和步骤E获得的所述新增光切图像，重建荧光显微图像3D结构。2.根据权利要求1所述的方法，其特征在于，所述N≤20。3.根据权利要求1所述的方法，其特征在于，所述步骤C中，分组得到的不同轴向光切图像组之间不交叠或者交叠。4.根据权利要求1所述的方法，其特征在于，所述步骤D具体包括：将所述基准图像用I(x,y,0)表示，假设所述轴向光切图像组具有连续性并在一定轴向距离范围内满足线性假设，则可以利用光切图像组内的所有图像和线性拟合方法求得所述基准图像处的各阶导数5.根据权利要求4所述的方法，其特征在于，所述步骤E具体包括：将所述新增轴向位置与所述基准图像所在的平面的轴向距离表示为Δz，利用泰勒级数展开理论，可以计算得到新增光切图像I(x,y,Δz)平面处的泰勒级数展开，用下式表示即获得新增光切图像I(x,y,Δz)。6.根据权利要求1所述的方法，其特征在于，在步骤E中通过提供多个不同的所述新增轴向位置，以获得多幅所述新增光切图像。7.一种基于图像强度高阶导数的荧光显微图像3D重建装置，其特征在于，包括以下部分：图像输入模块，用于输入荧光显微图像栈，所述荧光显微图像栈包括多幅轴向...

【专利技术属性】
技术研发人员：王瑜，姜欢，
申请(专利权)人：北京工商大学，
类型：发明
国别省市：北京;11