【技术实现步骤摘要】
本专利技术涉及显微图像处理领域，特别是指一种基于改进的扩散模型的显微图像超分辨率重建方法和装置。
技术介绍
1、图像超分辨率技术是深度学习领域内一项活跃的技术，其旨在通过对低分辨率(lr)图像的高频信息进行推理，重建出更高质量的超分辨率(sr)图像。随着深度学习的发展，基于卷积神经网络的超分辨率技术取得了长足的进步。
2、扩散概率模型(denoising diffusion probabilistic models)，简称扩散模型(diffusion model)。这个模型是一个马尔可夫链，并使用变分推断以在有限时间后生成与原始数据分布一致的样本。参见图1，扩散模型包含两个步骤：
3、(1)固定的(或预设的)前向扩散过程q：该过程会逐渐将高斯噪声添加到图像中，形成一系列的数据状态x1,x2,…,xt。直到最终得到纯噪声。这一过程可以定义如下：
4、
5、其中t∈(1,…,t)代表扩散步骤，βt是与每一步相关的方差超参数，i是单位矩。n(x；μ；δ)代表生成x的均值μ和协方差δ的正态分布。q(xt|xt-1)为通过单步操作直接从原始图像采样任意噪声版本xt，即xt可以通过原始数据x0和方差计划βt直接采样得到。
6、(2)可训练的反向去噪扩散过程：训练一个神经网络，从纯噪音开始逐渐去噪，直到得到一个真实图像。训练一个神经网络来模拟从噪声状态xt～n(0,i)反向生成原始数据的逆过程。在实践中，这通常通过最小化变分下界进行。这一过程可定义如下：
7、pθ(xt-
8、前向与后向的步数由下标t定义，并且有预先定义好的总步数t(ddpm原文中为1000)。t＝0时为从数据集中采样得到的一张真实图片，t＝t时近似为一张纯粹的噪声。通过这种迭代去噪和重建的过程，ddpm能够生成与原始数据极其相似的样本，具有非常高的质量和细节保真度。这种方法的成功依赖于精心设计的扩散步骤和高效的网络结构，以及在训练过程中对概率分布进行精确估计的能力。
9、srdiff(super-resoluiton with diffusion probabilistic models)模型，该模型基于扩散概率模型完成单张图像的超分辨。该模型方法能够有效解决输出过于平滑，模式崩溃，模型占用面积大等问题。srdiff通过马尔可夫链将高斯白噪声转换为sr预测，不受模式崩溃的影响，可以生成多样化和高质量的sr结果；与gan-driven方法相比，srdiff在单损耗的情况下训练稳定，不需要任何额外的模块(如discriminator，只在训练中使用)。与基于流程的方法相比，srdiff没有架构限制，因此受益于占地面积小和训练速度快；srdiff可以利用扩散过程和反向过程进行灵活的图像处理，包括潜在空间插值和内容融合，具有广阔的应用前景。
10、srdiff模型是建立在去噪扩散模型之上的单张图像超分辨模型。但其x0并非所要预测的sr图像或者hr图像本身，在扩散过程中x0为hr图像与上采样后的lr图像的差值，其用xr＝xh-up(xl)表达。在反向推断过程中最后获得的x0与上采样后的lr图像相加获得预测的超分辨率图像xsr＝x0+up(xl)。使用残差预测而非直接预测，能够加快训练速度，更好地优化网络，同时更关注图像容易丢失的高频信息。
11、受去噪扩散概率模型(ddpm)和去噪分数匹配(denoising score matching)的启发，提出了sr3(image super-resoluiton via iterative refinement)，这是一种条件图像生成的新方法。sr3的工作原理是学习通过一系列迭代细化步骤将标准正态分布转换为经验数据分布，类似于朗之万动力学。模型的网络结构是u-net体系结构，该体系结构通过去噪目标进行训练，以迭代方式从输出中去除各种级别的噪声。将去噪扩散模型用于条件图像生成。sr3是一种通过迭代细化实现图像超分辨率的方法。sr3证明在不同放大系数下对人脸和自然图像超分辨率有效。
12、sr3在原有扩散模型的基础上，对扩散模型的unet进行了改进，对sde进行了修改。将原来的ddpm残差块替换为biggan的残差块，并将连接重新缩放为此外还增加了残差块的数量，以及在不同分辨率下的通道乘法。sr3在人脸和自然图像的不同上采样倍数的超分辨率任务上表现出强大的性能。
13、基于扩散的图像超分辨率(sr)方法受到推理速度的限制，因为需要进行数百甚至数千次的采样步骤。现有的加速采样技术不可避免地会在一定程度上牺牲性能，导致超模糊的sr结果。扩散模型在最大似然估计的表现差于基于似然函数的生成模型。数据泛化能力弱，扩散模型最初只能处理图片等连续性数据，直接应用离散数据或其他数据类型的效果较差。这限制了扩散模型的应用场景。
技术实现思路
1、本专利技术的主要目的在于，提出一种基于改进的扩散模型的显微图像超分辨率重建方法和装置,引入了一种高效的扩散模型，提高了推理效率，重建效果好。
2、本专利技术采用如下技术方案：
3、由上述对本专利技术的描述可知，与现有技术相比，本专利技术具有如下有益效果：
4、本专利技术构建了一个改进的扩散模型，通过移动高分辨率图像和低分辨率图像之间的残差来实现高分辨率图像和低分辨率图像之间的转换，大大提高了转换效率。同时对扩散模型的u-net改进，用swin transformer block替换原有的自注意力层，增强模型鲁棒性。
5、本专利技术中，构建了一个马尔可夫链，通过移动高分辨率图像和低分辨率图像之间的残差来实现高分辨率图像和低分辨率图像之间的转换，大大提高了转换效率，从而消除了推理过程中对后加速的需求及其相关的性能下降。
本文档来自技高网...【技术保护点】
1.一种基于改进的扩散模型的显微图像超分辨率重建方法，其特征在于，包括：
2.如权利要求1所述的一种基于改进的扩散模型的显微图像超分辨率重建方法，其特征在于，所述改进的扩散模型包括：
3.如权利要求2所述的一种基于改进的扩散模型的显微图像超分辨率重建方法，其特征在于，所述预测器fθ采用U-Net结构作为主体，其包括第一卷积块、收缩部分、中间部分、扩展部分以及第二卷积块；所述第一卷积块将输入的图像xt转换为隐藏状态并与输入的转换后的低分辨率图像y0融合得到特征图；所述收缩部分包括多个依次相连的收缩单元以将输入的特征图的空间大小进行缩小；所述中间部分位于所述收缩部分和所述扩展部分之间并设置有两残差块；所述扩展部分包括多个依次相连的扩展单元，每个所述扩展单元的输入还连接至对应的所述收缩单元的输出实现拼接，每个扩展单元对拼接后的特征图进行放大；所述第二卷积模块将所述扩展部分输出的特征图进行处理输出预测的所述超分辨率图像。
4.如权利要求3所述的一种基于改进的扩散模型的显微图像超分辨率重建方法，其特征在于，所述第一卷积模块包括2D卷积层和Mish激活函数
5.如权利要求4所述的一种基于改进的扩散模型的显微图像超分辨率重建方法，其特征在于，所述收缩单元包括两个残差块和一个下采样层，所述残差块包含两个卷积层和一个Swin Transformer块。
6.如权利要求4所述的一种基于改进的扩散模型的显微图像超分辨率重建方法，其特征在于，所述扩展单元包括两个残差块和一个上采样层，所述残差块包含两个卷积层和一个Swin Transformer块。
7.如权利要求2所述的一种基于改进的扩散模型的显微图像超分辨率重建方法，其特征在于，所述前向过程中，构建的马尔科夫链具体为：
8.如权利要求7所述的一种基于改进的扩散模型的显微图像超分辨率重建方法，其特征在于，所述反向过程中，所述预测器通过以下公式估计后验分布p(x0|y0)，去除噪声生成重建图像：
9.如权利要求8所述的一种基于改进的扩散模型的显微图像超分辨率重建方法，其特征在于，对于所述均值参数μθ(xt，y0，t)，重新参数化如下：
10.一种基于改进的扩散模型的显微图像超分辨率重建装置，其特征在于，包括
...【技术特征摘要】
1.一种基于改进的扩散模型的显微图像超分辨率重建方法，其特征在于，包括：
2.如权利要求1所述的一种基于改进的扩散模型的显微图像超分辨率重建方法，其特征在于，所述改进的扩散模型包括：
3.如权利要求2所述的一种基于改进的扩散模型的显微图像超分辨率重建方法，其特征在于，所述预测器fθ采用u-net结构作为主体，其包括第一卷积块、收缩部分、中间部分、扩展部分以及第二卷积块；所述第一卷积块将输入的图像xt转换为隐藏状态并与输入的转换后的低分辨率图像y0融合得到特征图；所述收缩部分包括多个依次相连的收缩单元以将输入的特征图的空间大小进行缩小；所述中间部分位于所述收缩部分和所述扩展部分之间并设置有两残差块；所述扩展部分包括多个依次相连的扩展单元，每个所述扩展单元的输入还连接至对应的所述收缩单元的输出实现拼接，每个扩展单元对拼接后的特征图进行放大；所述第二卷积模块将所述扩展部分输出的特征图进行处理输出预测的所述超分辨率图像。
4.如权利要求3所述的一种基于改进的扩散模型的显微图像超分辨率重建方法，其特征在于，所述第一卷积模块包括2d卷积层和mish激活函数；所述第二卷积模块...
【专利技术属性】
技术研发人员：刘三亚，翁骁，陈木旺，
申请(专利权)人：麦克奥迪实业集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。