连续切片透射电子显微镜图像恢复方法与系统技术方案

本发明专利技术公开了一种连续切片透射电子显微镜图像恢复方法与系统，提供一种ssTEM噪声图像仿真方法，能够针对不同噪声类型合成对应的ssTEM噪声图像，构造出应用网络训练的干净

【技术实现步骤摘要】
连续切片透射电子显微镜图像恢复方法与系统


[0001]本专利技术涉及图像恢复
，尤其涉及一种连续切片透射电子显微镜图像恢复方法与系统。

技术介绍

[0002]电子显微成像技术的发展极大地促进了神经元形态学和连接组学的研究，这对于理解脑智能的工作原理至关重要。在现有的不同的电子显微成像技术中，只有连续切片透射电子显微镜（ssTEM）能够以足以重建末端树突和突触的分辨率对大量组织进行成像。因此，它被广泛用于分析脑组织样本中的功能连接分析。然而，由于连续切片的样品制备不完善，三维ssTEM图像不可避免地会出现伪影。在这些伪影中，三种类型的噪声最常见，即缺失帧（MS）噪声、支撑膜折叠（SFF）噪声和染色沉淀（SP）噪声。缺失帧噪声是由于在手动切割过程中丢失了整个截面，导致图像空白。支撑膜折叠噪声也是由不完美的切割引起的，但过程更复杂。如图1所示，折叠效应不仅导致当前图像中出现内容缺失的黑线，而且还会引入周围区域的严重形变，从而与相邻图像产生较大的错位。与缺失帧噪声和支撑膜折叠噪声不同，染色沉淀噪声是由不完美染色引起的，这会在噪声图像中产生云状伪影，它通常伴随着大面积的污染和低对比度。此外，染色沉淀伪像经常出现在两个连续的图像上，使噪声更加严重。上述三类噪声导致ssTEM图像的质量大大降低，严重阻碍了后续的分析和可视化。例如，在神经元分割任务中，一张带有伪影的图像可能会中断许多神经元结构，从而导致错误的神经元重建。
[0003]为了减轻缺失帧噪声对神经元分割的影响，Funke 等人在分割网络训练阶段采用数据增强来模拟缺失帧的发生（J. Funke, F. Tschopp, W. Grisaitis, A. Sheridan, C. Singh, S. Saalfeld, and S. C. Turaga,
ꢀ“
Large scale image segmentation with structured loss based deep learning for connectome reconstruction,
”ꢀ
IEEE transactions on pattern analysis and machine intelligence, vol. 41, no. 7, pp. 1669
–ꢀ
1680, 2018.），但是忽略了其他两种更复杂的噪声：支撑膜折叠噪声和染色沉淀噪声。李等人完全丢弃噪声图像并用相邻图像的副本替换它（P. H. Li, L. F. Lindsey, M. Januszewski, M. Tyka, J. Maitin
‑
Shepard, T. Blakely, and V. Jain,
ꢀ“
Automated reconstruction of a serial
‑
section em drosophila brain with flood
‑
filling networks and local realignment,
”ꢀ
Microscopy and Microanalysis, vol. 25, no. S2, pp. 1364
–
1365, 2019.），这种替代策略在一定程度上减少了被中断的神经元，但仍然会导致重建不准确。
[0004]由于二维自然图像中的噪声（相机内部噪声、运动模糊）与ssTEM图像中的噪声很不一致，这就使得自然图像恢复的方法不能直接用于ssTEM图像的恢复。另外，ssTEM噪声图像没有与其对应的真实干净图像，而且目前也没有ssTEM图像噪声仿真方法，这使得基于深度学习的图像恢复方法不能直接用于ssTEM图像恢复。

技术实现思路

[0005]本专利技术的目的是提供一种连续切片透射电子显微镜图像恢复方法与系统，可以有效的生成干净
‑
噪声图像对，并结合适用于多种噪声的图像恢复网络，能够提升图像恢复性能。
[0006]本专利技术的目的是通过以下技术方案实现的：一种连续切片透射电子显微镜图像恢复方法，包括：根据噪声类型，结合不带噪声的ssTEM图像的中间帧切片图像合成相应的类型的ssTEM噪声图像，中间帧切片图像与相应的ssTEM噪声图像构成干净
‑
噪声图像对；其中，ssTEM图像表示连续切片透射电子显微镜图像，不带噪声的ssTEM图像包含不带噪声的前中后多帧切片图像；构建基于深度学习的ssTEM噪声图像恢复网络，输入不带噪声的ssTEM图像的前后帧切片图像，得到对ssTEM噪声图像的初步恢复图像；对于第一噪声类型对应的ssTEM噪声图像，所述初步恢复图像即为最终恢复图像；对于第二噪声类型对应的ssTEM噪声图像，输入ssTEM噪声图像和初步恢复图像，通过估计形变光流对ssTEM噪声图像进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；对于第三噪声类型对应的ssTEM噪声图像，输入ssTEM噪声图像，对ssTEM噪声图像的亮度和/或对比度进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；利用最终恢复图像与相应的干净
‑
噪声图像对中中间帧切片图像的差异构造损失函数训练所述基于深度学习的ssTEM噪声图像恢复网络；将待恢复的ssTEM噪声图像输入至训练后的基于深度学习的ssTEM噪声图像恢复网络，根据所述待恢复的ssTEM噪声图像的噪声类型获得最终恢复图像。
[0007]一种连续切片透射电子显微镜图像恢复系统，包括：图像对构造单元，用于根据噪声类型，结合不带噪声的ssTEM图像的中间帧切片图像合成相应的类型的ssTEM噪声图像，中间帧切片图像与相应的ssTEM噪声图像构成干净
‑
噪声图像对；其中，ssTEM图像表示连续切片透射电子显微镜图像，不带噪声的ssTEM图像包含不带噪声的前中后多帧切片图像；网络构建与训练单元，用于构建基于深度学习的ssTEM噪声图像恢复网络，输入不带噪声的ssTEM图像的前后帧切片图像，得到对ssTEM噪声图像的初步恢复图像；对于第一噪声类型对应的ssTEM噪声图像，所述初步恢复图像即为最终恢复图像；对于第二噪声类型对应的ssTEM噪声图像，输入ssTEM噪声图像与初步恢复图像，通过估计形变光流对ssTEM噪声图像进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；对于第三噪声类型对应的ssTEM噪声图像，输入ssTEM噪声图像，对ssTEM噪声图像的亮度和/或对比度进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；利用最终恢复图像与相应干净
‑
噪声图像对中的中间帧切片图像的差异构造损失函数训练所述基于深度学习的ssTEM噪声图像恢复网络；图像恢复单元，用于将待恢复的ssTEM噪声图像输入至训练后的基于深度学习的ssTEM噪声图像恢复网络，根据所述待恢复的ssTEM噪声图像的噪声类型获得最终恢复图像。
[0008]一种处理设备，包括：一个或多个处理器；存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种连续切片透射电子显微镜图像恢复方法，其特征在于，包括：根据噪声类型，结合不带噪声的ssTEM图像的中间帧切片图像合成相应的类型的ssTEM噪声图像，中间帧切片图像与相应的ssTEM噪声图像构成干净
‑
噪声图像对；其中，ssTEM图像表示连续切片透射电子显微镜图像，不带噪声的ssTEM图像包含不带噪声的前中后多帧切片图像；构建基于深度学习的ssTEM噪声图像恢复网络，输入不带噪声的ssTEM图像的前后帧切片图像，得到对ssTEM噪声图像的初步恢复图像；对于第一噪声类型对应的ssTEM噪声图像，所述初步恢复图像即为最终恢复图像；对于第二噪声类型对应的ssTEM噪声图像，输入ssTEM噪声图像和初步恢复图像，通过估计形变光流对ssTEM噪声图像进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；对于第三噪声类型对应的ssTEM噪声图像，输入ssTEM噪声图像，对ssTEM噪声图像的亮度和/或对比度进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；利用最终恢复图像与相应的干净
‑
噪声图像对中中间帧切片图像的差异构造损失函数训练所述基于深度学习的ssTEM噪声图像恢复网络；将待恢复的ssTEM噪声图像输入至训练后的基于深度学习的ssTEM噪声图像恢复网络，根据所述待恢复的ssTEM噪声图像的噪声类型获得最终恢复图像。2.根据权利要求1所述的一种连续切片透射电子显微镜图像恢复方法，其特征在于，所述噪声类型包括支撑膜折叠噪声类型，其为第二噪声类型，对应的ssTEM噪声图像为支撑膜折叠噪声图像，合成方式包括：从中间帧切片图像的边缘随机选择两个位置点，记为：位置点p1，坐标为(x1,y1)，位置点p2，坐标为(x2,y2)；利用两个位置点确定支撑膜折叠噪声图像中黑线的方程：其中，x为直线方程上任一点的横坐标，y为直线方程上任一点的纵坐标，为直线方程的斜率，，为直线方程的截距，；计算光流方向：；对于中间帧切片图像中的每个位置点(i,j)，计算与黑线的距离：计算光流大小：其中，为光流大小衰减因子，为黑线边界的光流大小，，为设定的黑线宽度，为设定的实际由支撑膜折叠引起的图像形变的宽度，，当时，将置为0；计算每个位置点(i,j)沿水平方向和竖直方向的光流大小，表示为：
其中，H、W分别为中间帧切片图像的高度、宽度，表示位置点(i,j)沿水平方向的光流大小，表示位置点(i,j)沿竖直方向的光流大小，综合所有位置点沿水平方向和竖直方向的光流大小，获得折叠光流；利用折叠光流对中间帧切片图像进行形变，同时，结合黑线的方程与设定的黑线宽度将中间帧切片图像相应位置使用黑色遮盖，合成支撑膜折叠噪声图像。3.根据权利要求1所述的一种连续切片透射电子显微镜图像恢复方法，其特征在于，所述噪声类型包括染色沉淀噪声类型，其为第三噪声类型，对应的ssTEM噪声图像为染色沉淀噪声图像，合成方式包括：从真实的ssTEM染色沉淀图像中提取染色沉淀噪声斑块，提取染色沉淀噪声斑块的轮廓，并进行数据增广操作，获得多个染色沉淀噪声斑块的轮廓；对于每一染色沉淀噪声斑块的轮廓，根据轮廓面积大小计算染色沉淀噪声斑块的平均灰度值，基于所述平均灰度值以及染色沉淀噪声斑块中每一位置点与中心的距离，确定每一位置点的灰度值，并进行灰度填充，获得合成的染色沉淀噪声斑块；利用所有合成的染色沉淀噪声斑块构建染色沉淀斑块库；对中间帧切片图像的对比度和/或亮度进行随机调整，将随机调整后的图像与从染色沉淀斑块库中随机选择的合成的染色沉淀噪声斑块融合，合成染色沉淀噪声图像。4.根据权利要求1所述的一种连续切片透射电子显微镜图像恢复方法，其特征在于，所述对于第二噪声类型对应的ssTEM噪声图像，输入ssTEM噪声图像和初步恢复图像，通过估计形变光流对ssTEM噪声图像进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像...

【专利技术属性】
技术研发人员：熊志伟，邓诗雨，黄炜，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：