【技术实现步骤摘要】
本专利技术涉及一种生物医学成像与计算机视觉技术，特别涉及一种光学手术显微镜景深拓展方方法。
技术介绍
1、光学显微镜是一种利用光学原理进行成像的精密仪器，利用凸透镜的放大成像原理，通过物镜和目镜的组合实现对微小物体的放大观察。研究人员和医生大量使用光学显微镜来观察和量化细胞功能、器官发育或疾病机制。显微镜的光学分辨率(resolution)和成像景深(depth-of-field,dof)是使用过程中两个要考虑的重要参数指标，两者关系为：
2、
3、其中，λ为入射光中心波长；
4、可以看出分辨率越高，伴随的成像景深越浅，在临床应用中很大程度上受到浅景深的阻碍。例如在配备标准物镜的显微镜中要实现亚细胞横向分辨率(约2～3μm)会将景深限制在约30μm。在医学检验应用中为了实现高分辨率组织病理成像，通常将活检、手术标本用福尔马林固定并包埋，再用切片机切成约5μm厚(保证在成像景深范围内)，采用医用染料染色后在光学显微镜下进行评估。
5、光学手术显微镜在进行显微外科手术时扮演着至关重要的角色，景深在术中显微镜中的挑战更为显著。如图1所示，在术中显微镜成像过程中由于待观察组织表面非平坦，非平坦区域会导致图像中的区域不清晰，产生部分视野光学离(失)焦，即由于物镜与样品之间的距离变化或聚焦不准确，导致成像模糊或不清晰，从而使定位和视觉解释变得困难。因此需要显微镜的拓展景深使其兼容更深范围的成像深度。
6、显微图像的形成可以通过光学衍射建模，尖锐点状物体经过衍射成像为模糊点。由于光学
7、针对光学手术显微镜的景深与高分辨率需求相矛盾的问题，发展了一些方法实现显微镜景深拓展或者离焦重建应用。kim等人采用盲反卷积直接对离焦的模糊图像进行高分辨恢复，但由于缺乏系统点扩散函数先验知识，其性能通常会受到影响，此外反卷积处理速度也无法匹配显微镜的高通量数据流获取(scientific reports,2015,,5(1),9894)。随着人工智能技术的飞速发展，基于数据驱动的方法在校正准确度和处理速度方面显著优于以往反卷积等传统方法。shajkofci等人利用卷积神经网络估计空间变化的点扩散函数，再基于估计的定扩散函数采用反卷积算法对离焦图像去模糊实现离焦重建，与采用盲反卷积相比准确度提升，但因估计的点扩散函数近似为理想高斯模型，且作为估计值与真实值有误差，因此结果有待进一步提升(ieee transactions on image processing,2020,29,5848-5861)。更进一步地，jin等人首先采集显微镜的三维点扩散函数，将其施加到作为金标准的对焦图像上的每个位置获取整体离焦图像，再利用深度学习广泛使用的u-net网络进行离焦模糊图像到对焦清晰图像的映射训练实现景深拓展，但由于生成的失焦图像的失焦程度是整体一致的，不具有随机性和多样性，不适用于模拟手术显微镜同一视野中由于组织高低起伏引起的不同程度的失焦；此外需提前采集大量目标样本的对焦数据作为金标准用于训练，获取数据的负担重及泛化性能较差(pnas,2020,117(52),33051-33060)。
8、当前光学手术显微镜景深拓展方法方面研究不足体现在，难以获得符合手术显微镜成像的高质量配对训练数据用于模型训练：一方面真实采配对的离焦-对焦显微数据费时费力，且难以兼容训练样本的多样性和随机性，导致模型泛化能力不足；另一方面采用合成数据方式生成的训练数据难以符合物理学成像规律，以及难以满足接近真实手术显微镜对成像样本的随机失焦效果。考虑训练数据获取成本及质量难以保证模型对显微图像的离焦恢复效果，因此有待进一步提升手术显微镜的焦深拓展能力。
技术实现思路
1、针对难以获得符合手术显微镜成像的高质量配对训练数据用于模型训练的问题，提出了一种光学手术显微镜景深拓展方法。
2、本专利技术的技术方案为：
3、一种光学手术显微镜景深拓展方法，包括基于物理引导训练数据合成，模型训练，模型应用三个阶段，具体为以下步骤：
4、s1：收集开源高清高频图像数据库；
5、s2：采集手术显微镜不同焦点深度对应的点扩散函数；
6、s3：构建随机深度面型数据库；将面型深度范围缩放至采集的点扩散函数的采样深度范围；
7、s4：模拟光学显微镜对非平坦样本成像的部分失焦图像；由s1中随机选择一张图像作为待成像结构；由s3中随机选择一个面型作为待成像结构的表面深度信息，缩放面型尺寸与待成像结构数据尺寸一致；根据待成像结构每个位置对应深度，与s2中对应深度的点扩散函数进行卷积操作以此模拟对应位置经过显微镜光路衍射后的显微成像效果；将所有位置进行卷积操作后，得到此面型和待成像结构对应的部分失焦成像图，将部分失焦成像图添加泊松分布和高斯分布噪声后，得到最终模拟的部分失焦图像；
8、s5：模拟光学显微镜对平坦样本成像的完美对焦图像；由s1中选择在s4中所选择的同一张图像作为待成像结构，将此结构对应表面深度看作完全平坦，因此待成像结构每个位置与s2中对应0深度即焦面位置点扩散函数进行卷积操作以此模拟对应位置经过衍射后的显微成像效果，将所有位置进行卷积操作后，得到完全平坦面型和待成像结构对应的完全对焦成像图，将完全对焦成像图添加泊松分布和高斯分布噪声后，得到最终模拟的完全对焦图像；
9、s6：将同一待成像结构经s4和s5步骤产生的部分失焦图像-完美对焦图像组合作为模型训练需要的配对数据，经过重复s4和s5步骤，产生大量配对数据用于后续模型训练；
10、s7：模型训练；构建图像端到图像端的编码器-解码器结构网络模型，基于梯度下降法迭代优化，训练使模型输出结果接近完全对焦图像，即具备离焦恢复能力；
11、s8：模型应用；将手术显微镜术中显微成像结果输入到已训练好的模型中，模型输出结果为离焦恢复后的对焦图，即实现手术显微镜的景深拓展。
12、进一步的，具体实现步骤如下：
13、s1：收集开源高清高频图像数据库，包括含有丰富纹理或结构细节、高频信息的图像；
14、s2：采集手术显微镜不同焦点深度对应的点扩散函数；具体为：
15、以直径小于手术显微镜分辨能力的不透明微球近似理想点光源成像，以物镜焦点在微球中心为0焦面位置，设原始景深为±aμm，上下移动物镜焦点±bμm采样在不同位置时对应成像，其中b>a，经过图像裁剪、背景去除、像素值反转、像素归一化的图像处理程序，得到对应艾里斑图像，即显微镜光学系统的三维点扩散函数；
16、s3：构建随机深度面型数据库；将面型深度范围缩放至采集的点扩散函数的采样深度范围；<本文档来自技高网...
【技术保护点】
1.一种光学手术显微镜景深拓展方法，其特征在于，包括基于物理引导训练数据合成，模型训练，模型应用三个阶段，具体为以下步骤：
2.根据权利要求1所述的光学手术显微镜景深拓展方法，其特征在于，具体实现步骤如下：
3.根据权利要求1所述的光学手术显微镜景深拓展方法，其特征在于，步骤S1中，图像可以为自然纹理图像、高清显微图像。
4.根据权利要求1所述的光学手术显微镜景深拓展方法，其特征在于，步骤S7中，编码器-解码器结构网络模型可以为U-Net、ResU-Net。
【技术特征摘要】
1.一种光学手术显微镜景深拓展方法，其特征在于，包括基于物理引导训练数据合成，模型训练，模型应用三个阶段，具体为以下步骤：
2.根据权利要求1所述的光学手术显微镜景深拓展方法，其特征在于，具体实现步骤如下：
3.根据权利要求1...
【专利技术属性】
技术研发人员：杨建龙，张浩然，郭丁华，陈文光，
申请(专利权)人：上海美沃精密仪器股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。