用于OCT图像转化、眼科图像去噪的系统及其神经网络技术方案

一种OCT系统，包括被训练成接收单个OCT/图像并提供图像转换和/或去噪功能的机器学习(ML)模型。ML模型可以基于神经网络(NN)架构，该架构包括收缩路径中的一系列编码模块，随后是通向输出卷积模块的扩展路径中的一系列解码模块。中间误差模块确定深度误差度量，例如，在训练输出图像和至少一个编码模块和/或解码模块之间，并且来自输出卷积模块的误差与深度误差度量组合。可以使用真实平均化的图像作为基础真实训练输出来训练NN。或者，NN可以使用随机选择的单个OCT图像/扫描作为训练输出来训练。训练。训练。

【技术实现步骤摘要】
【国外来华专利技术】用于OCT图像转化、眼科图像去噪的系统及其神经网络


[0001]本专利技术总体上涉及光学相干断层扫描(OCT)领域。更具体地，旨在提高OCT扫描/图像以及其他眼科图像的质量。

技术介绍

[0002]早期诊断对于成功治疗各种眼病至关重要。光学成像是视网膜无创检查的首选方法。虽然年龄相关性黄斑变性、糖尿病性视网膜病变和青光眼被认为是视力丧失的主要原因，但通常是在损害表现出来后才做出诊断。这主要是由于一些视网膜成像技术的分辨率相对较低。因此，先进的灵敏和精确的眼科成像和诊断工具的目标是提供能够在疾病的临床前阶段分辨/显示(例如，用于检测和监测)视网膜微结构的病理变化的成像模态。
[0003]光学相干断层扫描(OCT)系统就是这样一种先进的眼科成像和诊断工具。根据所使用的技术，OCT可以提供大约1至15μm范围内的轴向分辨率以及几微米至几十微米范围内的横向分辨率。可以理解，实现更高的分辨率通常需要大量的研究、成本和复杂性。
[0004]通过软件解决方案来提高图像质量的尝试收效甚微。例如，本领域已知的基于Hessian的血管选择性过滤器可以提供改善的血管连通性，但是已经发现引入了在原始(例如，真实)扫描中没有发现的假想(例如，虚构)结构。因为基于Hessian的血管选择性过滤器不忠实于原始扫描的真实血管结构，所以在检查眼科图像中的病理学用途是有限的。
[0005]本专利技术的目的是提供一种分辨率提高的OCT系统。
[0006]本专利技术的目的是提供一种系统和方法，用于改善现有OCT或OCT血管造影(OCTA)系统的成像能力，该系统对OCT或OCTA系统的硬件修改最小。
[0007]本专利技术的另一目的是提供一种用于增强现有OCT图像的图像质量的系统和方法。

技术实现思路

[0008]在光学相干断层扫描(OCT)系统中实现上述目的，该系统具有：光源，用于产生光束；分束器，分束器具有分束表面，用于将第一部分光导入参考臂，并将第二部分光导入样本臂；光学器件，用于将样本臂中的光导向样本上的一个或多个位置；检测器，用于接收从样本臂和参考臂返回的光，并响应于此产生信号；处理器，用于将信号转换成第一图像并将第一图像提交给图像转化模块，图像转化模块将第一图像转化成第二图像，第二图像的特征在于与第一图像相比抖动减少和虚构结构的创建最小化中的一个或多个；以及输出显示器，用于基于第二图像显示输出图像。图像转化模块优选地包括使用训练输入图像组和训练输出图像的目标组的机器学习模块(例如，深度学习、神经网络)，其中，训练输入图像独立于训练输出图像生成。例如，训练输入不基于添加了已知类型的噪声(例如，高斯噪声、泊松噪声、斑点噪声、椒盐噪声等)的训练输出图像。尽管如此，训练输出图像可以具有比训练输入图像更高的图像质量，使得训练机器学习模块(例如，在操作中)产生第二图像，该第二图像是第一图像的更高质量表示。例如，可以通过平均训练输入图像组来构建单独的训练输出图像。可选地，训练输入图像和训练输出图像可以由不同模态的OCT生成，其中，能够创
建较高质量图像的OCT模态用于生成训练输出图像，而生成较低质量图像的OCT模态用于生成输入训练图像。例如，自适应光学器件OCT系统可用于生成训练输出图像，非自适应光学器件OCT系统(例如，时域OCT、频域OCT、谱域OCT和/或扫描源OCT)中的一个或多个可用于生成训练输入图像。以这种方式，转化模块有效地将第一模态的OCT图像转换成类似于由第二不同模态的OCT生成的图像。
[0009]通常，这种图像转化模块需要大量训练样本(例如，大量训练输入图像和训练输出图像)来进行有效的深度学习。例如，当拍摄自然场景的图像时，这可能不是问题，但是当试图收集大量眼科图像库(特别是大量的OCT图像)来训练ML模型时，这是有问题的。创建用于深度学习的大型眼科图像库在经济上可能是禁止的。本专利技术提供了一种新颖的神经网络(NN)架构，其使用比典型的更小的训练样本库来提供深度学习结果。此外，本NN偏离现有已知的图像转换神经网络架构，以定义具有更少学习层或模块的紧凑形式。本NN适用于多种成像模态，例如，不同类型的眼科图像，例如，来自眼底成像系统和OCT系统的图像，但是在本文是在OCT图像的背景下说明性描述的。因此，本NN可以被描述为包含在OCT系统中，但是应当理解，本NN架构也可以包含在其他类型的眼科成像系统中，并且可以应用于其他类型的眼科图像的处理。例如，本NN可用于处理先前生成的眼科图像的现有库(例如，先前存在的OCT图像或眼底图像的存储器)并提高其图像质量。
[0010]已知的U
‑
Net架构传统上局限于图像分类和图像分割。目前的NN架构是基于U
‑
Net的，但将其功能扩展到图像转化。以前，U
‑
Net会与另一NN相结合，例如，对抗网络(GAN)，以实现图像转化。在这种现有技术的情况下，U
‑
Net将提供图像分割，而GAN将提供图像转化。然而，当前的架构建立在基本的U
‑
Net架构上，因此直接提供图像转化，而不需要GAN或任何其他辅助NN来实现图像转化。本NN架构可以包括：输入模块，用于接收第一图像(例如，输入OCT或眼底图像)；跟随输入模块的收缩路径，其中，收缩路径包括多个编码模块，每个编码模块具有卷积级(例如，一个或多个卷积层)、激活函数和最大池化操作；跟随收缩路径的扩展路径，其中，扩展路径包括多个解码模块(例如，一个或多个解码层)，每个解码模块将其当前值与对应的编码模块的当前值级联；输出卷积模块，不包括池化层并且不包括激活函数，其中，输出卷积模块接收来自扩展路径中最后一个解码模块的输出。在传统的U
‑
Net中，扩展路径中的每个解码模块将包括激活函数(例如，sigmoid)层。然而，在本专利技术中，扩展路径中的一个或多个(优选地所有)解码模块不具有任何激活层。解码模块中缺少激活层有助于本架构实现图像转化功能。在传统的神经网络中，来自输出卷积模块的输出通常将与目标训练输出图像进行比较，以确定损失误差，并且该损失误差将通过NN(例如，在反向传播过程中)被反馈，以调整NN的权重和偏差，从而在随后的训练周期中产生具有较小误差的输出。本专利技术偏离了这一实践。本NN还包括至少一个中间误差模块，其确定至少一个编码模块和/或一个解码模块的误差度量。该中间误差模块获取其至少一个编码模块和/或一个解码模块的当前结果，将当前结果升级到当前训练输出图像的分辨率，并将其与当前训练输出图像进行比较，以定义一个或多个深度误差度量。然后，额外的深度误差度量值与来自输出卷积模块的损失误差相结合，以定义系统的总损失误差，然后可以通过NN反馈该误差，以调整其内部权重和偏差。这些多个误差源可以通过例如直接相加、加权组合和/或平均来组合。通过将训练输出图像引入NN的各个内部阶段，防止NN偏离目标输出太远，从而也有助于实现图像转化。
[0011]本NN可以用于其他目的，例如，减少眼科图像中的噪声伪像。然而，应当理解，其他NN架构同样可以用于实现一些当本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种光学相干断层扫描(OCT)系统，包括：光源，用于产生光束；分束器，所述分束器具有分束表面，用于将第一部分光导入参考臂，并将第二部分光导入样本臂；光学器件，用于将所述样本臂中的光导向样本上的一个或多个位置；检测器，用于接收从所述样本臂和所述参考臂返回的光，并响应于此产生信号；处理器，用于将所述信号转换成第一图像并将所述第一图像提交给图像转化模块，所述图像转化模块将所述第一图像转化成第二图像，所述第二图像的特征在于与所述第一图像相比抖动减少和虚构结构的创建最小化中的一个或多个；以及输出显示器，用于基于所述第二图像显示输出图像；其中，所述图像转化模块包括使用训练输入图像组和训练输出图像的目标组的机器学习模块，所述训练输入图像独立于所述训练输出图像生成。2.根据权利要求1所述的系统，其中，所述处理器进一步将当前第二图像与一个或多个先前获得的第二图像组合，以生成所述输出图像。3.根据权利要求2所述的系统，其中，所述当前第二图像通过直接平均和加权平均中的一种与所述一个或多个先前获得的第二图像组合，其中，更高图像质量的第二图像被更重地加权。4.根据权利要求1所述的系统，其中：所述处理器定义多个所述第一图像，将多个所述第一图像提交给所述图像转换模块，以产生对应的多个第二图像，并使用OCT血管造影(OCTA)处理技术从多个所述第二图像计算运动对比度信息；并且所述输出图像显示所述运动对比度信息。5.根据权利要求1所述的系统，其中，所述处理器：定义多个所述第一图像；将多个所述第一图像提交给所述图像转化模块，以产生对应的多个第二图像；将图像配准技术应用于多个所述第二图像，以产生图像对齐设置；并且至少部分基于多个所述第二图像的图像对齐设置来对齐多个所述第一图像。6.根据权利要求1所述的系统，其中：所述第一图像被分成多个第一图像段；以及所述图像转化模块将每个第一图像段单独转化成对应的第二图像段，并组合所述第二图像段，以构建所述第二图像。7.根据权利要求1所述的系统，其中：至少一个训练输出图像被定义为测试样本的相同区域的一组OCT测试图像的平均；并且所述训练输入图像的至少一部分包括在所述一组OCT测试图像中。8.根据权利要求1所述的系统，其中：所述第一图像是所述样本的第一区域；并且所述第二图像具有被定义为所述第一区域的多个假设OCT扫描与所述第一图像的平均值的特征。
9.根据权利要求1所述的系统，其中，所述机器学习模块是经训练的NN，并且所述NN的训练包括：收集目标眼科区域的多个OCT测试图像；对多个所述OCT测试图像进行平均，以定义所述目标眼科区域的对应的平均化的图像；将所述目标眼科区域的所述OCT测试图像作为训练输入图像分别单独输入到所述神经网络，并提供其对应的平均化的图像，作为所述神经网络的其各自对应的训练输出图像。10.根据权利要求9所述的系统，其中，所述NN的训练还包括：将每个OCT测试图像分成多个测试段；将其对应的平均化的图像分成多个对应的基础真实段；将测试段与对应的基础真实段相关联；分别单独将相关的测试段作为训练输入图像提交给所述神经网络，并提供其相关的基础真实段，作为所述神经网络的训练输出图像。11.根据权利要求9所述的系统，还包括将当前输入的OCT测试图像与所述神经网络的对应的当前输出进行组合，以定义组合网络输出，并将所述组合网络输出与对应的训练输出图像进行比较。12.根据权利要求1所述的系统，其中，所述训练输入图像和所述训练输出图像包括健康眼睛的图像和患病眼睛的图像的混合。13.根据权利要求1所述的系统，其中：所述第一图像是第一成像模态；以及所述第二图像模拟不同于所述第一成像模态的第二成像模态。14.根据权利要求13所述的系统，其中，所述第一模态和所述第二模态是包括时域OCT、谱域OCT、扫频源OCT和自适应光学器件OCT(AO
‑
OCT)中的一种或多种的混合物。15.根据权利要求1所述的系统，其中：所述OCT系统是第一模态；使用用所述第一模态的第一OCT装置拍摄的第三图像作为所述训练输入图像组，并且使用用第二模态的第二OCT装置拍摄的第四图像作为所述训练输出图像的目标组来训练所述机器学习模块，所述第二模态不同于所述第一模态；并且所述第二图像具有由所述第二模态的OCT系统生成的图像的特征。16.根据权利要求15所述的系统，其中：所述第一模态的所述第一OCT装置是非自适应光学器件OCT类型；所述第二模态的所述第二OCT装置是自适应光学器件OCT类型；所述第一OCT装置获得的所述第三图像大于所述第二OCT装置获得的所述第四图像，所述第三图像被分成与所述第四图像大小相似的第三图像段，并且每个第三图像段与对应的第四图像相关；并且相关的第三段作为训练输入图像被分别单独提交给所述神经网络，并且提供其对应的相关的第四图像，作为所述神经网络的训练输出图像。17.根据权利要求1所述的系统，其中，所述机器学习模块是神经网络，包括：a)输入模块，用于接收所述第一图像；b)跟随所述输入模块的收缩路径，所述收缩路径包括多个编码模块，每个编码模块具
有卷积级、激活函数和最大池化操作；c)跟随收缩路径的扩展路径，所述扩展路径具有多个解码模块，每个解码模块将其当前值与对应编码模块的当前值级联；d)输出卷积模块，不包括池化层和sigmoid层激活函数，所述输出卷积模块接收来自所述扩展路径中最后一个解码模块的输出，并产生初步输出误差；以及e)中间误差模块，所述中间误差模块确定至少一个编码模块和/或一个解码模块的误差度量；并且在所述神经网络的训练期间，来自所述输出卷积模块的所述初步输出误差与来自所述中间误差模块的所述误差度量相结合。18.根据权利要求17所述的系统，其中，所述输出卷积模块还接收所述第一图像，并且所产生的初步输出误差至少部分基于由所述输出卷积模块接收的输入图像。19.根据权利要求17所述的系统，其中，在所述神经网络的训练期间：所述中间误差模块将所述误差度量确定为当前训练输出图像和所述中间误差模块的对应的编码模块和/或解码模块的当前值之间的误差；并且来自所述输出卷积模块的所述初步输出误差基于所述当前训练输出图像和所述输出卷积模块的当前值。20.一种眼科成像系统，包括：处理器，用于获取第一图像，并将所述第一图...

【专利技术属性】
技术研发人员：阿林多姆，
申请(专利权)人：卡尔蔡司医疗技术股份公司，
类型：发明
国别省市：