超广角眼底图像生成方法及设备技术

本发明专利技术提供一种超广角眼底图像生成方法及设备，其中一种模型训练方法包括：获取多个训练数据，所述训练数据包括普通眼底图像和超广角眼底图像；利用所述多个训练数据对神经网络进行训练，使其根据所述普通眼底图像生成与所述超广角眼底图像足够相似的图像。

【技术实现步骤摘要】
超广角眼底图像生成方法及设备
本专利技术涉及医学图像处理领域，具体涉及一种超广角眼底图像生成方法及设备。
技术介绍
眼底检查可用于发现糖尿病视网膜病变(DR)、年龄相关性黄斑变性(AMD)和青光眼等视网膜疾病。然而，白内障、玻璃体混浊等屈光间质较弱的疾病，由于光路阻塞，往往很难通过传统的眼底相机进行检查。21世纪初，超广角眼底成像技术首次投入市场使用，图像的拍摄范围可以检查200°范围内的视网膜，通常能够覆盖到眼底的80％的区域。而传统的视网膜摄像机只能达到大约30°-60°。超广角成像可以覆盖更大的视网膜区域，可以筛查更多来自周边视网膜的病理改变，如视网膜变性、脱离、出血、渗出等。图1是一张超广角眼底照片，其中圆圈内的部分代表了传统眼底相机所能覆盖的眼底范围(相当于圆圈内是普通眼底图像)。由图可见，传统眼底相机检查范围有限，一些在周围的病变并不能被检测到。在大数据驱动算法的时代，数据的稀缺性一直是医疗图像处理需要攻克的难题之一。与常规眼底照片相比，尽管超广角照片拥有着诸多优势，但由于其目前普及率较低，并且可公开的数据不多，能够用于训练机器学习模型的样本图像数量十分有限。
技术实现思路
有鉴于此，本专利技术提供一种超广角眼底图像生成模型训练方法，包括：获取多个训练数据，所述训练数据包括普通眼底图像和超广角眼底图像；利用所述多个训练数据对神经网络进行训练，使其根据所述普通眼底图像生成与所述超广角眼底图像足够相似的图像。可选地，同一个训练数据中的普通眼底图像和超广角眼底图像拍摄自同一眼球。可选地，所述神经网络为生成对抗网络，包括两个生成器和一个鉴别器，其中第一生成器用于根据所述普通眼底图像生成超广角眼底图像，第二生成器用于根据生成的超广角眼底图像重建普通眼底图像，所述鉴别器用于判断生成的超广角眼底图像是否为训练数据中的图像，训练过程中根据所述生成器的损失函数以及所述鉴别器的损失函数优化所述生成对抗网络的参数。可选地，同一个训练数据中的普通眼底图像和超广角眼底图像拍摄自不同的眼球。可选地，所述神经网络为生成对抗网络，包括两个生成器和两个鉴别器，其中第一生成器用于根据所述普通眼底图像生成超广角眼底图像，第二生成器用于根据生成的超广角眼底图像重建普通眼底图像；所述第二生成器还用于根据所述超广角眼底图像生成普通眼底图像，所述第一生成器还用于根据生成的普通眼底图像重建超广角眼底图像；第一鉴别器用于判断生成的超广角眼底图像是否为训练数据中的图像，第二鉴别器用于判断生成的普通眼底图像是否为训练数据中的图像，训练过程中根据所述两个生成器的损失函数以及所述两个鉴别器的损失函数优化所述生成对抗网络的参数。可选地，获取训练数据中的超广角眼底图像的步骤包括：获取超广角眼底照片；利用分割网络对去除所述超广角眼底照片中的干扰影像保留眼底影像，得到所述超广角眼底图像。本专利技术还提供一种生成超广角眼底图像的方法，包括：获取普通眼底图像，利用上述方法训练的神经网络根据所述普通眼底图像生成超广角眼底图像。可选地，所述神经网络为生成对抗网络，利用所述生成对抗网络中的第一生成器根据所述普通眼底图像生成超广角眼底图像。相应地，本专利技术提供一种超广角眼底图像生成模型训练设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述超广角眼底图像生成模型训练方法。相应地，本专利技术提供一种生成超广角眼底图像的设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述生成超广角眼底图像的方法。根据本专利技术提供的超广角眼底图像生成模型训练方法及设备，通过由普通眼底图像和超广角眼底图像组成的训练数据，使神经网络学习普通眼底图像和超广角眼底图像的映射关系，使训练后的网络可以根据任何给定的普通眼底图像生成超广角眼底图像，本方案训练的模型可以有效解决训练数据稀缺的问题。根据本专利技术提供的生成超广角眼底图像的方法及设备，由于普通眼底图像相对比较丰富，使用生成对抗网络根据大量的普通眼底图像可以生成大量的超广角眼底图像，并且生成的图像可保留普通眼底图像的一些特征，使其包含丰富各异的医学信息，本方案可作为本领域中十分有效的数据增强手段，有助于扩充已有的超广角眼底数据，为超广角模型的训练提供更多的数据，提升模型检测视网膜疾病的表现，对实现更为精准高效的超广角眼底自动化筛查提供可靠的数据来源。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为超广角眼底图像与普通眼底图像的对比示意图；图2是一张普通眼底图像；图3是一张超广角眼底图像；图4为本专利技术实施例中的一种生成对抗网络的结构示意图；图5为本专利技术实施例中的另一种生成对抗网络的结构示意图；图6为本专利技术实施例中的第三种生成对抗网络的结构示意图；图7为本专利技术实施例中分割超广角眼底图像的结果；图8为本专利技术实施例中训练分割网络所使用的标注图像；图9为本专利技术实施例中生成超广角眼底图像的示意图。具体实施方式下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，下面所描述的本专利技术不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。本专利技术实施例提供一种超广角眼底图像生成模型训练方法，本方法可以由计算机或服务器等电子设备执行，使用训练数据训练一个用于生成超广角眼底图像的神经网络作为所述模型。首先获取多个训练数据，各个训练数据分别包括一个普通眼底图像和一个超广角眼底图像。图2示出了一个普通眼底图像，在本领域中也称为常规眼底图像或者眼底图像，是通过一般的视网膜摄像机拍摄的范围约在30°-60°的眼底影像。图3出了一个超广角眼底图像，该图像通常能够覆盖到眼底80％的区域，拍摄范围约为200°。两种眼底图像的主要区别是拍摄范围不同，所使用的拍摄设备不同，对此可简称两种眼底图像具有不同的模态。同一训练数据中的两种眼底图像可以拍摄自同一人的同一眼球，也即这两张图像是高度匹配的；或者，同一训练数据中的两种眼底图像也可以拍摄自不同人的眼球。本实施例本文档来自技高网...

【技术保护点】
1.一种超广角眼底图像生成模型训练方法，其特征在于，包括：/n获取多个训练数据，所述训练数据包括普通眼底图像和超广角眼底图像；利用所述多个训练数据对神经网络进行训练，使其根据所述普通眼底图像生成与所述超广角眼底图像足够相似的图像。/n

【技术特征摘要】
1.一种超广角眼底图像生成模型训练方法，其特征在于，包括：
获取多个训练数据，所述训练数据包括普通眼底图像和超广角眼底图像；利用所述多个训练数据对神经网络进行训练，使其根据所述普通眼底图像生成与所述超广角眼底图像足够相似的图像。


2.根据权利要求1所述的方法，其特征在于，同一个训练数据中的普通眼底图像和超广角眼底图像拍摄自同一眼球。


3.根据权利要求1或2所述的方法，其特征在于，所述神经网络为生成对抗网络，包括两个生成器和一个鉴别器，其中第一生成器用于根据所述普通眼底图像生成超广角眼底图像，第二生成器用于根据生成的超广角眼底图像重建普通眼底图像，所述鉴别器用于判断生成的超广角眼底图像是否为训练数据中的图像，训练过程中根据所述生成器的损失函数以及所述鉴别器的损失函数优化所述生成对抗网络的参数。


4.根据权利要求1所述的方法，其特征在于，同一个训练数据中的普通眼底图像和超广角眼底图像拍摄自不同的眼球。


5.根据权利要求1或4所述的方法，其特征在于，所述神经网络为生成对抗网络，包括两个生成器和两个鉴别器，其中第一生成器用于根据所述普通眼底图像生成超广角眼底图像，第二生成器用于根据生成的超广角眼底图像重建普通眼底图像；所述第二生成器还用于根据所述超广角眼底图像生成普通眼底图像，所述第一生成器还用于根据生成的普通眼底图像重建超广角眼底图像；
第一鉴别器用于判断生成的超广角眼底图像是否为训练数据中的图像，第二鉴别器用于判断生成的普...

【专利技术属性】
技术研发人员：琚烈，戈宗元，王欣，熊健皓，赵昕，和超，张大磊，
申请(专利权)人：上海鹰瞳医疗科技有限公司，
类型：发明
国别省市：上海;31