一种基于深度神经网络的OCTA图像超分辨率重建方法技术

本发明专利技术公开了一种基于深度神经网络的OCTA图像超分辨率重建方法，包括：采集OCTA图像并进行预处理，获得初始数据集，将初始数据集划分为训练集和测试集；构建神经网络模型，基于训练集对神经网络模型进行训练，获得第一网络模型；基于测试集对第一网络模型进行测试，获得第二网络模型；基于第二网络模型对OCTA图像进行超分辨率重建，获得目标图像。本发明专利技术重建后的图像能够帮助医生高分辨率地识别视网膜脉络膜血流运动信息，对活体组织视网膜脉络膜微血管清晰成像，提高诊断准确率与便捷性。捷性。捷性。

【技术实现步骤摘要】
一种基于深度神经网络的OCTA图像超分辨率重建方法


[0001]本专利技术属于深度学习领域，特别是涉及一种基于深度神经网络的OCTA图像超分辨率重建方法。

技术介绍

[0002]眼底相干光层析血管成像术(Optical Coherence Tomography Angiography，OCTA)是一种非侵入性的新型眼底检测技术，可高分辨率识别网膜脉络膜的血流运动信息，对活体组织视网膜脉络膜微血管循环成像。在正常视网膜脉络膜血管改变及疾病的管理随访和治疗效果检测等方面具有独特优势。
[0003]眼底相干光层析血管成像术(Optical Coherence Tomography Angiography，OCTA)成像原理：该技术原理是基于眼底血管中存在流动的血细胞，通过对同一横断面进行多次扫描的OCT信号变化测量来探测血管腔中红细胞的运动，合并连续en
‑
face的信息后得到完整的视网膜脉络膜三维血管图像。因此，OCTA扫描信号与血流方向的关系以及血流的流速均会影响OCTA的信号强度。在视盘区域，若血流或组织分布与OCT扫描信号方向平行，则OCTA和OCT上均呈现弱信号。OCTA仅能显示限定速度范围内的血流信号，可检测到的最慢血流取决与两个连续OCTB
‑
scan序列的时间间隔，如果病灶内血流慢于可检测到的最慢血流，则在OCTA中无法显示。有别于传统的血管造影术和OCT，OCTA采用全新的成像模式，单次血流成像扫描所需时间为2
‑
3s。晶状体浑浊、玻璃体浑浊或视网膜疾病等，会导致OCTA扫描信号强度差，所得图像质量差。因此，如何高效地提升图像质量成为了当下急需攻克的问题。
[0004]超分辨率重建技术(Super Resolution)是指从观测到的低分辨率图像重建出相应的高分辨率图像，在一定条件下，可以克服图像系统内在分辨率的限制，从而提高被处理图像的分辨率。在眼底相干光层析血管成像系统中，可以用超分辨率重建技术来提高图像质量，在医学检测中往往需要通过层析成像技术识别并确定出病体的精确位置及详细情况，如阴影的边缘、病体占位的大小和位置等。但由于硬件设备及现有的成像技术的限制，我们还无法直接通过医学成像系统获取能够满足更高要求的高清晰图像。在医学图像领域，医生往往需要的是图像的细节来帮助他们做出正确的判断，因此超分辨率重建技术在医学成像领域有着至关重要的作用。
[0005]1955年，Toraldo di Francia在光学成像领域首次明确定义了超分辨率这一概念，主要是指利用光学相关的知识，恢复出衍射极限以外的数据信息的过程。1964年左右，Harris和Goodman则首次提出了图像超分辨率这一概念，主要是指利用外推频谱的方法合成出细节信息更丰富的单帧图像的过程。1984年，在前人的基础上，Tsai和Huang等首次提出使用多帧低分辨率图像重建出高分辨率图像的方法后,超分辨率重建技术开始受到了学术界和工业界广泛的关注和研究。超分辨率重建技术可分为两类：从多张低分辨率图像重建出高分辨率图像和从单张分辨率图像重建出高分辨率图像。传统的超分辨率重建方法通常采用插值法：基于插值的方法将每一张图像都看做是图像平面上的一个点，那么对超分
辨率图像的估计可以看做是利用已知的像素信息为平面上未知的像素信息进行拟合的过程，这通常由一个预定义的变换函数或者插值核来完成。基于插值的方法计算简单、易于理解，但是也存在着一些明显的缺陷。首先，它假设像素灰度值的变化是一个连续的、平滑的过程，但实际上这种假设并不完全成立。其次，在重建过程中，仅根据一个事先定义的转换函数来计算超分辨率图像，不考虑图像的降质退化模型，往往会导致复原出的图像出现模糊、锯齿等现象。
[0006]随着人工智能和计算机硬件的不断发展，Hinton等人在2006年提出了深度学习这一概念，其旨在利用多层非线性变换提取数据的高层抽象特征。凭借着强大的拟合能力，深度学习开始在各个领域崭露头角，特别是在图像与视觉领域，卷积神经网络大放异，这也使得越来越多的研究者开始尝试将深度学习引入到超分辨率重建领域。2014年，Dong等人首次将深度学习应用到图像超分辨率重建领域，他们使用一个三层的卷积神经网络学习低分辨率图像与高分辨率图像之间映射关系，自此，在超分辨率重建领域掀起了深度学习的浪潮。通过目前主流的研究发现，现有的超分辨神经网络模型的优越区域主要集中在低复杂度生物结构和提升两倍分辨率的成像条件下，如何进一步拓展卷积神经网络在医学图像中的适用范围，并提升超分辨成像和重建效果成为了研究人员亟待解决的问题。

技术实现思路

[0007]本专利技术旨在针对现有技术存在的不足，提供一种基于深度学习的超分辨率神经网络模型，将傅立叶通道注意力机制引入神经网络模型，提升超分辨成像和重建的效果。
[0008]为实现上述目的，本专利技术提供了如下方案：一种基于深度神经网络的OCTA图像超分辨率重建方法，包括：
[0009]采集OCTA图像，对所述OCTA图像进行预处理，获得初始数据集，并将所述初始数据集划分为训练集和测试集；
[0010]构建神经网络模型，基于所述训练集对所述神经网络模型进行训练，获得第一网络模型；
[0011]基于所述测试集对所述第一网络模型进行测试，获得第二网络模型；
[0012]基于所述第二网络模型对所述OCTA图像进行超分辨率重建，获得目标图像。
[0013]对所述OCTA图像进行预处理的过程包括对所述OCTA图像进行裁剪、翻转；
[0014]所述裁剪为将所述OCTA图像裁剪为512x512大小；
[0015]所述翻转为将裁剪后的得到的图片进行90
°
、180
°
和270
°
的翻转操作，获得所述初始数据集。
[0016]构建所述神经网络模型的过程包括，
[0017]在U
‑
net的基础上将两个3x3卷积替换为3x3卷积和7x7卷积后，与5x5卷积进行并行运算，并引入1x1卷积层，使用残差链接替换传统U
‑
net网络中的简单跳过连接，先穿过带有残差连接的卷积层链，再与解码器特征连接。
[0018]构建所述神经网络模型还包括获得第一激活函数GELU；
[0019]所述第一激活函数GELU通过在激活时对激活函数引入随机正则思想获得；
[0020]所述第一激活函数GELU表达式为：
[0021][0022]其中，
[0023]还包括，在所述解码器开端加入傅立叶通道注意力机制，根据不同特征之间的频域差异，在网络间传播时自适应地调整权重，获得网络对低分辨率图像的层次映射。
[0024]所述傅立叶通道注意力机制由四个相同的残差组组成，所述残差组分别由四个傅立叶通道注意力模块和一个跳跃链接组成。
[0025]基于所述训练集对所述神经网络模型进行训练还包括，将所述残差组送入由第一激活函数GELU激活的卷积层，将所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度神经网络的OCTA图像超分辨率重建方法,其特征在于，包括：采集OCTA图像，对所述OCTA图像进行预处理，获得初始数据集，并将所述初始数据集划分为训练集和测试集；构建神经网络模型，基于所述训练集对所述神经网络模型进行训练，获得第一网络模型；基于所述测试集对所述第一网络模型进行测试，获得第二网络模型；基于所述第二网络模型对所述OCTA图像进行超分辨率重建，获得目标图像。2.根据权利要求1所述的基于深度神经网络的OCTA图像超分辨率重建方法，其特征在于，对所述OCTA图像进行预处理的过程包括对所述OCTA图像进行裁剪、翻转；所述裁剪为将所述OCTA图像裁剪为512x512大小；所述翻转为将裁剪后的得到的图片进行90
°
、180
°
和270
°
的翻转操作，获得所述初始数据集。3.根据权利要求1所述的基于深度神经网络的OCTA图像超分辨率重建方法，其特征在于，构建所述神经网络模型的过程包括，在U
‑
net的基础上将两个3x3卷积替换为3x3卷积和7x7卷积后，与5x5卷积进行并行运算，并引入1x1卷积层，使用残差链接替换传统U
‑
net网络中的简单跳过连接，先穿过带有残差连接的卷积层链，再与解码器特征连接。4.根据权利要求3所述的基于深度神经网络的OCTA图像超分辨率重建方法，其特征在于，构建所述神经网络...

【专利技术属性】
技术研发人员：江旻珊，刘熠翕，张学典，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：