基于神经网络的OCT图像病灶检测方法、装置及介质制造方法及图纸

本发明专利技术涉及人工智能，公开了一种基于神经网络的OCT图像病灶检测方法、装置及介质，其中，方法包括：获取OCT图像；将所述OCT图像输入病灶检测网络模型，通过所述病灶检测网络模型输出所述OCT图像的病灶框位置、病灶框类别得分以及病灶框阳性评分；根据病灶框位置、病灶框类别得分和病灶框阳性评分得到所述OCT图像的病灶检测结果；其中，所述病灶检测网络模型包括类别检测分支，用于得到每个候选框的位置和类别得分；病灶阳性评分回归分支，用于得到每个候选框属于病灶的阳性得分，以反映病灶阳性严重程度。本发明专利技术可以避免发生类间竞争，有效识别较小病灶，缓解误检漏检的问题，从而提高病灶检测的准确率。

【技术实现步骤摘要】
基于神经网络的OCT图像病灶检测方法、装置及介质
本专利技术涉及人工智能，尤其涉及一种基于神经网络的OCT图像病灶检测方法、装置、电子设备及计算机可读存储介质。
技术介绍
光相干断层扫描(OpticalCoherencetomography，OCT)是一种用于眼底疾病影像检查的成像技术，具有高分辨率、非接触、非创伤性的特点。由于眼球结构具有独特的光学特性，所以OCT成像技术在眼科领域尤其是眼底疾病检查中得到广泛的应用。目前，对眼科OCT的病灶识别检测通常采用深度卷积神经网络模型提取OCT图像中的特征并训练分类器来实现，所利用的神经网络模型需要大量的训练样本和人工标注。一般情况下，一只眼睛可以扫描得到20-30张OCT图像，虽然在图像级别能收集到较多的训练样本，但在眼睛级别收集大量样本的成本比较大，使得模型训练困难，从而影响通过模型得到的对眼科OCT图像病灶识别检测结果的准确性。公开号为CN110363226A的中国专利技术专利公开了一种基于随机森林的眼科病种分类识别方法、装置及介质，将OCT图像输入病灶识别模型输出对应识别的病灶类型的概率值，再将单眼对应的所有OCT图像的病灶类型的概率值输入随机森林分类模型得到该眼属于病种类别的概率值，从而得到最终的病种类别结果，但对于一些较小病灶无法有效进行识别，有可能出现漏检误检等问题。
技术实现思路
本专利技术提供一种基于神经网络的OCT图像病灶检测方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高病灶检测的准确率，避免产生漏检误检的问题。为了实现上述目的，本专利技术的第一个方面是提供一种基于神经网络的OCT图像病灶检测方法，包括：获取OCT图像；将所述OCT图像输入病灶检测网络模型，通过所述病灶检测网络模型输出所述OCT图像的病灶框位置、病灶框类别得分以及病灶框阳性评分；根据病灶框位置、病灶框类别得分和病灶框阳性评分得到所述OCT图像的病灶检测结果；其中，所述病灶检测网络模型包括：特征提取网络层，用于提取所述OCT图像的图像特征；候选区域提取网络层，用于提取所述OCT图像中所有候选框；特征池化网络层，用于将所有候选框对应的特征图均池化至固定大小；类别检测分支，用于得到每个候选框的位置和类别得分；病灶阳性评分回归分支，用于得到每个候选框属于病灶的阳性得分。在一个实施例中，所述特征提取网络层包括特征提取层和注意力机制层，其中，所述特征提取层用于提取图像特征；所述注意力机制层包括通道注意力机制层和空间注意力机制层，所述通道注意力机制层用于对提取的图像特征与特征通道权重进行加权处理；所述空间注意力机制层用于对提取的图像特征与特征空间权重进行加权处理。在一个实施例中，所述特征通道权重通过下述方式获取：对a*a*n维特征分别进行卷积核为a*a的全局最大池化处理和全局平均池化处理；将全局最大池化处理结果与全局平均池化处理结果相加，得到1*1*n的特征通道权重。在一个实施例中，所述特征空间权重通过下述方式获取：对a*a*n维特征分别进行卷积核为1*1的全局最大池化处理和全局平均池化处理，得到两个a*a*1的第一特征图；将得到的两个a*a*1的第一特征图按照通道维度进行拼接得到a*a*2的第二特征图；对a*a*2的第二特征图进行卷积运算，得到a*a*1的特征空间权重。在一个实施例中，根据病灶框位置、病灶框类别得分和病灶框阳性评分得到所述OCT图像的病灶检测结果的步骤包括：将每个候选框的病灶框类别得分和病灶框阳性得分进行相乘得到所述候选框的最终得分；将所述病灶框位置和所述最终得分作为所述候选框的病灶检测结果。在一个实施例中，将所述病灶框位置和所述最终得分作为所述候选框的病灶检测结果之前，还包括：对候选框进行合并；对合并得到的候选框进行筛选，若候选框的类别得分大于或等于预设阈值，则将其作为病灶框，若候选框的类别得分小于预设阈值，则将其剔除。为了实现上述目的，本专利技术的第二个方面是提供一种基于神经网络的OCT图像病灶检测装置，包括：图像获取模块，用于获取OCT图像；病灶检测模块，用于将所述OCT图像输入病灶检测网络模型，通过所述病灶检测网络模型输出所述OCT图像的病灶框位置、病灶框类别得分以及病灶框阳性评分；结果输出模块，用于根据病灶框位置、病灶框类别得分和病灶框阳性评分得到所述OCT图像的病灶检测结果；其中，所述病灶检测网络模型包括：特征提取网络层，用于提取所述OCT图像的图像特征；候选区域提取网络层，用于提取所述OCT图像中所有候选框；特征池化网络层，用于将所有候选框对应的特征图均池化至固定大小；类别检测分支，用于得到每个候选框的位置和类别得分；病灶阳性评分回归分支，用于得到每个候选框属于病灶的阳性得分。为了实现上述目的，本专利技术的第三个方面是提供一种电子设备，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的基于神经网络的OCT图像病灶检测方法。为了实现上述目的，本专利技术的第四个方面是提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于神经网络的OCT图像病灶检测方法。本专利技术实施例结合人工智能和神经网络模型对OCT图像进行病灶检测，并在病灶检测网络模型中增加了病灶阳性评分回归分支，通过病灶阳性评分回归分支得到每个候选框属于病灶的阳性得分，以反映病灶阳性严重程度，从而在获取OCT图像病灶检测结果时，将病灶阳性严重程度考虑在内。一方面，病灶阳性评分回归分支仅对病变阳性程度评分进行回归，可以避免发生类间竞争，有效识别较小病灶，缓解误检漏检的问题，从而提高病灶检测的准确率；另一方面，通过病灶阳性评分回归分支可以得到具体量化的病灶阳性严重程度得分，从而用于病灶的急迫性判断。附图说明图1为本专利技术一实施例提供的OCT图像病灶检测方法的流程示意图；图2为本专利技术一实施例提供的OCT图像病灶检测装置的模块示意图；图3为本专利技术一实施例提供的实现OCT图像病灶检测方法的电子设备的内部结构示意图；本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提供一种病灶检测方法。参照图1所示，为本专利技术一实施例提供的OCT图像病灶检测方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。在本实施例中，基于神经网络的OCT图像病灶检测方法包括：获取OCT图像；将所述OCT图像输入病灶检测网络模型，通过所述病灶检测网络模型输出所述OCT图像的病灶框位置、病灶框类别得分以及病灶框阳性评分；根据病灶框位置、病灶框类别得分和病灶框阳性评分得到所述OCT图本文档来自技高网...

【技术保护点】
1.一种基于神经网络的OCT图像病灶检测方法，其特征在于，所述方法包括：/n获取OCT图像；/n将所述OCT图像输入病灶检测网络模型，通过所述病灶检测网络模型输出所述OCT图像的病灶框位置、病灶框类别得分以及病灶框阳性评分；/n根据病灶框位置、病灶框类别得分和病灶框阳性评分得到所述OCT图像的病灶检测结果；/n其中，所述病灶检测网络模型包括：特征提取网络层，用于提取所述OCT图像的图像特征；候选区域提取网络层，用于提取所述OCT图像中所有候选框；特征池化网络层，用于将所有候选框对应的特征图均池化至固定大小；类别检测分支，用于得到每个候选框的位置和类别得分；病灶阳性评分回归分支，用于得到每个候选框属于病灶的阳性得分。/n

【技术特征摘要】
1.一种基于神经网络的OCT图像病灶检测方法，其特征在于，所述方法包括：
获取OCT图像；
将所述OCT图像输入病灶检测网络模型，通过所述病灶检测网络模型输出所述OCT图像的病灶框位置、病灶框类别得分以及病灶框阳性评分；
根据病灶框位置、病灶框类别得分和病灶框阳性评分得到所述OCT图像的病灶检测结果；
其中，所述病灶检测网络模型包括：特征提取网络层，用于提取所述OCT图像的图像特征；候选区域提取网络层，用于提取所述OCT图像中所有候选框；特征池化网络层，用于将所有候选框对应的特征图均池化至固定大小；类别检测分支，用于得到每个候选框的位置和类别得分；病灶阳性评分回归分支，用于得到每个候选框属于病灶的阳性得分。


2.如权利要求1所述的基于神经网络的OCT图像病灶检测方法，其特征在于，所述特征提取网络层包括特征提取层和注意力机制层，
其中，所述特征提取层用于提取图像特征；
所述注意力机制层包括通道注意力机制层和空间注意力机制层，所述通道注意力机制层用于对提取的图像特征与特征通道权重进行加权处理；所述空间注意力机制层用于对提取的图像特征与特征空间权重进行加权处理。


3.如权利要求2所述的基于神经网络的OCT图像病灶检测方法，其特征在于，所述特征通道权重通过下述方式获取：
对a*a*n维特征分别进行卷积核为a*a的全局最大池化处理和全局平均池化处理；
将全局最大池化处理结果与全局平均池化处理结果相加，得到1*1*n的特征通道权重。


4.如权利要求2所述的基于神经网络的OCT图像病灶检测方法，其特征在于，所述特征空间权重通过下述方式获取：
对a*a*n维特征分别进行卷积核为1*1的全局最大池化处理和全局平均池化处理，得到两个a*a*1的第一特征图；
将得到的两个a*a*1的第一特征图按照通道维度进行拼接得到a*a*2的第二特征图；
对a*a*2的第二特征图进行卷积运算，得到a*a*1的特征空间权重。


5.如权利要求1所述的基于神经网络的OCT图像病灶检测方法，其特征在于，根据病灶框位置、病灶框类别得分和病灶框阳性评分得到所述OCT图像的病灶检测结果的步骤包括：
将每个候选框的病灶框类别得分和病灶框阳性得分进行相乘得到所述候选框的最终得分；...

【专利技术属性】
技术研发人员：范栋轶，王立龙，王瑞，王关政，吕传峰，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44