一种基于改进RNN的甲状腺结节自动检测方法技术

一种基于聚焦注意力机制attention的甲状腺结节自动检测方法。超声检查在对甲状腺良性结节及甲状腺癌的鉴别诊断和评估方面，有着安全、无创、诊断率高等优势，在临床工作中已经得到了广泛应用，是检测甲状腺结节的首选方法。甲状腺结节的超声征象，如形状、纵横比、回声、硬度、边缘、血流分布和钙化等，是评估结节良恶性的重要依据。基于此提出一种基于改进RNN的甲状腺结节自动检测方法。所述结节自动检测方法包括以下步骤：A、图像预处理，CNN提取图像特征；B、RNN解码多边形定点用于定位结节；C、在分类网络中加入attentionmodule提升RNN性能；D、使用评估网络选取最佳多边形；E、使用门控神经网络GGNN或者SRGNN进行上采样，提高输出分辨率。本发明专利技术能够实现对甲状腺结节超声图像的全自动精准分割，对甲状腺结节的诊断具有重要意义。

【技术实现步骤摘要】
一种基于改进RNN的甲状腺结节自动检测方法
本专利技术属于医疗领域,特别涉及了甲状腺结节学科诊治和研究一种能够通过改进RNN去自动检测甲状腺结节类别的方法。
技术介绍
近年来，随着人数的增长，甲状腺结节发病率也在逐年升高，现在甲状腺结节的患病人数比20年前增长了将近10倍，再所有患者的甲状腺结节中，有5％-15％的结节呈现出恶性，高比例的恶性结节患病率极大的影响了患者及其家人，及早的发现和治疗对医生和患者来说，都是一个福音，但医学图像背景有噪声干扰，通过观察病灶的位置和具体细节，效率低，诊断错误率高，依靠医生经验，具有人类的疲劳性和不确定性。为了能够快速有效的对良恶性结节进行分类诊断，及时进行手术治疗加大痊愈的概率。需要对RNN进行改进去对甲状腺结节的超声征象进行训练，来自动检测甲状腺结节类别，通过改进RNN提高分类的精度，通过网络的自动检测的分类效果，降低人类直接判断的缺点，因此，设计出改进RNN网络，对更快、更精准的获得分类的结果尤为重要。
技术实现思路
本专利技术目的在于针对目前检查甲状腺结节良恶性识别由于受背景噪声影响，识别出准确率较低，以及人类判断类别的不确定性和疲劳性的问题，提供一种基于改进RNN的甲状腺结节自动检测方法以解决上述
技术介绍
中的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于改进RNN的甲状腺结节自动检测方法，首先应用部分为图像预处理，对原始甲状腺结节图像进行增强和去噪处理，其中去噪可以选择双边滤波去噪或小波去噪，再进行CNN部分，参考网络ResNet101或ResNet50，通过减少步长和引入空洞卷积来放大输入特征映射，对增强之后的图像进行特征提取的操作，其中在CNN的跳跃连接处添加了attention注意力机制来提高捕捉边角等低层细节信息和高层语义信息，利用RNN部分进行多边形区域的大致轮廓描述工作，其中为了提高RNN的工作性能，也加入了attention注意力机制，尤为重要的是加入了评估网络AdaptiveNMS部分，通过NMSthreshold设置的阈值用以选取最合适的多边形区域，最后使用部分是GGNN/SRGNN进行上采样以提高输出的分辨率。作为本专利技术优选：attention注意力机制的添加，很大程度上提高了RNN性能和CNN部分跳跃连接捕捉信息的能力。作为本专利技术优选：评估网络，能够在多个ROI区域中，通过阈值，选取最合适的多边形区域。与现有技术相比，本专利技术的有益效果为：所述基于改进RNN的甲状腺结节自动检测方法，与CNN简单分类方法比较，在准确率上有很大的提高，并且自动检测甲状腺结节良恶性的方法减少了人力，提高了诊断的快速性和实用性，效率更高，对临床医学操作和研究需要提供技术支持。附图说明图1为基于改进RNN的甲状腺结节自动检测方法流程图。具体实施方式：下面将结合本专利技术中的附图，对本专利技术中的具体实施方案进行详细的说明，很明显，所说明的实施例只是本专利技术中的一部分，并不是全部实施例，对于本专利技术中的实施例，在本领域的普通技术人员在没有付出创造性劳动而获得的，都属于本专利技术所保护的范围。如图1所示，本专利技术实施例中：一种基于改进RNN的甲状腺结节自动检测方法，采用图像预处理部分，对获取的原始甲状腺结节图像进行增强和去噪处理，利用双边滤波去噪算法对原始甲状腺结节图像进行去噪增强处理，后进行三个部分的网络组成部分(1)CNN网络对图像进行特征提取，attention机制使其性能提高。(2)AdaptiveNMS评估网络进行最有ROI区域的选取，attention机制使其性能提高。(3)GGNN网络对输出图像分辨率提高的一系列网络增强的操作。具体的工作流程为：采用图像预处理部分，对获取的原始甲状腺结节图像进行增强和去噪处理，利用双边滤波去噪算法对原始甲状腺结节图像进行去噪增强处理，并对结果进行保存，直接输入到CNN网络部分，可以通过添加attention注意力机制提高网络的性能，在到RNN网络部分对图像进行区域轮廓描述，将描绘的结果通过评估网络AdaptiveNMS设置的阈值进行选取，选取的阈值为IOU>＝0.7，使之达到全连接层的输入需求后，在利用全连接层进行图像的分类，。最后通过门控图神经网络部分对最后的图像进行输出分辨率的提高，完成自动的检测，最终得到的结果是放大之后的检测图。1、甲状腺结节图像预处理图像预处理不仅可以减小对甲状腺结节判断有干扰和影响的背景区域的一些无关信息，还可以让图像变的相对清晰和平滑。为了使尽可能的达到分类的要求，对于许多图像处理算法来说滤波处理的方法是必不可少的，也是至关重要的，在甲状腺结节自动检测之前的图像预处理可以尽可能的消除在医学研究中无关的背景信息，同时增强兴趣区域，甲状腺结节的大小，边缘，囊性，形态，以及纵横比等都是至关重要的ROI区域信息，对后期的自动检测分类结果至关重要。所以在进行基于改进RNN的甲状腺结节自动检测方法之前进行去噪处理，目的是增强图像信息，减少无关信息，使网络能够更好的去识别。本专利技术采用的是基于特征选择的双边滤波去噪算法，双边滤波在保存图像边缘的同时，滤除了图像噪声，具有保边去噪的效果。而同等sigma的高斯滤波等只有去除噪声的效果。用双边滤波后图像减去高斯滤波后图像，得到的图像即为图像的边缘。再与原图像叠加，有锐化效果。在保证甲状腺结节本身特征信息的同时消除噪声。2、图像特征提取本专利技术采用的是CNN网络进行特征提取，参考ResNet网络，ResNet101层数深，能够训练获得深层的特征，适用于甲状腺结节分类这种需要对深层特征进行提取的网络，解决了网络退化的问题，比如梯度消失/爆炸，已经通过normalizedinitialization等方式得到解决。ResNet101学习结果对网络权重的波动变化敏感，通过调节网络权重和参数能够快速的实现网络的更新。最终学习ResNet网络优点，通过减少步长和引入空洞卷积来放大输入特征映射。3、评估网络本专利技术采用的是AdaptiveNMS评估网络进行对最优ROI目标的选取，通过判定ROI的密集程度，通过一个附属的网络density来学习，在通过NMSthreshold设置的阈值用以选取最合适的多边形区域(甲状腺良恶性结节的形状大小不固定)。4、GGNN/SRGNN网络通过CNN网络提取到的特征映射，传给GGNN，在途中每个节点周围，提取一个S×S块，得到向量，提供给GGNN，在传播过程后，预测节点输出，如果预测结果和标准差异超过阈值则视为错误。通过对RNN添加辅助网络，进行RNN改进，经过试验获得实验结果。上述描述清楚的说明了本专利技术的技术方案、流程及优势，本领域的技术人员显然理解，本专利技术不因上述实施例而受到限制，上述描述的实施例与说明书只是本专利技术的技术方案及原理并不代表全部，在不背弃本专利技术精神和内容的前提下，本专利技术进行相应算法的改进，都在本专利技术要求保护的范围之内，以特有的形式实现本专利技术的实验结果，本本文档来自技高网...

【技术保护点】
1.基于改进RNN的甲状腺结节自动分类方法，其特征在于所述结节检测定位方法，包括以下步骤：/nA.图像预处理部分，对图像进行增强和去噪处理；/nB.CNN网络参考ResNet网络，如ResNet101或ResNet50，通过减少步长和引入空洞卷积来放大输入特征映射，用于对增强之后的图像进行特征提取；/nC.RNN部分解码用于选取轮廓的多边形定点；/nD.为了提升RNN的表现加入了attention机制；/nE.加入评估网络Adaptive NMS，判定ROI的密集程度，通过一个附属的网络density来学习，在通过NMS threshold设置的阈值用以选取最合适的多边形区域；/nF.使用了门控图神经网络(GGNN)或者SRGNN进行上采样用以提高输出分辨率。/n

【技术特征摘要】
1.基于改进RNN的甲状腺结节自动分类方法，其特征在于所述结节检测定位方法，包括以下步骤：
A.图像预处理部分，对图像进行增强和去噪处理；
B.CNN网络参考ResNet网络，如ResNet101或ResNet50，通过减少步长和引入空洞卷积来放大输入特征映射，用于对增强之后的图像进行特征提取；
C.RNN部分解码用于选取轮廓的多边形定点；
D.为了提升RNN的表现加入了attention机制；
E.加入评估网络AdaptiveNMS，判定ROI的密集程度，通过一个附属的网络density来学习，在通过NMSthreshold设置的阈值用以选取最合适的多边形区域；
F.使用了门控图神经网络(GGNN)或者SRGNN进行上采样用以提高输出分辨率。


2.根据权利要求1所述的基于改进RNN的甲状腺结节自动检测方法，其特征在于，所述的步骤A中图像预处理包括以下步骤：
(1)图像预处理部分，对原始甲状腺结节图像进行增强和去噪处理，其中去噪选择双边滤波去噪，目的是增强图像信息，减少无关信息，使网络能够更好的去识别。


3.根据权利要求1所述的基于改进RNN的甲状腺结节自动检测方法，其特征在于，所述的步骤B中CNN进行特征提取包括以下步骤：
(1)参考ResNet-101残差网络，通过减少步长和引入空洞卷积来放大输入特征映射，其中四个输出特征112×112×64，28×28×256,28×28×512,28×28×2048均传给GNN；
(2)使用跳跃连接(skipconnection)捕捉边角等等低层细节信息和高层语义信息。


4.根据权利要求1所述的基于改进RNN的甲状腺结节自动检测方法，其特征在于，所述的步骤C中RNN网络构造多边形候选框方法包括以下步骤：
(1)首先引入RPN(RegionProposalNetwork)，将CNN输出结果作为输入，用于提取边缘以及内部钙化斑点ROI；
(2)使用ROIPooling将不同大小...

【专利技术属性】
技术研发人员：刘侠，吕志伟，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：黑龙江;23