一种基于图像融合技术的甲状旁腺识别方法技术

本发明专利技术公开了一种基于图像融合技术的甲状旁腺识别方法，涉及医学辅助技术领域，该方法利用训练得到的甲状旁腺识别模型对待识别甲状腺组织的相同视野下的目标荧光显影图像和目标实景图像进行特征提取和融合以识别甲状旁腺，利用在实景图像上淋巴结、脂肪等组织容易辨别的特点，采用深度学习图像融合技术对荧光显影图像和实景图像的特征进行融合用于识别甲状旁腺，可以克服使用近红外自荧光显影识别方法识别甲状旁腺所存在的误识别问题，对甲状旁腺的识别和定位精度较高，降低了甲状腺等颈部手术中破坏甲状旁腺组织的风险。

【技术实现步骤摘要】
一种基于图像融合技术的甲状旁腺识别方法
本专利技术涉及医学辅助
，尤其是一种基于图像融合技术的甲状旁腺识别方法。
技术介绍
甲状旁腺是人体中重要的内分泌腺，活体甲状旁腺一般是扁椭圆形，外观呈黄色或者棕黄色，形似大豆。一般情况下每人有四个甲状旁腺，分别对称分布在左右两侧甲状腺背面的中部和下部，但有部分人群的甲状旁腺在位置和数量上存在较大差异，有文献称48％～62％的中国人具有四个甲状旁腺，15％的中国人仅有两个甲状旁腺，大约20％的上位甲状旁腺是不对称的，大约30％的下位甲状旁腺是不对称的。甲状旁腺的主要功能是分泌甲状旁腺激素(简称PTH)，该激素的主要靶器官是肾脏和骨，其生理功能是调节机体内钙和磷的代谢并维持钙和磷的平衡。甲状腺等颈部手术中如果误切甲状旁腺可致使甲状旁腺激素分泌不足，血钙水平下降，而血磷水平上升，导致患者出现甲状旁腺功能减退症，症状表现为手脚及口唇麻木、四肢抽搐，严重影响患者术后的生活质量。手术中误切甲状旁腺已成为甲状腺等颈部手术产生医疗纠纷的主要原因之一。甲状旁腺被破坏引起的术后甲状旁腺功能减退一直是困扰甲状腺外科医生的一大难题，有文献称约20％～30％的甲状腺切除手术中误切了健康的甲状旁腺从而导致患者术后出现甲状旁腺功能减退症。因为甲状旁腺体积较小，位置和数量不固定，导致其不容易与异位甲状腺、异位胸腺、周围脂肪和淋巴结组织相区别，从而大大增加了误切、损伤、挫伤或血供受损的风险，尤其是下位甲状旁腺，常常与中央区淋巴结“混”在一起，在中央区淋巴结清扫手术过程中有较高的被误切或血供受损风险。>手术中准确识别甲状旁腺是保护其不被误切或损伤的前提，目前常用的术中辨别甲状旁腺方法主要有如下几种，但实际应用中，如下几种方法都各有优缺点：1、肉眼识别：通过肉眼或者借助腔镜观察手术区域，寻找疑似甲状旁腺组织。其优点是耗时短、成本低，缺点是与医生个人水平有关，主观性强，尤其是对经验不足的医生来说有极大的风险。2、染色识别：通过特殊染料对甲状旁腺或其周围组织进行染色标记，从而将甲状旁腺区分开来。标记所用染料分为正染色剂和负染色剂，正染色剂是直接对甲状旁腺组织进行染色标记，如美蓝。负染色剂是对甲状旁腺周围组织进行染色标记，从而反衬出甲状旁腺组织，如纳米碳注射液。染色识别的优点是相对无创，准确率较高，缺点是成本高，在染色时间、位置及剂量方面仍然存在争议，同时部分染色剂对人体有一定的副作用，如美蓝可能使患者出现恶心呕吐、发热、缺氧和尿道口刺疼等不适。3、自荧光显影识别：研究表明，当甲状旁腺被波长785nm的光照射时，其可以产生峰值在820～830nm的近红外自荧光，自荧光是固有荧光体自身发出的荧光，区别于荧光标记染料产生的荧光，利用这一特性可以将甲状旁腺与周围其他组织相区分。自荧光显影识别甲状旁腺具有准确率高、操作简便、速度快、无创等优点，同时避免了荧光染料和造影剂可能带来的副作用。与其他识别方法相比，自荧光显影识别有着更广泛的研究和应用空间。但在实际使用过程中发现，部分淋巴结，电刀灼烧后的脂肪组织也会产生自荧光，产生干扰，导致自荧光显影识别的准确度也难以保证。
技术实现思路
本专利技术人针对上述问题及技术需求，提出了一种基于图像融合技术的甲状旁腺识别方法，本专利技术的技术方案如下：一种基于图像融合技术的甲状旁腺识别方法，该方法包括：获取若干组样本图像，每组样本图像分别包括所对应的一个甲状腺组织样本在同一时刻、相同视野下的荧光显影图像和实景图像，荧光显影图像是在目标波段的近红外光线照射下使用荧光显像仪获取的甲状腺组织图像，实景图像是使用摄像头在相同视野下获取的甲状腺组织图像；基于各组样本图像训练得到甲状旁腺识别模型，甲状旁腺识别模型包括第一特征提取单元、第二特征提取单元和特征融合模块，第一特征提取单元包括若干个卷积层并用于对样本图像中的荧光显影图像进行特征提取，第二特征提取单元包括若干个卷积层并用于对样本图像中的实景图像进行特征提取，特征融合模块对第一特征提取单元和第二特征提取单元提取得到的特征进行融合；获取待识别甲状腺组织的相同视野下的目标荧光显影图像和目标实景图像并输入甲状旁腺识别模型识别得到甲状旁腺，第一特征提取单元对目标荧光显影图像进行特征提取，第二特征提取单元对目标实景图像进行特征提取。其进一步的技术方案为，第一特征提取单元对目标荧光显影图像进行特征提取得到具有第一图像尺寸的第一特征图和具有第二图像尺寸的第五特征图，第二特征提取单元对目标实景图像进行特征提取得到具有第一图像尺寸的第二特征图和具有第二图像尺寸的第六特征图，第二图像尺寸大于第一图像尺寸；特征融合模块包括第一特征拼接层、第三特征提取单元、第二特征拼接层、第四特征提取单元和分割图提取层；第一特征拼接层对第一特征图和第二特征图按通道进行拼接得到具有第一图像尺寸的第三特征图；第三特征提取单元对第三特征图进行特征提取得到具有第二图像尺寸的第四特征图；第二特征拼接层对第五特征图、第六特征图和第四特征图按通道进行拼接得到具有第二图像尺寸的第七特征图；第四特征提取单元对第七特征图进行特征提取得到具有与目标荧光显影图像和目标实景图像相同图像尺寸的第八特征图；分割图提取层从第八特征图中提取得到甲状旁腺所在区域。其进一步的技术方案为，第三特征提取单元包括第一卷积层、第一全局池化层、第一相乘层和第一上采样层，第一卷积层对第三特征图进行卷积处理后输入到第一全局池化层和第一相乘层，第一全局池化层对第一卷积层的输出进行全局池化处理后输入到第一相乘层，第一相乘层对第一卷积层输出和第一全局池化层的输出进行相乘处理后输出到第一上采样层进行上采样得到第四特征图。其进一步的技术方案为，第一全局池化层对第一卷积层的输出的每一通道的元素求平均值得到大小为1*1的特征图并输入到卷积核为1*1的卷积操作中，最后使用sigmoid激活函数进行激活得到第一全局池化层的输出。其进一步的技术方案为，第四特征提取单元包括第二卷积层、第二全局池化层、第二相乘层、第三卷积层和第二上采样层，第二卷积层对第七特征图进行卷积处理后输入到第二全局池化层和第二相乘层，第二全局池化层对第二卷积层的输出进行全局池化处理后输入到第二相乘层，第二相乘层对第二卷积层输出和第二全局池化层的输出进行相乘处理后输出到第三卷积层，经第三卷积层完成卷积操作后输出到第二上采样层进行上采样得到第八特征图。其进一步的技术方案为，第八特征图包括第一通道和第二通道，分割图提取层按通道比较第八特征图的元素值，若第一通道的元素值大于等于第二通道则将元素值置为0，否则置为1，处理完所有元素值后转换为灰度图得到分割图、提取得到甲状旁腺所在区域。其进一步的技术方案为，对于第一特征提取单元和第二特征提取单元中的任意一个卷积层，卷积层依次执行卷积操作、批归一化操作和激活操作。其进一步的技术方案为，该方法还包括：对每组样本图像中的甲状旁腺所在区域进行标注，对标注后的荧光显影图像和实景图像进行二值化处理，将图像中标注本文档来自技高网...

【技术保护点】
1.一种基于图像融合技术的甲状旁腺识别方法，其特征在于，所述方法包括：/n获取若干组样本图像，每组样本图像分别包括所对应的一个甲状腺组织样本在同一时刻、相同视野下的荧光显影图像和实景图像，所述荧光显影图像是在目标波段的近红外光线照射下使用荧光显像仪获取的甲状腺组织图像，所述实景图像是使用摄像头在相同视野下获取的甲状腺组织图像；/n基于各组样本图像训练得到甲状旁腺识别模型，所述甲状旁腺识别模型包括第一特征提取单元、第二特征提取单元和特征融合模块，所述第一特征提取单元包括若干个卷积层并用于对样本图像中的荧光显影图像进行特征提取，所述第二特征提取单元包括若干个卷积层并用于对样本图像中的实景图像进行特征提取，所述特征融合模块对所述第一特征提取单元和所述第二特征提取单元提取得到的特征进行融合；/n获取待识别甲状腺组织的相同视野下的目标荧光显影图像和目标实景图像并输入所述甲状旁腺识别模型识别得到所述待识别甲状腺组织图像中的甲状旁腺，所述第一特征提取单元对所述目标荧光显影图像进行特征提取，所述第二特征提取单元对所述目标实景图像进行特征提取。/n

【技术特征摘要】
1.一种基于图像融合技术的甲状旁腺识别方法，其特征在于，所述方法包括：
获取若干组样本图像，每组样本图像分别包括所对应的一个甲状腺组织样本在同一时刻、相同视野下的荧光显影图像和实景图像，所述荧光显影图像是在目标波段的近红外光线照射下使用荧光显像仪获取的甲状腺组织图像，所述实景图像是使用摄像头在相同视野下获取的甲状腺组织图像；
基于各组样本图像训练得到甲状旁腺识别模型，所述甲状旁腺识别模型包括第一特征提取单元、第二特征提取单元和特征融合模块，所述第一特征提取单元包括若干个卷积层并用于对样本图像中的荧光显影图像进行特征提取，所述第二特征提取单元包括若干个卷积层并用于对样本图像中的实景图像进行特征提取，所述特征融合模块对所述第一特征提取单元和所述第二特征提取单元提取得到的特征进行融合；
获取待识别甲状腺组织的相同视野下的目标荧光显影图像和目标实景图像并输入所述甲状旁腺识别模型识别得到所述待识别甲状腺组织图像中的甲状旁腺，所述第一特征提取单元对所述目标荧光显影图像进行特征提取，所述第二特征提取单元对所述目标实景图像进行特征提取。


2.根据权利要求1所述的方法，其特征在于，所述第一特征提取单元对所述目标荧光显影图像进行特征提取得到具有第一图像尺寸的第一特征图和具有第二图像尺寸的第五特征图，所述第二特征提取单元对所述目标实景图像进行特征提取得到具有所述第一图像尺寸的第二特征图和具有所述第二图像尺寸的第六特征图，所述第二图像尺寸大于所述第一图像尺寸；
所述特征融合模块包括第一特征拼接层、第三特征提取单元、第二特征拼接层、第四特征提取单元和分割图提取层；
所述第一特征拼接层对所述第一特征图和所述第二特征图按通道进行拼接得到具有所述第一图像尺寸的第三特征图；
所述第三特征提取单元对所述第三特征图进行特征提取得到具有所述第二图像尺寸的第四特征图；
所述第二特征拼接层对所述第五特征图、第六特征图和第四特征图按通道进行拼接得到具有所述第二图像尺寸的第七特征图；
所述第四特征提取单元对所述第七特征图进行特征提取得到具有与所述目标荧光显影图像和目标实景图像相同图像尺寸的第八特征图；
所述分割图提取层从所述第八特征图中提取得到甲状旁腺所在区域。


3.根据权利要求2所述的方法，其特征在于，
所述第三特征提取单元包括第一卷积层、第一全局池化层、第一相乘层和第一上采样层，所述第一卷积层对所述第三特征图进行卷积处理后输入到所述第一全局池化层和第一相乘层，所述第一全局池化层对所述第一卷积层的输出进行全局池化处理后输入到所述第一相乘层，所述第一相乘层对所述第一卷积层...

【专利技术属性】
技术研发人员：赵婉君，赵星，王宇，石一磊，朱精强，
申请(专利权)人：脉得智能科技无锡有限公司，
类型：发明
国别省市：江苏;32