基于深度多索引哈希的肺结节图像快速检索方法技术

本发明专利技术涉及肺结节图像检索与深度学习技术领域，公开了一种基于深度多索引哈希的肺结节图像快速检索方法。该方法先利用构建的深度哈希模型提取肺结节CT图像的哈希特征，创建图像哈希特征库；然后基于主成分分析对哈希特征进行预处理，将预处理的哈希编码连续划分为多个互不相交的子哈希编码并对每一个子哈希编码都构造相应的哈希表；最后在检索时，对每一个子哈希表都进行检索，并获取全部的相似图像候选集，计算与候选集中所有图像哈希编码的汉明距离，获得最终的检索结果。该方法对肺部医学图像检索具有重要的研究意义和广阔的应用前景。前景。前景。

【技术实现步骤摘要】
基于深度多索引哈希的肺结节图像快速检索方法


[0001]本专利技术涉及肺结节图像检索与深度学习
，特别涉及一种基于深度多索引哈希的肺结节图像快速检索方法。

技术介绍

[0002]肺部CT是目前医生诊断肺部疾病较好的影像学方法，医生根据肺部CT表现出来的特征以及自己的医学经验进行诊断。近几年，由于社会环境因素以及个人生活习惯等影响，肺部CT图像数量呈爆炸式增长。人们迫切地想找到有效的方法或技术将医师固有的经验能力和计算机独有的高速处理大规模图像的能力融为一体。在医学大规模数据下充分利用肺部疾病历史病例数据，通过计算机实现类似于人类诊断过程的相似病例检索方法，从而减少对医师的工作量、工作质量和工作稳定性的需求，极大的降低漏诊误诊情况。同时也能使医师能够通过计算机对相近病例的精准诊疗方案进行回顾性分析，让医生的诊断更加准确并为患者提供定制化智能诊疗方案。
[0003]随着深度学习的应用愈加广泛，早期的研究通过构建深度神经网络自主学习图像的深度特征，并运用特征之间的距离衡量图像相似度，从而完成图像检索。但是学习到的深度特征是高维的，直接进行相似度计算成本较高。为了进一步加快检索速度，研究者采用在深度神经网络中嵌入哈希函数的方式学习图像的哈希表达，并采用汉明距离衡量图像相似度，并在此基础上，进一步提出了由粗到精的分级检索策略。但是，无论是深度哈希算法还是基于该算法的分级检索策略，其在查询时均采用哈希编码直接作为图像的内存地址，当面临更大的数据量以及需要更长的哈希编码进行表达时，上述方法就表现出其局限性。因此，针对上述问题有必要提出一种更为巧妙的快速检索方法。

技术实现思路

[0004]针对上述问题本专利技术提供了一种基于深度多索引哈希的肺结节图像快速检索方法。方法先利用构建的深度哈希模型提取肺结节CT图像的哈希特征，创建图像哈希特征库；然后基于主成分分析对哈希特征进行预处理，将预处理的哈希编码连续划分为多个互不相交的子哈希编码并对每一个子哈希编码都构造相应的哈希表；最后在检索时，对每一个子哈希表都进行检索，并获取全部的相似图像候选集，计算与候选集中所有图像哈希编码的汉明距离，获得最终的检索结果。
[0005]为了达到上述目的，本专利技术采用了下列技术方案：
[0006]本专利技术提供了一种基于深度多索引哈希的肺结节图像快速检索方法，包括以下步骤：
[0007]步骤1，从病变肺部CT图像数据库中获取肺结节图像块并构造训练集；
[0008]步骤2，在卷积神经网络模型基础上加入哈希层构建深度哈希算法网络，使其能够同时学习输入肺结节图像块的高层语义特征以及对应的哈希函数表达；
[0009]步骤3，利用步骤2学习得到的哈希函数对待查询的肺结节图像进行编码，得到待
查询肺结节图像的哈希编码，创建图像哈希特征库；
[0010]步骤4，基于主成分分析对步骤3得到的哈希编码进行预处理，将预处理的哈希编码连续划分为多个互不相交的子哈希编码；
[0011]步骤5，对步骤4得到的每一个子哈希编码建立相应的索引哈希表，构建索引结构；
[0012]步骤6，对步骤5所构建的索引结构设计查询策略，根据输入的查询信息对每一个哈希表检索，并获取全部的相似图像候选集，然后计算与候选集中所有图像哈希编码的汉明距离并排序，得到符合条件的肺结节图像块。
[0013]进一步，所述步骤中1肺结节图像块获取的具体过程为：先利用最大类间方差法、形态学膨胀腐蚀、最大连通区域算法对肺实质进行分割、提取，然后再结合数据库中的诊断结果标注信息，利用与肺实质分割、提取相同的方法获得肺结节图像块；所述构造的训练集还包含放射科医师给出的诊断结果标注信息。
[0014]进一步，所述步骤2具体是在传统AlexNet模型fc7与fc8层之间插入哈希层，用于将fc7高维的特征向量压缩为低维紧凑的哈希编码表示并最大化保留图像的语义相似性，哈希层主要由全连接层、激活层和阈值层三部分构成；为了保证所学习的肺结节哈希特征具有更强的表达能力，采用哈希层输出的图像的类别信息作为优化目标，具体为：卷积神经网络框架的误差损失E为：
[0015][0016]其中，N为输入样本个数，log(P
n,label
)表示估计的样本n为真实标签的概率；
[0017]通过随机梯度下降算法和反向传播算法优化损失函数，选择最优的参数组合θ来更新模型训练参数，得到可以同时学习输入肺结节图像块的高层语义特征以及对应的哈希函数表达的卷积神经网络模型。
[0018]进一步，所述步骤3具体为：先对哈希层的全连接层设置h个节点用于得到fc7层的线性表达，然后采用在哈希层激活层设置sigmoid激活函数完成取值为[0，1]的非线性表达，最后在哈希层阈值层设置阈值函数，将连续的特征向量转化为二值哈希编码，如下所示：
[0019]h＝sigmoid(W*FC+b)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0020][0021]其中，W表示权重，b表示偏置，FC表示全连接层信息，h表示哈希层信息。
[0022]进一步，所述步骤4使用主成分分析对原有哈希编码数据进行变换，使变换后的数据具有线性不相关性且尽量保证原有数据之间的关系；具体操作为，先用主成分分析对原哈希编码训练生成投影向量，然后将原哈希编码与生成的投影向量相乘得到分布均匀的哈希编码，并将其连续划分为多个互不相交的子哈希编码，划分个数与哈希编码长度可以表示为：
[0023]D＝{d1,d2,...,d
num
}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0024]s
D
＝num*s
d
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0025]其中，num表示子哈希编码的个数，用D表示提取的哈希特征，s
D
表示哈希编码的长度，用d表示划分的特征子串，s
d
表示特征字串的长度。由于提取的图像哈希特征在一定程
度上存在着分布不均匀的情况，哈希编码的各个位数之间存在着相关性，导致在构建索引结构进行查询时会增加计算量，所以使用主成分分析对原哈希编码数据进行变换，使变换后的数据具有线性不相关性且尽量保证原有数据之间的关系。
[0026]进一步，所述步骤5中由于步骤3得到的哈希特征具有类内相似性、类间差异性的特点，因此，对于属于同一类别信息的肺结节图像，其哈希特征在子哈希编码中相同的位数要高于整个哈希编码，所以，针对每一个子哈希编码建立相应的索引哈希表，构建索引结构，具体包括以下步骤：
[0027]步骤5.1，初始化num个子哈希表
[0028]步骤5.2，设置哈希表索引键是大小为d的特征子块；
[0029]步骤5.3，设置索引值是包含步骤5.2特征子块的所有图像ID号的列表集合。
[0030]进一步，所述步骤6具体包括以下步骤：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度多索引哈希的肺结节图像快速检索方法，其特征在于：所述方法包括以下步骤：步骤1，从病变肺部CT图像数据库中获取肺结节图像块并构造训练集；步骤2，在卷积神经网络模型基础上加入哈希层构建深度哈希算法网络，使其能够同时学习输入肺结节图像块的高层语义特征以及对应的哈希函数表达；步骤3，利用步骤2学习得到的哈希函数对待查询的肺结节图像进行编码，得到待查询肺结节图像的哈希编码，创建图像哈希特征库；步骤4，基于主成分分析对步骤3得到的哈希编码进行预处理，将预处理的哈希编码连续划分为多个互不相交的子哈希编码；步骤5，对步骤4得到的每一个子哈希编码建立相应的索引哈希表，构建索引结构；步骤6，对步骤5所构建的索引结构设计查询策略，根据输入的查询信息对每一个哈希表检索，并获取全部的相似图像候选集，然后计算与候选集中所有图像哈希编码的汉明距离并排序，得到符合条件的肺结节图像块。2.根据权利要求1所述的基于深度多索引哈希的肺结节图像快速检索方法，其特征在于：所述步骤中1肺结节图像块获取的具体过程为，先利用最大类间方差法、形态学膨胀腐蚀、最大连通区域算法对肺实质进行分割、提取，然后再结合数据库中的诊断结果标注信息，利用与肺实质分割、提取相同的方法获得肺结节图像块；所述构造的训练集还包含放射科医师给出的诊断结果标注信息。3.根据权利要求1所述的基于深度多索引哈希的肺结节图像快速检索方法，其特征在于：所述步骤2具体是在传统AlexNet模型fc7与fc8层之间插入哈希层，用于将fc7高维的特征向量压缩为低维紧凑的哈希编码表示并最大化保留图像的语义相似性，哈希层主要由全连接层、激活层和阈值层三部分构成；为了保证所学习的肺结节哈希特征具有更强的表达能力，采用哈希层输出的图像的类别信息作为优化目标，具体为：卷积神经网络框架的误差损失E为：其中，N为输入样本个数，log(P
n,label
)表示估计的样本n为真实标签的概率；通过随机梯度下降算法和反向传播算法优化损失函数，选择最优的参数组合θ来更新模型训练参数，得到可以同时学习输入肺结节图像块的高层语义特征以及对应的哈希函数表达的卷积神经网络模型。4.根据权利要求1所述的基于深度多索引哈希的肺结节图像快速检索方法，其特征在于：所述步骤3具体为，先对哈希层的全连接层设置h个节点用于得到fc7层的线性表达，然后采用在哈希层激活层设置sigmoid激活函数完成取值为[0，1]的非线性表达，最后在哈希层阈值层设置阈值函数，将连续的特征向量转化为二值哈希编码，如下所示：h＝sigmoid(W*FC+...

【专利技术属性】
技术研发人员：郝瑞，秦亚雪，李智玲，周志钢，周丽娟，
申请(专利权)人：山西财经大学，
类型：发明
国别省市：