图像匹配方法组成比例

本发明专利技术公开了一种图像匹配方法

【技术实现步骤摘要】
图像匹配方法、图像匹配装置、存储介质和计算机设备


[0001]本专利技术属于图像处理
，具体地讲，涉及一种图像匹配方法
、
图像匹配装置
、
存储介质和计算机设备
。

技术介绍

[0002]胶囊内窥镜是一种医疗器械设备，胶囊内窥镜将图像采集
、
无线传输等核心功能集成于一个可被人体吞咽的胶囊内，在进行检查过程中，将胶囊内窥镜吞入体内，内窥镜在体内采集消化道图像并同步传送到体外，以根据获得的图像数据进行医疗检查
。
[0003]在获取到原始内镜图像之后，医生通常要进行根据病理样本图像在原始内镜图像中匹配并标注出病理区域，匹配过程要求医生的具有较高的专业水准和经验，同时也需要耗费更长时间和人力成本
。
因此，如何提高病理匹配的自动化程度以降低匹配难度和减少匹配时间，是本
亟需解决的技术问题
。

技术实现思路

[0004]本专利技术解决的技术问题是：如何原始内镜图像和病理样本图像之间的图像匹配自动化程度
。
[0005]本申请公开了一种图像匹配方法，所述图像匹配方法包括：
[0006]对原始内镜图像进行预处理得到第一图像，对病理样本图像进行预处理得到第二图像，所述预处理包括图像亮度均匀化处理和图像对比度均衡化处理；
[0007]采用预设算法分别对所述第一图像
、
所述第二图像进行特征提取，分别得到第一图结构特征和第二图结构特征；
[0008]将所述第一图结构特征和所述第二图结构特征输入到预训练的图卷积网络模型中，得到匹配图结构；
[0009]根据所述匹配图结构得到所述原始内镜图像与所述病理样本图像之间的匹配点组
。
[0010]可选地，对所述原始内镜图像进行所述图像亮度均匀化处理，包括：
[0011]对所述原始内镜图像进行色彩空间转换，得到
HSV
颜色空间中的
V
通道数据；
[0012]根据所述
V
通道数据得到灰度直方图；
[0013]对所述灰度直方图进行裁剪，裁剪的调整参数为：
[0014][0015]其中，
h(l)
表示灰度直方图的原始值，
l∈[0,255]，
T
w
表示裁剪阈值，
l
max
表示灰度直方图的最大灰度值，
h
w
(l)
表示裁剪后的灰度值
。
[0016]可选地，对所述原始内镜图像进行所述图像对比度均衡化处理，包括：
[0017]在对所述原始内镜图像进行所述图像亮度均匀化处理后，采用限制对比度的自适
应直方图均衡化方法增强所述原始内镜图像的图像对比度，得到第一图像，其中所述限制对比度的自适应直方图均衡化方法中的剪切极限值为：
[0018]L
c
＝
A
v
‑
floor(
ε
×
(u
x
×
u
y
‑
A
v
))
[0019]其中，
A
v
表示原始内镜图像被分割为
M
×
N
个不重叠的子区域中各个子区域的平均分配像素数的平均值，
u
x
、u
y
表示子区域的
X
方向和
Y
方向的像素个数，
ε
表示设定的系数，
ε
∈[0,1]，
floor
表示为不大于该数值的整数
。
[0020]可选地，采用预设算法对所述第一图像进行特征提取得到第一图结构特征，包括：
[0021]根据所述第一图像构建得到高斯差分金字塔；
[0022]从所述高斯差分金字塔检测到得到若干候选关键点；
[0023]对若干候选关键点依次进行边缘点去除处理
、
重复点去除处理，得到第一特征点集；
[0024]将第一特征点集中的各个特征点还原至所述原始内镜图像后，进行德洛内三角化处理，得到第一三角形集合；
[0025]根据所述第一三角形集合构建得到第一邻接矩阵，所述第一邻接矩阵作为第一图结构特征
。
[0026]可选地，所述预训练的图卷积网络模型包括预训练的图卷积神经网络和多层感知器，将所述第一图结构特征和所述第二图结构特征输入到预训练的图卷积网络模型中，得到匹配图结构，包括：
[0027]根据采用预设算法对所述第一图像进行特征提取过程中得到的第一特征点集和第一三角形集合构建得到第一图表示，根据采用预设算法对所述第二图像进行特征提取过程中得到的第二特征点集和第二三角形集合构建得到第二图表示；
[0028]所述图卷积神经网络基于所述第一图结构特征
、
所述第二图结构特征
、
所述第一图表示和所述第二图表示，得到第一特征矩阵和第二特征矩阵；
[0029]根据所述第一特征矩阵和所述第二特征矩阵构建得到各节点之间的邻域共识矩阵；
[0030]所述多层感知器基于各所述邻域共识矩阵得到各个软对应矩阵；
[0031]根据各个软对应矩阵的加权和得到匹配图结构，所述匹配图结构包括若干组匹配图对，每组匹配图对包括第一匹配图和第二匹配图
。
[0032]可选地，所述预训练的图卷积网络模型包括图内卷积层和跨图卷积层，所述将所述第一图结构特征和所述第二图结构特征输入到预训练的图卷积网络模型中，得到匹配图结构，包括：
[0033]图内卷积层和跨图卷积层基于第一图结构特征
、
第二图结构特征得到第一融合特征和第二融合特征；
[0034]根据第一融合特征和第二融合特征构建得到相似度矩阵和软分配矩阵；
[0035]根据相似度矩阵和软分配矩阵构建优化问题，求解优化问题得到软分配矩阵的解；
[0036]根据所述软分配矩阵的解得到匹配图结构，所述匹配图结构包括若干组匹配图对，每组匹配图对包括第一匹配图和第二匹配图
。
[0037]可选地，所述根据所述匹配图结构得到所述原始内镜图像与所述病理样本图像之
间的匹配点组，包括：
[0038]获取所述第一匹配图中各个节点在所述第一图像中所对应的各个第一像素坐标，获取所述第二匹配图中各个节点在所述第二图像中所对应的各个第二像素坐标；
[0039]根据各个所述第一像素坐标计算得到第一质心坐标，根据各个所述第二像素坐标计算得到第二质心坐标，所述第一质心坐标与所述第二质心坐标构成所述原始内镜图像与所述病理样本图像之间的匹配点组
。
[0040]本申请还公开了一种图像匹配装置，所述图像匹配装置包括：
[0041]图像预处理模块，所述图像预处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像匹配方法，其特征在于，所述图像匹配方法包括：对原始内镜图像进行预处理得到第一图像，对病理样本图像进行预处理得到第二图像，所述预处理包括图像亮度均匀化处理和图像对比度均衡化处理；采用预设算法分别对所述第一图像
、
所述第二图像进行特征提取，分别得到第一图结构特征和第二图结构特征；将所述第一图结构特征和所述第二图结构特征输入到预训练的图卷积网络模型中，得到匹配图结构；根据所述匹配图结构得到所述原始内镜图像与所述病理样本图像之间的匹配点组
。2.
根据权利要求1所述的图像匹配方法，其特征在于，对所述原始内镜图像进行所述图像亮度均匀化处理，包括：对所述原始内镜图像进行色彩空间转换，得到
HSV
颜色空间中的
V
通道数据；根据所述
V
通道数据得到灰度直方图；对所述灰度直方图进行裁剪，裁剪的调整参数为：其中，
h(l)
表示灰度直方图的原始值，
l∈[0,255]
，
T
w
表示裁剪阈值，
l
max
表示灰度直方图的最大灰度值，
h
w
(l)
表示裁剪后的灰度值
。3.
根据权利要求2所述的图像匹配方法，其特征在于，对所述原始内镜图像进行所述图像对比度均衡化处理，包括：在对所述原始内镜图像进行所述图像亮度均匀化处理后，采用限制对比度的自适应直方图均衡化方法增强所述原始内镜图像的图像对比度，得到第一图像，其中所述限制对比度的自适应直方图均衡化方法中的剪切极限值为：
L
c
＝
A
v
‑
floor(
ε
×
(u
x
×
u
y
‑
A
v
))
其中，
A
v
表示原始内镜图像被分割为
M
×
N
个不重叠的子区域中各个子区域的平均分配像素数的平均值，
u
x
、u
y
表示子区域的
X
方向和
Y
方向的像素个数，
ε
表示设定的系数，
ε
∈[0,1]
，
floor
表示为不大于该数值的整数
。4.
根据权利要求1所述的图像匹配方法，其特征在于，采用预设算法对所述第一图像进行特征提取得到第一图结构特征，包括：根据所述第一图像构建得到高斯差分金字塔；从所述高斯差分金字塔检测得到若干候选关键点；对若干候选关键点依次进行边缘点去除处理
、
重复点去除处理，得到第一特征点集；将所述第一特征点集中的各个特征点还原至所述原始内镜图像后，进行德洛内三角化处理，得到第一三角形集合；根据所述第一三角形集合构建得到第一邻接矩阵，所述第一邻接矩阵作为第一图结构特征
。5.
根据权利要求4所述的图像匹配方法，其特征在于，所述预训练的图卷积网络模型包括预训练的...

【专利技术属性】
技术研发人员：李鹏，胡峰，刘揆亮，刘博洋，
申请(专利权)人：江苏势通生物科技有限公司，
类型：发明
国别省市：