多模态视网膜眼底图像配准方法及装置制造方法及图纸

本申请公开了一种多模态视网膜眼底图像配准方法及装置，所述方法包括：根据尺度不变特征转换算法，提取浮动图像中的第一特征点集参考图像中的第二特征点集；根据第一特征点集以及第二特征点集的第二形状上下文特征，获取第一特征差异矩阵，并根据第一特征点集和第二特征点集的第二纹理特征，获取第二特征差异矩阵；根据期望最大化算法，对第一特征差异矩阵和第二特征差异矩阵通过高斯混合模型和贝叶斯定律求解进行计算，获取第一特征差异矩阵与第二特征差异矩阵基于混合高斯模型的贝叶斯规则的后验概率矩阵后，根据后验概率矩阵进行计算，获取点集坐标，直至期望最大化算法的计算结果收敛或达到预设的迭代次数；根据点集坐标，获取配准后的图像。

The method and device of multimodal retinal fundus image registration

【技术实现步骤摘要】
多模态视网膜眼底图像配准方法及装置
本申请涉及图像处理
，尤其涉及一种多模态视网膜眼底图像配准方法及装置。
技术介绍
眼底的视网膜血管是人体中可看见的血管，医生把它当作了解其它脏器血管情况的窗口，其变化在一定程度上反映了一些器官的改变程度。为能够更好的观测视网膜血管，通常采用图像配准的方法来对眼底彩色图像和眼底荧光造影图像所产生的图像进行处理，使两幅图像的信息互补，以得到更为全面的信息。现有的图像配准方法，是通过对两幅图像进行Harris角点检测，得到包含分支点和交叉点的角点，判断角点的属性并记录眼底彩色图像及眼底荧光造影图像中的特征点并构成两个特征点集，根据两个特征点集进行计算得到进行图像配准的仿射变换参数后，以眼底荧光造影图像作为参考图像，以眼底彩色图像作为浮动图像，通过仿射变换参数将两者进行配准，得到配准后的图像，从而获取更为全面的信息。但在实现本申请的过程中，发现当两幅图像的局部结构相似时，仅使用单一的特征描述符去评估点集之间的对应关系，会导致大量的误判，导致最终得到的图像信息不准确。
技术实现思路
本申请实施例提供一种多模态视网膜眼底图像配准方法及装置，解决现有的图像配准方法进行配准时获取到的图像精度不足的问题。为解决上述问题，本申请实施例提供一种多模态视网膜眼底图像配准方法，适于在计算设备中执行，至少包括如下步骤：获取多模态的浮动图像和参考图像；根据尺度不变特征转换算法，提取所述浮动图像中的多个第一特征点组成第一特征点集，以及提取所述参考图像中的多个第二特征点组成第二特征点集；根据所述第一特征点集的第一形状上下文特征，以及所述第二特征点集的第二形状上下文特征，获取第一特征差异矩阵，并根据所述第一特征点集的第一纹理特征和所述第二特征点集的第二纹理特征，获取第二特征差异矩阵；根据期望最大化算法，在E步处理中，对所述第一特征差异矩阵和所述第二特征差异矩阵通过高斯混合模型和贝叶斯定律求解进行计算，获取所述第一特征差异矩阵与所述第二特征差异矩阵基于混合高斯模型的贝叶斯规则的后验概率矩阵后，在M步处理中，根据所述后验概率矩阵进行计算，获取点集坐标，直至期望最大化算法的计算结果收敛或达到预设的迭代次数；根据所述点集坐标，获取配准后的图像。进一步的，所述根据尺度不变特征转换算法，提取所述浮动图像中的多个第一特征点组成第一特征点集，以及提取所述参考图像中的多个第二特征点组成第二特征点集，包括：以预设的阈值，根据所述尺度不变特征转换算法对所述浮动图像和所述参考图像进行遍历，获取所述阈值下的各第一特征点和各第二特征点后，迭代地基于预设的初始值更新所述阈值，并根据每次迭代后的阈值，获取每次迭代后的阈值下的各所述第一特征点和各所述第二特征点，直至所述阈值的迭代次数达到预设次数后，生成包含所有所述第一特征点的第一特征点集，以及包含所有所述第二特征点的第二特征点集。进一步的，所述E步处理包括：在D维空间中，根据获取第i个所述第二特征点由第j个所述第一特征点生成的生成概率；其中，yj为第j个所述第一特征点，xi为第i个第二特征点，各所述第一特征点的先验概率以及各向同性协方差σ2I相同；为所述第一特征点和所述第一特征点添加预设权重，基于所述预设权重和所述生成概率，获取所述高斯混合模型的概率密度函数后，根据贝叶斯定理，获取第一特征点集与所述第二特征点集的欧式距离特征对应关系；将所述第一特征差异矩阵与所述第二特征差异矩阵通过欧式距离特征对应关系进行计算，得到所述后验概率矩阵。进一步的，所述根据所述点集坐标，获取配准后的图像，包括：将所述点集坐标通过反推法进行图像配准，获取配准后的图像。进一步的，还提供一种多模态视网膜眼底图像配准装置，包括：图像获取模块，用于获取多模态的浮动图像和参考图像；特征提取模块，用于根据尺度不变特征转换算法，提取所述浮动图像中的多个第一特征点组成第一特征点集，以及提取所述参考图像中的多个第二特征点组成第二特征点集；差异矩阵获取模块，用于根据所述第一特征点集的第一形状上下文特征，以及所述第二特征点集的第二形状上下文特征，获取第一特征差异矩阵，并根据所述第一特征点集的第一纹理特征和所述第二特征点集的第二纹理特征，获取第二特征差异矩阵；特征匹配模块，用于根据期望最大化算法，在E步处理中，对所述第一特征差异矩阵和所述第二特征差异矩阵通过高斯混合模型和贝叶斯定律求解进行计算，获取所述第一特征差异矩阵与所述第二特征差异矩阵基于混合高斯模型的贝叶斯规则的后验概率矩阵后，在M步处理中，根据所述后验概率矩阵进行计算，获取点集坐标，直至期望最大化算法的计算结果收敛或达到预设的迭代次数；图像配准模块，用于根据所述点集坐标，获取配准后的图像。进一步的，所述特征提取模块具体用于：以预设的阈值，根据所述尺度不变特征转换算法对所述浮动图像和所述参考图像进行遍历，获取所述阈值下的各第一特征点和各第二特征点后，迭代地基于预设的初始值更新所述阈值，并根据每次迭代后的阈值，获取每次迭代后的阈值下的各所述第一特征点和各所述第二特征点，直至所述阈值的迭代次数达到预设次数后，生成包含所有所述第一特征点的第一特征点集，以及包含所有所述第二特征点的第二特征点集。进一步的，所述E步处理包括：在D维空间中，根据获取第i个所述第二特征点由第j个所述第一特征点生成的生成概率；其中，yj为第j个所述第一特征点，xi为第i个第二特征点，各所述第一特征点的先验概率以及各向同性协方差σ2I相同；为所述第一特征点和所述第一特征点添加预设权重，基于所述预设权重和所述生成概率，获取所述高斯混合模型的概率密度函数后，根据贝叶斯定理，获取第一特征点集与所述第二特征点集的欧式距离特征对应关系；将所述第一特征差异矩阵与所述第二特征差异矩阵通过欧式距离特征对应关系进行计算，得到所述后验概率矩阵。进一步的，所述图像配准模块具体用于：将所述点集坐标通过反推法进行图像配准，获取配准后的图像。实施本申请实施例，具有如下有益效果：本实施例采用形状上下文特征和纹理特征进行科学计算的方式，形成全局和局部特征的混合特征框架，以使其在配准过程中形成互补关系，从而避免产生大量误判，从而提高图像配准的精准度。附图说明图1是多种病变类型在眼底图像上的具体表现的示例图；图2本申请的一个实施例提供的多模态视网膜眼底图像配准方法的流程示意图；图3本申请实施例的图像输出结果与现有技术的图像输出结果的对比结果图；图4是本申请的一个实施例提供的多模态视网膜眼底图像配准装置的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施本文档来自技高网...

【技术保护点】
1.一种多模态视网膜眼底图像配准方法，其特征在于，包括：/n获取多模态的浮动图像和参考图像；/n根据尺度不变特征转换算法，提取所述浮动图像中的多个第一特征点组成第一特征点集，以及提取所述参考图像中的多个第二特征点组成第二特征点集；/n根据所述第一特征点集的第一形状上下文特征，以及所述第二特征点集的第二形状上下文特征，获取第一特征差异矩阵，并根据所述第一特征点集的第一纹理特征和所述第二特征点集的第二纹理特征，获取第二特征差异矩阵；/n根据期望最大化算法，在E步处理中，对所述第一特征差异矩阵和所述第二特征差异矩阵通过高斯混合模型和贝叶斯定律求解进行计算，获取所述第一特征差异矩阵与所述第二特征差异矩阵基于混合高斯模型的贝叶斯规则的后验概率矩阵后，在M步处理中，根据所述后验概率矩阵进行计算，获取点集坐标，直至期望最大化算法的计算结果收敛或达到预设的迭代次数；/n根据所述点集坐标，获取配准后的图像。/n

【技术特征摘要】
1.一种多模态视网膜眼底图像配准方法，其特征在于，包括：
获取多模态的浮动图像和参考图像；
根据尺度不变特征转换算法，提取所述浮动图像中的多个第一特征点组成第一特征点集，以及提取所述参考图像中的多个第二特征点组成第二特征点集；
根据所述第一特征点集的第一形状上下文特征，以及所述第二特征点集的第二形状上下文特征，获取第一特征差异矩阵，并根据所述第一特征点集的第一纹理特征和所述第二特征点集的第二纹理特征，获取第二特征差异矩阵；
根据期望最大化算法，在E步处理中，对所述第一特征差异矩阵和所述第二特征差异矩阵通过高斯混合模型和贝叶斯定律求解进行计算，获取所述第一特征差异矩阵与所述第二特征差异矩阵基于混合高斯模型的贝叶斯规则的后验概率矩阵后，在M步处理中，根据所述后验概率矩阵进行计算，获取点集坐标，直至期望最大化算法的计算结果收敛或达到预设的迭代次数；
根据所述点集坐标，获取配准后的图像。


2.根据权利要求1所述的多模态视网膜眼底图像配准方法，其特征在于，所述根据尺度不变特征转换算法，提取所述浮动图像中的多个第一特征点组成第一特征点集，以及提取所述参考图像中的多个第二特征点组成第二特征点集，包括：
以预设的阈值，根据所述尺度不变特征转换算法对所述浮动图像和所述参考图像进行遍历，获取所述阈值下的各第一特征点和各第二特征点后，迭代地基于预设的初始值更新所述阈值，并根据每次迭代后的阈值，获取每次迭代后的阈值下的各所述第一特征点和各所述第二特征点，直至所述阈值的迭代次数达到预设次数后，生成包含所有所述第一特征点的第一特征点集，以及包含所有所述第二特征点的第二特征点集。


3.根据权利要求1所述的多模态视网膜眼底图像配准方法，其特征在于，所述E步处理包括：
在D维空间中，根据获取第i个所述第二特征点由第j个所述第一特征点生成的生成概率；其中，yj为第j个所述第一特征点，xi为第i个第二特征点，各所述第一特征点的先验概率以及各向同性协方差σ2I相同；
为所述第一特征点和所述第一特征点添加预设权重，基于所述预设权重和所述生成概率，获取所述高斯混合模型的概率密度函数后，根据贝叶斯定理，获取第一特征点集与所述第二特征点集的欧式距离特征对应关系；
将所述第一特征差异矩阵与所述第二特征差异矩阵通过欧式距离特征对应关系进行计算，得到所述后验概率矩阵。


4.根据权利要求1所述的多模态视网膜眼底图像配准方法，其特征在于，所述根据所述点集坐标，获取配准后的图像，包括：
将所述点集坐标通过反推法进行图像配准，获取配准...

【专利技术属性】
技术研发人员：蔡宏民，但婷婷，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44