一种基于深度神经网络的眼底图像拼接方法技术

本发明专利技术公开了一种基于深度神经网络的眼底图像拼接方法，包括以下步骤：S1读取采集到的多张眼底图像，将眼底图像处理为眼底血管图；S2对眼底图像和眼底血管图进行去黑框处理；S3通过预先训练过的深度神经网络确定基准图及初步判断眼病的类型，并赋予每张眼底图像一个标签；S4采用SURF算法、HOG算法和LBP算法提取眼底图像和眼底血管图的特征点，并对所有特征点赋予不同的权重值；S5对所有特征点进行匹配；S6按照优先保留权重值大的特征点对的原则，采用RANSAC算法对所有特征点对进行筛选；S7计算特征点对的透视变换矩阵，对图像进行拼接；S8将拼接好的图像输入到深度神经网络进行检测。本发明专利技术能提高拼接图像的准确性和拼接效率。率。率。

【技术实现步骤摘要】
Consensus随机抽样一致性)算法对所有特征点对进行筛选，剔除误匹配点；
[0013]S7：将图像切割成无数小方块，采用DLT(Direct Linear Transformation
‑
DLT)算法，对每个小方块的特征点对进行透视变换矩阵计算，然后将图像按照标签上相对于基准图的位置关系进行局部精准拼接，拼接时如出现重叠区域则保留基准图部分；
[0014]S8：将拼接好的图像消除拼接缝隙，然后输入到深度神经网络对代表眼部疾病类型的int数据进行检测，如果检测到的int数据的数值与S2步骤中带有病灶的那张图像的int数据的数值相同，则完成拼接；如果检测到的int数据的数值与S2步骤中带有病灶的那张图像的int数据的数值不相同，则以带病灶的那张眼底图像作为基准图按上述步骤重新进行图像拼接，直至拼接好的图像的int数据的数值与S2步骤中带有病灶的那张图像的int数据的数值相同，则完成图像拼接。
[0015]进一步地，步骤S2中去黑框处理采用的方法是对图像矩阵的每一行进行检测，去掉所有值为零的像素点。
[0016]进一步地，步骤S6中所述RANSAC算法在统计和输入特征点时按权重值取值。
[0017]进一步地，步骤8中采用加权平均消除拼接缝隙。
[0018]本专利技术具有如下效果：
[0019](1)采用经过训练的深度神经网络初步诊断眼病，并根据眼病的类型调整拼接方案，能使更多的眼底图像实现拼接，并使图像拼接更快和更准确；
[0020](2)通过SURF、HOG和LBP三种算法来提取眼底原图和眼底血管图的特征点，可以获得更多的特征点，并通过赋予特征点不同的权重值，能有效筛选特征点对，从而使拼接图像更精确，拼接效率更高；
[0021](3)采用对拼接结果进行验证，确保了拼接图像的准确性。
附图说明
[0022]图1为本专利技术流程示意图。
[0023]图2为眼底图像采用U
‑
NET算法处理得到的眼底血管图。
[0024]图3为去黑框前的眼底图像。
[0025]图4为去黑框后的眼底图像。
[0026]图5为消除拼接缝隙前的眼底拼接图。
[0027]图6为消除拼接缝隙后的眼底拼接图。
具体实施方式
[0028]如图1～图6所示，本实施例提供基于深度神经网络的眼底图像拼接方法包括如下步骤：
[0029]S1：读取采集到的多张眼底图像，将所有眼底图像采用U
‑
NET算法处理成图2所示的眼底血管图，并将眼底图像和眼底血管图分别保存在不同的存储空间内；
[0030]S2：对眼底图像和眼底血管图进行去黑框处理，具体采用的方法是对图像矩阵的每一行进行检测，去掉所有值为零的像素点；
[0031]S3：通过预先训练过的深度神经网络确定基准图及初步判断眼病的类型，并赋予每张眼底图像一个标签，标签上记载有该眼底图像是否为基准图、该眼底图像相对于基准
图的位置、以及用int型数据表达的该眼底图像是否带有病灶及眼病类型；
[0032]S4：采用SURF算法、HOG算法(用于应对眼底拍照时打光对眼球图片的影响)和LBP算法(用于减轻旋转带来的影响)提取所有眼底图像和眼底血管图的特征点，并对同时满足上述三种算法的特征点赋予最大权重值，满足上述三种算法中任意两种算法的特征点的权重值次之，满足上述三种算法中任意一种算法的特征点的权重值最小，对带病灶的那张图像上的特征点额外再增加权重值，不同的眼病额外增加的权重值不同；
[0033]本实施例中所采用的SURF算法分别对水平方向和垂直方向、以及水平绝对值方向和垂直绝对值方向的小波特征进行了设立权值分配的向量合并，得出新一轮的特征点描述子，共有两条方向，总计4*4*2＝32条描述子，在原有SURF算法的基础上再次降维，这些描述将用于后续特征点的匹配；
[0034]S5：对上述所有特征点进行匹配，匹配完成后，将眼底血管图匹配的特征点对转换为相对应的眼底图像的特征点对，如果血管图的特征点转换为眼底图像的特征点时刚好与眼底图像本身的特征点重合，则权重值取两者间大的那个权重值；
[0035]S6：采用RANSAC算法对所有特征点对进行筛选，本专利技术对RANSAC算法进行了改进,改进后的RANSAC算法在统计和输入特征点时按权重值取值，即原来RANSAC算法中所有特征点的权重值是相同的，改进后的RANSAC算法在输入特征点时要加上权重值，同时改进后的RANSAC算法在迭代筛选时优先保留权重值大的特征点；
[0036]S7：将图像切割成无数小方块，采用DLT算法，对每个小方块的特征点对进行透视变换矩阵计算，然后通过透视变换矩阵将图像按照标签上相对于基准图的位置关系进行局部精准拼接，拼接时如出现重叠区域则保留基准图部分，这样可避免重影的产生；
[0037]S8：将拼接好的图像采用加权平均消除拼接缝隙，然后输入到深度神经网络对眼部疾病类型的int数据进行检测，如果检测到的int数据的数值与S2步骤中带有病灶的那张图像的int数据的数值相同，则完成拼接；如果检测到的int数据的数值与S2步骤中带有病灶的那张图像的int数据的数值不相同，则选择带病灶的那张眼底图像作为基准图按照S3～S8步骤重新进行图像拼接，直至拼接好的图像的int数据的数值与S3步骤中带有病灶的那张图像的int数据的数值相同，则完成图像拼接。
[0038]以上所述仅是本专利技术优选的实施方式，但本专利技术的保护范围并不局限于此，任何基于本专利技术所提供的技术方案和专利技术构思进行的改造和替换都应涵盖在本专利技术的保护范围内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度神经网络的眼底图像拼接方法，其特征在于，包括如下步骤：S1：读取采集到的多张眼底图像，将所有眼底图像采用U
‑
NET算法处理为眼底血管图；S2：对眼底图像和眼底血管图进行去黑框处理；S3：通过预先训练过的深度神经网络确定基准图及初步判断眼病的类型，并赋予每张眼底图像一个标签，标签上记载有该眼底图像是否为基准图、该眼底图像相对于基准图的位置、以及用int型数据表达的该眼底图像是否带有病灶及眼病类型；S4：采用SURF(Speed
‑
Up Robust Features)算法、HOG(Histogram of Oriented Gradient)算法和LBP(Local Binary Pattern)算法提取所有眼底图像和眼底血管图的特征点，并对同时满足上述三种算法、满足上述三种算法中任意两种算法或满足上述三种算法中任意一种算法的特征点赋予不同的权重值，对带病灶图像上的特征点根据眼病的类型额外增加权重值；S5：对上述所有特征点进行匹配，匹配完成后，将眼底血管图匹配的特征点对转换为相对应的眼底图像的特征点对，并对重合的特征点对的权重值重新进行计算；S6：按照优先保留权重值大的特征点对的原则，采用RANSAC(Random Sample Consensus随机抽样一致性)算法对...

【专利技术属性】
技术研发人员：邹耀徵，龚炜，文一帆，文怀敏，付源溟，王沐珊，王秋昊，李鑫宇，
申请(专利权)人：四川大学，
类型：发明
国别省市：