一种幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法技术

本发明专利技术公开一种幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法，通过十几例影像数据结合临床指南中图例便可以快速生成指南中对应疾病的视网膜影像图谱，再利用生成的影像图谱，能够对新的影像数据进行空间上的映射对齐，利用生成的影像图谱，能够对随访数据进行时间和空间上的映射对齐，以早产儿视网膜病变为例，能快速辅助医生进行随访数据在空间对齐后进行时间序列的分析。齐后进行时间序列的分析。齐后进行时间序列的分析。

【技术实现步骤摘要】
一种幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法


[0001]本专利技术涉及影像生成领域，更具体地，涉及一种幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法。

技术介绍

[0002]视网膜健康状态直接影响幼儿的视功能情况，由于幼儿对检查的配合度极低，很多应用于成人的检查设备或方法不适合儿科检查(如OCT、SLO、FFA等)。因此眼底影像检查是幼儿视网膜健康筛查和疾病诊断的最主要手段，目前应用最广泛的是数字广角眼底成像设备(例如RetCam设备系统)。
[0003]受影像硬件技术限制，目前的幼儿眼底视网膜影像包含了设备多个角度拍摄到的十几张到几十张不等的方位影像，眼科医生对多个方位的数据进行完整遍历后做出分析结果，尽可能确保检查结果可靠和避免漏诊。尽管这样，然而在实际过程中，由于医生的主观经验和影像多方位信息的复杂度，尤其是涉及到方位图中的病灶分布情况，需要医生主观重建各个方位之间的空间关系来确定病灶位于视网膜的具体区域，从而导致分析标准不一，影响最终的结果。J.P.Campbell等人组织了34名专家对同样一组早产儿视网膜病变影像进行阅片，结果显示专家之间的差异性非常高(Plus识别，分期诊断)(Ophthalmology 2022)。此外，每个病例随着随访记录的累积，同时会累积大量影像数据，当需要分析病情进展的时候，需要医生按随访时间序列对齐检查同时分析影像，即需要医生重建检查影像的时间
‑
空间关系。
[0004]调研后发现存在以下的问题需要解决：(1)无论是专利公开还是论文发表的工作研究中，还未有针对视网膜眼底影像形成标准图谱的工作。以早产儿视网膜病变为例，临床指南中明确有视网膜诊断图例，然而临床数据是方位图的形式，二者存在明显的应用误差；(2)对于视网膜疾病诊断，已公开的方法大多是直接预测结果来“替代”医生，目前没有相关工作目的是辅助医生减少主观因素对诊断结果的影响；(3)对于多次随访的幼儿眼底影像，还未有公开方法或研究实现检查内容的时间
‑
空间对齐，辅助医生进行分析。

技术实现思路

[0005]本专利技术提供一种幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法，快速生成指南中对应疾病的视网膜影像图谱并实现空间和时间上的对齐。
[0006]为解决上述技术问题，本专利技术的技术方案如下：
[0007]一种幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法，包括以下步骤：
[0008]S1：整理若干例的方位图影像数据，每一例按左眼和右眼进行分组后，分别进行拼接融合得到每一例的全景图，再将所有的全景图进行配准变换叠加后，得到左眼和右眼对应的眼底影像图谱；
[0009]S2：收集眼底方位影像，按左眼和右眼进行分组后，确定左/右眼的标准目标图，并利用标准目标图与眼底影像图谱计算由标准目标图向眼底影像图谱转换的关系矩阵，其它
眼底方位影像拼接融合得到全景影像后，根据由标准目标图向眼底影像图谱转换的关系矩阵进行配准转换，再根据全景影像的视盘和黄斑坐标以及制作的影像图谱中的对应坐标进行尺度和位置的对齐；
[0010]S3：获取多次随访的检查影像数据，根据检测日期分组后，对于每一组的检查数据，按左眼和右眼进行分组后，按照步骤S1生成左眼和右眼的标准图谱结果图，并按时间顺序排列生成的标准图谱结果图，完成随访数据在时间序列和空间方向上的对齐。
[0011]优选地，步骤S1和S2中按左眼和右眼进行分组的方法，至少包括人工选择、模型分类或数据属性分类，具体为：
[0012]人工选择：人工将左眼和右眼的影像数据分组；
[0013]模型分类：通过标注一定数量的左眼和右眼影像数据，事先训练一个分类模型，通过分类模型将左眼和右眼的影像数据分组；
[0014]数据属性分类：通过分析影像数据生成的时间来判定两组数据，并预先规定检查左右眼的顺序，切换眼的间隔时长大于相同方向眼的拍摄间隔，以此来判定分组。
[0015]优选地，步骤S1和S2中所述拼接融合的方法，具体为：
[0016]利用拼接方法进行方位图的拼接，得到所有图之间的匹配关系后，选取第一张方位图作为模板图，其它方位图生成像模板图配准的转换图，将所有图进行融合后得到全景图。
[0017]优选地，所述拼接方法至少包括局部匹配算法或拼接模型，具体为：
[0018]局部匹配算法：基于局部特征提取后在进行匹配的配准拼接；
[0019]拼接模型：通过训练得到深度学习模型，至少包括自监督、全监督训练得到的偏移估计模型、形变场估计模型以及配准变换估计模型，利用所述深度学习模型完成拼接。
[0020]优选地，所述融合方法至少包括权重融合或生成模型，具体为：
[0021]权重融合：将两方位图之间的像素值进行加权，权重计算方法有中心距离向外依次递减或者像素值大小比较；
[0022]生成模型：利用神经网络训练得到的深度生成模型，利用深度生成模型进行方位图的融合。
[0023]优选地，步骤S1中将所有的全景图进行配准变换叠加，具体为：
[0024]对于生成的每张全景影像，确定其中视盘和黄斑的位置；
[0025]选择一张全景影像作为全景目标图T，其它全景影像往全景目标图T进行配准变换，所有变换后的图与全景目标图T进行等权值叠加，得到左眼和右眼对应的眼底影像图谱。
[0026]优选地，确定其中视盘和黄斑的位置的方法，至少包括人工确定、分割算法或模型检测，具体为：
[0027]人工确定：在全景影像中人工点击确定视盘和黄斑位置；
[0028]分割算法：利用包括阈值分割算法的算法方式对视盘和黄斑进行分割，利用分割的掩膜来确定视盘和黄斑位置；
[0029]模型检测：利用事先准备好的训练数据去训练一个视盘和黄斑的分割模型或检测模型，利用分割模型或检测模型确定视盘和黄斑位置。
[0030]优选地，选择一张全景影像作为全景目标图T，其它全景影像往全景目标图T进行
配准变换，所有变换后的图与全景目标图T进行等权值叠加，具体为：
[0031]全景目标图T的视盘和黄斑坐标分别为[x1,y1],[x2,y2]，准备配准的全景图I
’
的视盘和黄斑坐标分别为[X1,Y1],[X2,Y2]，计算由全景图I
’
向全景目标图T的变换关系M：
[0032][0033][0034][0035][0036]S0＝((X1
‑
X2)*(x1
‑
x2)+(Y1
‑
Y2)*(y1
‑
y2))*d
[0037]S1＝((Y1
‑
Y2)*(x1
‑
x2)
‑
(X1
‑
X2)*(y1
‑
y2))*d
[0038]S2＝((Y1
‑
Y2)*(x1y2
‑
x2y1)
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法，其特征在于，包括以下步骤：S1：整理若干例的方位图影像数据，每一例按左眼和右眼进行分组后，分别进行拼接融合得到每一例的全景图，再将所有的全景图进行配准变换叠加后，得到左眼和右眼对应的眼底影像图谱；S2：收集眼底方位影像，按左眼和右眼进行分组后，确定左/右眼的标准目标图，并利用标准目标图与眼底影像图谱计算由标准目标图向眼底影像图谱转换的关系矩阵，其它眼底方位影像拼接融合得到全景影像后，根据由标准目标图向眼底影像图谱转换的关系矩阵进行配准转换，再根据全景影像的视盘和黄斑坐标以及制作的影像图谱中的对应坐标进行尺度和位置的对齐；S3：获取多次随访的检查影像数据，根据检测日期分组后，对于每一组的检查数据，按左眼和右眼进行分组后，按照步骤S1生成左眼和右眼的标准图谱结果图，并按时间顺序排列生成的标准图谱结果图，完成随访数据在时间序列和空间方向上的对齐。2.根据权利要求1所述的幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法，其特征在于，步骤S1和S2中按左眼和右眼进行分组的方法，至少包括人工选择、模型分类或数据属性分类，具体为：人工选择：人工将左眼和右眼的影像数据分组；模型分类：通过标注一定数量的左眼和右眼影像数据，事先训练一个分类模型，通过分类模型将左眼和右眼的影像数据分组；数据属性分类：通过分析影像数据生成的时间来判定两组数据，并预先规定检查左右眼的顺序，切换眼的间隔时长大于相同方向眼的拍摄间隔，以此来判定分组。3.根据权利要求1所述的幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法，其特征在于，步骤S1和S2中所述拼接融合的方法，具体为：利用拼接方法进行方位图的拼接，得到所有图之间的匹配关系后，选取第一张方位图作为模板图，其它方位图生成像模板图配准的转换图，将所有图进行融合后得到全景图。4.根据权利要求3所述的幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法，其特征在于，所述拼接方法至少包括局部匹配算法或拼接模型，具体为：局部匹配算法：基于局部特征提取后在进行匹配的配准拼接；拼接模型：通过训练得到深度学习模型，至少包括自监督、全监督训练得到的偏移估计模型、形变场估计模型以及配准变换估计模型，利用所述深度学习模型完成拼接。5.根据权利要求3所述的幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法，其特征在于，所述融合方法至少包括权重融合或生成模型，具体为：权重融合：将两方位图之间的像素值进行加权，权重计算方法有中心距离向外依次递减或者像素值大小比较；生成模型：利用神经网络训练得到的深度生成模型，利用深度生成模型进行方位图的融合。6.根据权利要求1所述的幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法，其特征在于，步骤S1中将所有的全景图进行配准变换叠加，具体为：对于生成的每张全景影像，确定其中视盘和黄斑的位置；
选择一张全景影像作为全景目标图T，其它全景影像往全景目标图T进行配准变换，所有变换后的图与全景目标图T进行等权值叠加，得到左眼和右眼对应的眼底影像图谱，具体为：全景目标图T的视盘和黄斑坐标分别为[x1,y1],[x2,y2]，准备配准的全景图I
’
的视盘和黄斑坐标分别为[X1,Y1],[X2,Y2]，计算由全景图I
’
向全景目标图T的变换关系M：向全景目标图T的变换关系M：向全景目标图T的变换关系M：向全景目标图T的变换关系M：S0＝((X1
‑
X2)*(x1
‑
x2)+(Y1
‑
Y2)*(y1
‑
y2))*dS1＝((Y1
‑
Y2)*(x1
‑
x...

【专利技术属性】
技术研发人员：谢志，丁小燕，何尧，周昊，
申请(专利权)人：中山大学中山眼科中心，
类型：发明
国别省市：