使用深度学习来处理眼睛的图像以预测视力制造技术

本发明专利技术所公开的系统和方法涉及使用机器学习模型来处理受试者的眼睛的输入并预测所述受试者的当前或未来的视力。所述受试者可能已经被诊断患有年龄相关性黄斑变性。预测的当前或未来的视力能够用于(例如)促进诊断所述受试者(例如，患有特定类型的年龄相关性黄斑变性)，促进确定针对所述受试者的治疗策略和/或促进设计临床研究。或促进设计临床研究。

【技术实现步骤摘要】
【国外来华专利技术】使用深度学习来处理眼睛的图像以预测视力
[0001]相关申请的交叉引用
[0002]本申请要求以下美国临时专利申请号的权益和优先权：62/882,354(于2019年8月2日提交)、62/907,014(于2019年9月27日提交)、62/940,989(于2019年11月27日提交)和62/990,354(于2020年3月16日提交)。出于所有目的，这些申请中的每个申请通过引用将其整体并入本文。

技术介绍

[0003]视网膜疾病(诸如新生血管性年龄相关性黄斑变性(新生血管性AMD))的特征在于可干扰视力以及导致永久性视力丧失的病理生理学和解剖学上的变化。年龄相关性黄斑变性(AMD)是一种影响人视力的眼病。AMD有两种类型：干性和湿性。干性AMD较为常见，并且是一种较轻微形式的AMD。其通常会逐渐进展并且慢慢地影响视力。与此相比，湿性AMD(也称为新生血管性年龄相关性黄斑变性)是一种更严重形式的AMD。新生血管性AMD的一个风险因素是年龄，其中新生血管性AMD通常会影响50岁以上年龄的人群。吸烟也会使人发展成新生血管性AMD的机会增加两倍至五倍。新生血管性AMD的其他风险因素包括肥胖、遗传、种族和性别。体重指数(BMI)超过30的人发展成新生血管性AMD的可能性是BMI较低的人的二点五倍。此外，新生血管性AMD的家族史也会增大一些人发展成新生血管性AMD的可能性。女性、白种人和浅色眼睛的人群也具有发展成新生血管性AMD的更高风险。虽然风险因素可以提供关于一些人发展成新生血管性AMD的可能性的信息，但目前还没有能够可靠地预测疾病严重程度和变性速度的技术。
[0004]因此，护理提供者常常依靠频繁的监测来确定是否开始和/或改变给定的治疗(例如，诸如玻璃体内抗血管内皮生长因子，其可使某些受试者的视力得到改善)。一种用于客观评定视力能力的方法是确定一个人正确识别出视力检查表(例如斯涅伦测视力表或LogMAR)上的哪些字符。视力检查表可以包括不同大小的字符(例如，其形式为在视力检查表的不同行上呈现不同的大小)，并且可以基于确定观察者正确识别出哪种大小的字符来确定视力。当观察者使用眼镜或隐形眼镜观察视力检查表时，该视力度量通常被称为“最佳矫正视力”。
[0005]监测矫正视力或最佳矫正视力可以提供有用信息的一个原因是各种视力疾病和/或视力病状可引起无法通过眼镜或隐形眼镜进行矫正的眼睛变化。例如，过多液体(例如，在黄斑中)可引起无法通过眼镜或隐形眼镜矫正的视力模糊。与此相比，由于年龄增长而自然发生的许多其他类型的视力退化可以通过眼镜或隐形眼镜来矫正。因此，矫正视力或最佳矫正视力可以作为疾病存在、进展和/或分期的指示。
[0006]虽然各种眼病(例如，包括AMD)引起解剖结构学上的变化以及进一步引起视觉功能退化，但尚未确定基于眼睛解剖结构预测当前或未来视力的准确关系。由于需要识别和预先指定用于分析的候选特征集合(该过程受限于人类研究者的洞察力)，常规相关性分析在检测解剖学参数与视觉参数之间的新关系的能力方面受到限制。此外，预先指定特征(诸如中心子域厚度(CST)和中心凹厚度(CFT))的常规方法通常会得到视网膜健康状况的聚合
测量值，这些聚合测量值可能与视力结果没有足够特定的关系。例如，在HARBOR试验数据中，从视网膜内液和总视网膜厚度得出的特征与R2＝0.21时的基线BCVA相关。
[0007]因此期望更可靠地基于解剖结构预测视觉功能。
附图说明
[0008]结合附图描述本公开：
[0009]图1.用于使用机器学习模型预测受试者眼睛视力的过程。
[0010]图2.使用视力预测进行临床研究的过程。
[0011]图3.深度学习管线。通过使用被表示为30个二维图像输入到ResNet
‑
50 v2卷积神经网络中的三维光学相干断层扫描体积来预测最佳矫正视力(BCVA)。
[0012]图4.并发访视时的实际最佳矫正视力(BCVA)与预测的最佳矫正视力。针对并发访视分析光学相干断层扫描图像以预测BCVA的深度学习算法的性能。(A)历经所有访视的研究眼均值。(B)历经所有访视的对侧眼均值。(C)历经所有访视的研究眼均值和对侧眼均值两者。
[0013]图5.根据相关联的光学相干断层扫描预测并发访视时＜69个字母的最佳矫正视力(BCVA)的深度学习算法的性能。(A)BCVA＜69个字母。随机访视时的研究眼。(B)BCVA＜69个字母。随机访视时的对侧眼。(C)BCVA＜69个字母。随机访视时的研究眼和对侧眼两者。
[0014]图6.第12个月时的实际BCVA与预测的BCVA。分析基线光学相干断层扫描图像以预测第12个月时的BCVA的深度学习算法的性能。(A)研究眼。(B)对侧眼。(C)研究眼和对侧眼两者。
[0015]图7.根据基线光学相干断层扫描预测第12个月时＜69个字母的最佳矫正视力(BCVA)的深度学习算法的性能。(A)第12个月BCVA＜69个字母。研究眼。(B)第12个月BCVA＜69个字母。对侧眼。(C)第12个月BCVA＜69个字母。研究眼和对侧眼两者。
[0016]图8.在基线处将对侧眼中的BCVA的标准偏差限制为研究眼的标准偏差。
[0017]图9.研究眼(黑色)和对侧眼(红色)在基线处、第6个月时、第12个月时、第18个月时和第24个月时按BCVA的方差计的R2。
[0018]图10.深度学习管线。通过使用输入到初始ResNet
‑
v2卷积神经网络中的彩色眼底照相图像来预测最佳矫正视力(BCVA)。
[0019]图11.分析彩色眼底照相图像以预测ANCHOR外部验证测试集合中的BCVA的深度学习回归模型的性能。(A)在距检查表2米处的实际BCVA与预测的BCVA。(B)在距检查表4米处的实际BCVA与预测的BCVA。
[0020]图12.分析彩色眼底照相图像以预测ANCHOR外部验证测试集合中的BCVA＜69个字母(斯涅伦等效于＜20/40)的深度学习分类模型的性能。(A)在距检查表2米处的接受者操作特性曲线。(B)在距检查表4米处的接受者操作特性曲线。
[0021]图13.可以被配置为执行一种或多种动作和/或本文所公开的一种或多种方法的一部分或全部的计算系统的网络。
[0022]在附图中，相似的部件和/或特征可以具有相同的附图标记。此外，相同类型的各种部件可以通过在附图标记后面加上破折号和区分相似部件的第二标记来区分。如果在说明书中仅使用第一附图标记，则该描述适用于具有相同的第一附图标记的任何一个相似部
件，而不考虑第二附图标记。
具体实施方式
[0023]I.概述
[0024]该描述涉及基于对受试者眼睛的图像的分析来预测表征受试者的视觉功能(例如，视力)的度量。该预测可有助于在治疗开发期间定义目标并选择适用于给定个体的治疗。眼睛的图像可以包括(例如)光学相干断层扫描(OCT)图像、彩色眼底图像或红外眼底图像。受试者可以但不必已被本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于基于图像处理来预测视力的方法，所述方法包括：访问受试者的眼睛的至少一部分的图像；将所述图像输入机器学习模型中以确定与预测的视力相对应的预测的视力度量，其中所述机器学习模型包括：使用以下各项所确定的参数集合：训练图像集合，所述训练图像集合中的每个训练图像描绘训练受试者集合中的训练受试者的眼睛的至少一部分；和标签集合，所述标签集合标识所述训练受试者集合中的每个训练受试者的观察到的视力；将所述图像和所述参数与视力度量相关联的函数；以及返回所述预测的视力度量。2.根据权利要求1所述的方法，其中所述图像是光学相干断层扫描(OCT)图像。3.根据权利要求1所述的方法，其中所述图像是彩色眼底照片图像。4.根据权利要求1至3中任一项所述的方法，其中所述预测的视力度量对应于在所述图像由成像装置捕获时的基线日期时的预测的视力。5.根据权利要求1至3中任一项所述的方法，其中所述预测的视力度量包括一个或多个数字，所述一个或多个数字表示在从所述图像被捕获时的基线日期起至少6个月的日期时的预测的视力。6.根据权利要求1至3中任一项所述的方法，其中所述预测的视力度量是二进制值，所述二进制值表示对所述受试者在所述图像由成像装置捕获时的基线日期时的视力是否比阈值视力值差的预测。7.根据权利要求1至3中任一项所述的方法，其中所述预测的视力度量是二进制值，所述二进制值表示对所述受试者在从所述图像由成像装置捕获时的基线日期起至少6个月时的视力是否比阈值视力值差的预测。8.根据权利要求6或7所述的方法，其中所述阈值等于斯涅伦小数20/160、20/80或20/40。9.根据权利要求1至8中任一项所述的方法，其进一步包括响应于所述预测的视力度量：提供所述受试者接受药物治疗的建议。10.根据权利要求1至9中任一项所述的方法，其中所述图像为三维图像，并且其中所述方法进一步包括：将所述图像切片成多个二维切片，每个所述切片以不同的扫描中心角度被捕获，并且所述切片彼此偏移不同数量的像素；并且其中将所述图像输入所述模型中包括将所述切片输入所述模型中。11.根据权利要求1至10中任一项所述的方法，其中所述模型是深度学习模型。12.根据权利要求1至11中任一项所述的方法，其中所述模型是或者包括卷积神经网络。13.根据权利要求1至12中任一项所述的方法，其中所述模型使用卷积核的集合。14.根据权利要求1至13中任一项所述的方法，其中所述模型包括ResNet模型。
15.根据权利要求1至14中任一项所述的方法，其中所述模型是Inception模型。16.根据权利要求1至15中任一项所述的方法，其中所述预测的视力度量对应于所述受试者的眼睛的预测的视力。17.根据权利要求1至16中任一项所述的方法，其中所述预测的视力度量对应于预测眼睛受试者在佩戴眼镜或隐形眼镜时的视力的预测的矫正视力。18.根据权利要求1至17中任一项所述的方法，其中所述预测的视力度量对应于所述受试者的眼睛的预测的最佳矫正视力。19.根据权利要求1至17中任一项所述的方法，其中在所述图像被收集的时候，所述受试者先前被诊断患有年龄相关性黄斑变性。20.根据权利要求1至17中任一项所述的方法，其中在所述图像被收集的时候，所述受试者先前被诊断患有新生血管性年龄相关性黄斑变性。21.根据权利要求1至17中任一项所述的方法，其中在所述图像被收集的时候，所述受试者先前被诊断患有萎缩性年龄相关性黄斑变性。22.根据权利要求1至17中任一项所述的方法，其中在所述图像集合中的训练图像已经被收集之前，训练受试者中的每个训练受试者先前被诊断患有年龄相关性黄斑变性。23.根据权利要求1至17中任一项所述的方法，其中在所述图像集合中的训练图像已经被收集之前，所述训练受试者中的每个训练受试者先前被诊断患有新生血管性年龄相关性黄斑变性。24.根据权利要求1至17中任一项所述的方法，其中在所述图像集合中的训...

【专利技术属性】
技术研发人员：迈克尔，
申请(专利权)人：基因泰克公司，
类型：发明
国别省市：