基于多模态的眼部检测数据的处理方法、装置及终端设备制造方法及图纸

本申请适用于人工智能技术领域，提供了基于多模态的眼部检测数据的处理方法、装置及终端设备，包括：获取待处理至少两种不同的眼部检测数据；采用与至少两种不同的所述眼部检测数据一一对应的特征提取网络，提取每一种所述眼部检测数据对应的数据特征；将至少两种不同的所述眼部检测数据对应的数据特征进行特征融合，得到融合特征；利用分类器对所述融合特征进行分类，得到至少两种不同的所述眼部检测数据的分类结果。通过上述方法，能够得到更准确的分类结果。

【技术实现步骤摘要】
基于多模态的眼部检测数据的处理方法、装置及终端设备
本申请属于人工智能
，尤其涉及基于多模态的眼部检测数据的处理方法、装置、终端设备及计算机可读存储介质。
技术介绍
深度学习的概念源于人工神经网络的研究，深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分，不同的学习框架下建立的学习模型通常是不同的。例如，若一个卷积神经网络(Convolutionalneuralnetworks，CNNs)是通过视盘数据进行训练得到，由于该视盘数据是通过对用户的眼睛的视盘进行检测得到的数据，则上述的CNNs输出的是与视盘检测对应的视盘数据的分类结果，研究人员根据该分类结果以及其他数据能够得到被检测眼睛是青光眼或不是青光眼的结论。其中，上述的CNNs是一种深度的监督学习下的机器学习模型。由于青光眼的表现很复杂，因此，上述CNNs输出的分类结果的准确性较低，对用户的辅助作用较低，故需要提供一种新的分类结果确定方法。
技术实现思路
本申请实施例提供了一种基于多模态的眼部检测数据的处理方法，可以解决现有的卷积神经网络对眼部检测数据进行分析处理时，所得到的分类结果的准确性较低的问题。第一方面，本申请实施例提供了一种基于多模态的眼部检测数据的处理方法，包括：获取待处理至少两种不同的眼部检测数据；采用与至少两种不同的所述眼部检测数据一一对应的特征提取网络，提取每一种所述眼部检测数据对应的数据特征；将至少两种不同的所述眼部检测数据对应的数据特征进行特征融合，得到融合特征；利用分类器对所述融合特征进行分类，得到至少两种不同的所述眼部检测数据的分类结果。本申请实施例与现有技术相比存在的有益效果是：本申请实施例中，采用与至少两种不同的所述眼部检测数据一一对应的特征提取网络，提取每一种所述眼部检测数据对应的数据特征，再将至少两种不同的所述眼部检测数据对应的数据特征进行特征融合，得到融合特征，最后利用分类器对所述融合特征进行分类，得到至少两种不同的所述眼部检测数据的分类结果。由于分类结果是对融合特征进行分类后得到，而融合特征又是对至少两种数据特征进行融合后得到，也即该融合特征包含的信息比单独一个眼部检测数据所包含的细节更多，因此，得到的分类结果也比单纯对一个数据特征进行分类所得到的分类结果更准确。第二方面，本申请实施例提供了一种基于多模态的眼部检测数据的处理装置，包括：眼部检测数据获取单元，用于获取待处理至少两种不同的眼部检测数据；数据特征确定单元，用于采用与至少两种不同的所述眼部检测数据一一对应的特征提取网络，提取每一种所述眼部检测数据对应的数据特征；融合特征确定单元，用于将至少两种不同的所述眼部检测数据对应的数据特征进行特征融合，得到融合特征；分类结果确定单元，用于利用分类器对所述融合特征进行分类，得到至少两种不同的所述眼部检测数据的分类结果。第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的方法。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中所述的方法。可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。图1是本申请实施例一提供的第一种基于多模态的眼部检测数据的处理方法的流程示意图；图2是本申请实施例一提供的一种神经卷积网络模型的结构示意图；图3是本申请实施例一提供的第二种基于多模态的眼部检测数据的处理方法的流程示意图；图4是本申请实施例一提供的PDPs的一种示意图；图5是本申请实施例一提供的OCT图数据的一种示意图；图6是本申请实施例一提供的一种与OCT图数据对应的特征提取网络的结构示意图；图7是本申请实施例一提供的又一种基于多模态的眼部检测数据的处理方法的流程示意图；图8是本申请实施例二提供的一种基于多模态的眼部检测数据的处理装置的结构框图；图9是本申请实施例三提供的终端设备的结构示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。实施例一：现有的卷积神经网络模型通常基于视盘数据进行训练，即基于单一模态的数据进行训练，因此，得到的训练后的卷积神经网络模型所输出的分类结果的准确性较低，对用户的辅助作用也较低，为了解决该技术问题，本申请实施例提供了一种基于多模态的眼部检测数据的处理方法，在该方法中，首先获取待处理至少两种不同的眼部检测数据，再根据预训练的特征提取网络分别提取各个眼部检测数据对应的数据特征，再将提取得到的数据特征进行融合，得到融合特征，再通过预训练的分类器对融合特征进行分类，得到对应的分类结果。由于分类结果是对融合特征进行分类后得到，而融合特征又是对至少两种数据特征进行融合后得到，因此，得到的分类结果比单纯对一个数据特征进行分类所得到的分类结果更准确。下面结合具体附图对本申请实施例提供的基于多模态的眼部检测数据的处理方法进行示例性说明。图1示出了本申请实施例提供的第一种基于多模态的眼部检测数本文档来自技高网...

【技术保护点】
1.一种基于多模态眼部检测数据的处理方法，其特征在于，包括：/n获取待处理至少两种不同的眼部检测数据；/n采用与至少两种不同的所述眼部检测数据一一对应的特征提取网络，提取每一种所述眼部检测数据对应的数据特征；/n将至少两种不同的所述眼部检测数据对应的数据特征进行特征融合，得到融合特征；/n利用分类器对所述融合特征进行分类，得到至少两种不同的所述眼部检测数据的分类结果。/n

【技术特征摘要】
1.一种基于多模态眼部检测数据的处理方法，其特征在于，包括：
获取待处理至少两种不同的眼部检测数据；
采用与至少两种不同的所述眼部检测数据一一对应的特征提取网络，提取每一种所述眼部检测数据对应的数据特征；
将至少两种不同的所述眼部检测数据对应的数据特征进行特征融合，得到融合特征；
利用分类器对所述融合特征进行分类，得到至少两种不同的所述眼部检测数据的分类结果。


2.如权利要求1所述的基于多模态的眼部检测数据的处理方法，其特征在于，所述将至少两种不同的所述眼部检测数据对应的数据特征进行特征融合，得到融合特征，包括：
根据注意力机制确定各个所述眼部检测数据对应的数据特征的权值，根据确定的各个所述权值将各个所述数据特征进行特征融合，得到融合特征。


3.如权利要求1或2所述的基于多模态的眼部检测数据的处理方法，其特征在于，所述至少两种不同的所述眼部检测数据包括：VF数据、眼底彩照数据或视盘数据。


4.如权利要求3所述的基于多模态的眼部检测数据的处理方法，其特征在于，至少两种不同的所述眼部检测数据包括所述VF数据，所述VF数据为模式偏差概率图PDPs数据，获取所述PDPs数据包括：
从待处理的视野检测报告中提取所述PDPs数据。


5.如权利要求4所述的基于多模态的眼部检测数据的处理方法，其特征在于，所述从待处理的视野检测报告中提取所述PDPs数据，包括：
将待处理的视野检测报告中的指定位置划分为N*N个区块，并确定各个所述区块的灰度值，N大于或等于9；
根据各个所述区块的灰度值以及预设的映射表确定各个所述区块对应的图标标识，得到所述PDPs数据，其中，所述预设的映射表用于存储区块的灰度值与图标标识的对应关系，一个所述图标标识用于唯一标记所述PDPs中的一个图标。


6.如权利要求5所述的基于多模态的眼部检测数据的处理方法，其特征在于，在所述得到所述PDPs数据之后，包括：
对所述PDPs数据进行第一预处理，所述第一预处理包括归一化处理；
所述采用与至少两种不同的所述眼部检测数据一一对应的特征提取...

【专利技术属性】
技术研发人员：张秀兰，乔宇，宋迪屏，熊健，李飞，何军军，
申请(专利权)人：中国科学院深圳先进技术研究院，中山大学中山眼科中心，
类型：发明
国别省市：广东;44