【技术实现步骤摘要】
本专利技术涉及具有处理模型的机器学习系统的训练方法和装置，其中该处理模型被训练用于给图像序列的图像区的信号序列分配结果类别，还涉及具有用于从图像序列中提取候选信号序列的候选提取模型的机器学习系统的训练方法和装置以及用于借助具有处理模型的分析物数据评估系统分配图像序列的图像区给结果类别的方法和装置，其中该处理模型被训练用于给图像序列的图像区分配结果类别。
技术介绍
1、从ep2992115b1中得到一种用于通过在多轮染色中用标记物染色待鉴定分析物来鉴定分析物的方法。标记物由寡核苷酸和与之偶联的染料构成，染料一般是荧光染料。
2、寡核苷酸对待鉴定分析物的特定部分有特异性。但标记物的若干寡核苷酸对与各自分析物并非明确无疑。但由于有多轮染色而有可能进行分析物的明确无疑的确定，因为在进行多轮染色之后可以将多个不同标记物分配给某个寡核苷酸并且所配属的多个标记物于是对于各自分析物是明确无疑的。
3、可利用这种方法在体外例如在细胞中借助荧光显微镜检测不同分析物。分析物可以是rna、特别是mrna或trna。分析物也可以是dna的片段。
4、通常有许多分析物位于样本内，其可利用上述染色轮被并行鉴定，即便其在此情况下应该是不同的分析物。样本内的分析物越多，在各自染色轮中的待检标记物数量越大。在自动采集并评估相应图像信号的情况下，必须获得样本内所有标记物的图像信号并也与样本内的未由标记物引起的图像信号区分开。
5、从wo2020/254519a1和wo2021/255244a1中得到另一种方法，借此尤其
6、实践表明，用于描述多轮染色的图像信号的数据量可以是几tb。处理这样大量的数据需要相应大的存储器需求。由此造成的购置和维护成本相应高。ssd硬盘优选用作数据存储器，其一方面适于存储如此大量的数据，另一方面允许快速访问数据。但是，ssd硬盘只允许有限次数的写周期。在这种大量数据的情况下很快就会达到极限，由此会导致系统故障。另外，分析这样大量的数据需要相应高的计算能力，或者所述分析持续相应长的时间并且使用者必须相应长时间等候其实验结果。
技术实现思路
1、本专利技术基于以下任务，实现一种改进的用于分配包括分析物类型的结果类别给在此分析物用标记物被标记的图像序列中的图像区的方法。
2、本专利技术的另一任务是提供一种方法，其允许训练具有用于分配结果类别给图像序列中的图像区的处理模型的机器学习系统。
3、本专利技术的一个方面涉及一种训练具有处理模型的机器学习系统的方法。该处理模型被训练成给图像序列的多个图像区的信号序列分配结果类型。该图像序列通过在多轮染色中用标记物标记分析物和用相机检测该标记物来产生。该相机在每轮染色中拍摄的该图像序列中的一个图像。如此选择该标记物，分析物信号序列在整个图像序列范围内的一个图像区中包括染色信号和未染色信号。分析物信号序列的染色信号和未染色信号具有各自信号序列的其中一个染色信号和/或未染色信号与各自信号序列的至少其中另一个染色信号和/或未染色信号的至少一个一定比例，或分析物信号序列具有包括该至少一个一定比例的表征标记。该方法包括以下步骤：提供标注的数据组，其中该标注的数据组对于各不同待鉴别结果类别包括信号序列以及对应的目标输出。该结果类别包括用于每个待鉴定分析物类型的至少一个类别。分析物信号序列具有染色信号和未染色信号的特定顺序，据此能将该信号序列分配给一个分析物类型。该方法还包括以下步骤，通过调整处理模型的模型参数来优化目标函数，其中该目标函数基于由该处理模型输出的结果输出和目标输出来计算。
4、根据本专利技术，分析物是物品，其在样本内的存在或缺失将被特异性证明并且在其存在情况下将对其存在进行编码。在此，它可以是任何类型的实体，包括蛋白质、多肽、蛋白质或核酸分子(如rna、pna或dna)，其也被称为转录物。分析物提供至少一个用于与分析物特异性探针特异性偶联的位点。本专利技术意义上的分析物也可以包括物体的络合物，例如至少两个单独的核酸、蛋白质或肽分子。在本文的一个实施方式中，分析物排除染色体。在本文的另一实施方式中，分析物排除dna。在一些实施方式中，分析物可以是编码序列、结构核苷酸序列或结构核酸分子，当其在适当的调控序列的控制下时，其涉及一般通过mrna翻译成多肽的核苷酸序列。编码序列的边界由5'-末端的翻译起始密码子和3'-末端的转换终止密码子决定。编码序列可以包括但不限于基因组dna、cdna、est和重组核苷酸序列。根据应鉴定哪一类型的分析物，这种方法被称为空间转录组学或多组学。
5、术语图像信号以下被理解为是指用于预定颜色信道的某颜色的图像像点值，或者图像信号包含颜色图的颜色空间的不同基色的值。
6、因此，术语信号序列以下被理解为意味着在染色轮范围内的图像区的一系列图像信号。信号序列的图像信号可以在实验中被记录下来。但信号序列的图像信号也可以例如被人工生成以用于训练，例如通过适当模拟或使用生成模型。
7、根据本专利技术，分别包括标记物颜色的频谱范围也被称为颜色信道。在颜色信道内被分开的图像是单色图像且对于每个像点作为值或测量值包含在颜色信道的颜色中的像点的上述图像信号。
8、专利技术人已经认识到，获得分析物图像信号的图像区的信号序列在该信号序列范围内分别具有在各自信号序列的染色信号和/或未染色信号之间的至少一个一定比例。因此，源自分析物的信号序列包括表征标记，其包括信号序列的染色信号和/或未染色信号的该至少一个一定比例。另外，分析物信号序列针对每个待鉴定分析物类型具有染色信号和未染色信号的一定顺序，据此能将分析物信号序列分配给一种分析物类型。由于根据机器学习系统训练方法一种处理模型用包括具有一定比例或表征标记的染色信号和未染色信号以及染色信号和未染色信号特定顺序的信号序列被训练用于鉴定分析物类型，故可以提供一种很有效、快速且能良好控制的具有处理模型的机器学习系统的训练方法，处理模型给图像序列的图像区分配结果类别。通过此方式所训练的机器学习系统能很高效地分析带有标记的分析物的图像序列的数据。
9、处理模型例如优选是神经网络、卷积神经网络(cnn)、多层感知器(mlp)、回归神经网络(rnn)或变换器网络。
10、此外，标注的数据组优选包括背景图像区的信号序列，其中背景图像区是图像序列的如下图像区，在此未获得分析物信号，而针对背景图像区的目标输出在结果类别集合中形成至少一个自身类别。
11、根据本专利技术，背景图像区可被分为各不同类型的背景区。一方面有以下背景图像区、即所谓的本文档来自技高网...
【技术保护点】
1.一种用于训练具有处理模型(28)的机器学习系统(1)的方法，其中，所述处理模型(28)被训练成给图像序列的多个图像区的信号序列(31)分配结果类型，所述图像序列(19)通过在多轮染色中利用标记物标记分析物(39)和利用相机(12)检测所述标记物来产生，所述相机(12)在每轮染色中拍摄所述图像序列中的一个图像(5)，所述标记物被选择成，使得所述分析物(39)的所述信号序列(31)在整个所述图像序列(19)的范围内的一个图像区(25)中包括染色信号和未染色信号，分析物(39)的信号序列(31)的所述染色信号和所述未染色信号具有各自信号序列(31)的其中一个染色信号和/或未染色信号与各自信号序列(31)的至少另一个染色信号和/或未染色信号的至少一个一定比例，和/或分析物(39)的信号序列(31)具有包括所述至少一个一定比例的表征标记，所述方法包括：
2.根据权利要求1所述的方法，其中，所述标注的数据组还包括背景图像区(26)的信号序列(31)，其中，所述背景图像区(26)是图像序列(19)的图像区(25)，在此未获得分析物(39)的信号，并且所述目标输出针对所述背景图像
3.根据前述权利要求1或2所述的方法，其中，所述处理模型(28)是分类模型，所述结果输出说明所述信号序列(31)的结果类别或所述结果输出是概率分布，其分别说明属于其中哪个结果类别的概率，并且所述目标函数获得所述结果输出与所述目标输出之间的差异。
4.根据前述权利要求1至3中任一项所述的方法，其中，目标函数的优化以多轮进行并且在其中几轮中如此改变所述信号序列(31)的所述染色信号和所述未染色信号的顺序，即改变后的顺序对应于其中另一个待鉴定的分析物类型的顺序并且关于改变后的顺序在优化目标函数时采用相应对应的目标输出。
5.根据前述权利要求1至4中任一项所述的方法，其中，所述目标函数是分类损失并且所述结果输出对于每一项具有在0和1之间的值，所述值说明在此各自信号序列(31)属于各自结果类别的概率。
6.根据权利要求1或2所述的方法，其中，所述目标输出是理论位序列并且所述目标输出对于信号序列中的每个染色信号包括一个真位并且对于每个未染色信号具有一个假位。
7.根据前述权利要求6所述的方法，其中，所述目标输出对于背景图像区(26)的信号序列(31)仅包括假值。
8.根据权利要求6或7所述的方法，其中，所述结果输出是结果位序列，其中，所述处理模型(28)被训练成给所述信号序列(31)中的每个染色信号分配一个真位并且给所述信号序列(31)中的每个未染色信号分配一个假位，并且所述目标函数获得所述结果位序列与所述目标输出之差。
9.根据权利要求6或7所述的方法，其中，所述结果输出是概率分布，在此所述信号序列(31)的每个图像信号被分配所述图像信号是否是一个染色信号的概率，并且所述目标函数获得所述结果输出与所述目标输出之差。
10.根据前述权利要求6至9中任一项所述的方法，其中，所述结果输出对于其中每个图像信号具有在0和1之间的值，其说明各自信号是染色信号的概率。
11.根据前述权利要求1至10中任一项所述的方法，其中，所述处理模型(28)是完整折叠网络，其或是作为具有完整相连的层的分类模型以这些图像区(25)的信号序列(31)被训练过，或是其直接作为完整折叠网络来训练，分类模型在训练后通过用折叠层取代完整相连的层被转移到所述完整折叠网络中，所述完整折叠网络能同时处理所述图像序列(19)的所有图像区(25)的所述信号序列(31)。
12.根据前述权利要求2至11中任一项所述的方法，其中，所述目标函数的区域包括：
13.根据前述权利要求6或7所述的方法，其中，所述处理模型(28)是嵌入模型(33)，其针对嵌入输入确定嵌入一个嵌入空间，所述嵌入输入包括所述信号序列和所述目标输出，所述结果输出包括所述信号序列的嵌入，目标嵌入包括所述目标输出的嵌入，并且所述目标函数的优化同时将相同结果类别的嵌入输入的嵌入之差最小化并且将基于不同结果类别的嵌入输入的嵌入之差最大化。
14.根据前述权利要求6至13中任一项所述的方法，其中，目标函数的优化分多轮进行并且在其中几轮中包括所述信号序列(31)的随机化，其中，所述随机化包括以下中的一个或多个：
15.根据前述权利要求1至14中任一项所述的方法，其中，目标函数的所述优化分多轮进行并且在其中几轮中包括所述信号序列(31)的增强，其中，所述增强包括以下中的一个或多个：
16.根据前述权利要求中任一项所述的方法，其中，所述信号序...
【技术特征摘要】
1.一种用于训练具有处理模型(28)的机器学习系统(1)的方法，其中，所述处理模型(28)被训练成给图像序列的多个图像区的信号序列(31)分配结果类型，所述图像序列(19)通过在多轮染色中利用标记物标记分析物(39)和利用相机(12)检测所述标记物来产生，所述相机(12)在每轮染色中拍摄所述图像序列中的一个图像(5)，所述标记物被选择成，使得所述分析物(39)的所述信号序列(31)在整个所述图像序列(19)的范围内的一个图像区(25)中包括染色信号和未染色信号，分析物(39)的信号序列(31)的所述染色信号和所述未染色信号具有各自信号序列(31)的其中一个染色信号和/或未染色信号与各自信号序列(31)的至少另一个染色信号和/或未染色信号的至少一个一定比例，和/或分析物(39)的信号序列(31)具有包括所述至少一个一定比例的表征标记，所述方法包括：
2.根据权利要求1所述的方法，其中，所述标注的数据组还包括背景图像区(26)的信号序列(31)，其中，所述背景图像区(26)是图像序列(19)的图像区(25)，在此未获得分析物(39)的信号，并且所述目标输出针对所述背景图像区(26)在结果类别集合中形成至少一个自身类别。
3.根据前述权利要求1或2所述的方法，其中，所述处理模型(28)是分类模型，所述结果输出说明所述信号序列(31)的结果类别或所述结果输出是概率分布，其分别说明属于其中哪个结果类别的概率，并且所述目标函数获得所述结果输出与所述目标输出之间的差异。
4.根据前述权利要求1至3中任一项所述的方法，其中，目标函数的优化以多轮进行并且在其中几轮中如此改变所述信号序列(31)的所述染色信号和所述未染色信号的顺序，即改变后的顺序对应于其中另一个待鉴定的分析物类型的顺序并且关于改变后的顺序在优化目标函数时采用相应对应的目标输出。
5.根据前述权利要求1至4中任一项所述的方法，其中，所述目标函数是分类损失并且所述结果输出对于每一项具有在0和1之间的值，所述值说明在此各自信号序列(31)属于各自结果类别的概率。
6.根据权利要求1或2所述的方法，其中，所述目标输出是理论位序列并且所述目标输出对于信号序列中的每个染色信号包括一个真位并且对于每个未染色信号具有一个假位。
7.根据前述权利要求6所述的方法，其中，所述目标输出对于背景图像区(26)的信号序列(31)仅包括假值。
8.根据权利要求6或7所述的方法，其中，所述结果输出是结果位序列，其中，所述处理模型(28)被训练成给所述信号序列(31)中的每个染色信号分配一个真位并且给所述信号序列(31)中的每个未染色信号分配一个假位，并且所述目标函数获得所述结果位序列与所述目标输出之差。
9.根据权利要求6或7所述的方法，其中，所述结果输出是概率分布，在此所述信号序列(31)的每个图像信号被分配所述图像信号是否是一个染色信号的概率，并且所述目标函数获得所述结果输出与所述目标输出之差。
10.根据前述权利要求6至9中任一项所述的方法，其中，所述结果输出对于其中每个图像信号具有在0和1之间的值，其说明各自信号是染色信号的概率。
11.根据前述权利要求1至10中任一项所述的方法，其中，所述处理模型(28)是完整折叠网络，其或是作为具有完整相连的层的分类模型以这些图像区(25)的信号序列(31)被训练过，或是其直接作为完整折叠网络来训练，分类模型在训练后通过用折叠层取代完整相连的层被转移到所述完整折叠网络中，所述完整折叠网络能同时处理所述图像序列(19)的所有图像区(25)的所述信号序列(31)。
12.根据前述权利要求2至11中任一项所述的方法，其中，所述目标函数的区域包括：
13.根据前述权利要求6或7所述的方法，其中，所述处理模型(28)是嵌入模型(33)，其针对嵌入输入确定嵌入一个嵌入空间，所述嵌入输入包括所述信号序列和所述目标输出，所述结果输出包括所述信号序列的嵌入，目标嵌入包括所述目标输出的嵌入，并且所述目标函数的优化同时将相同结果类别的嵌入输入的嵌入之差最小化并且将基于不同结果类别的嵌入输入的嵌入之差最大化。
14.根据前述权利要求6至13中任一项所述的方法，其中，目标函数的优化分多轮进行并且在其中几轮中包括所述信号序列(31)的随机化，其中，所述随机化包括以下中的一个或多个：
15.根据前述权利要求1至14中任一项所述的方法，其中，目标函数的所述优化分多轮进行并且在其中几轮中包括所述信号序列(31)的增强，其中，所述增强包括以下中的一个或多个：
16.根据前述权利要求中任一项所述的方法，其中，所述信号序列(31)借助变换被变换为变换后的信号序列(31)并且变换后的所述信号序列(31)被输入所述处理模型(28)中，其中，所述变换尤其包括以下中的一个或多个：
17.根据前述权利要求1至16中任一项所述的方法，其中，所述标注的数据组是借助以下步骤中的至少一个生成的：
18.根据前述权利要求1至17中任一项所述的方法，其中，所述处理模型(28)的训练包括所述处理模型(28)的完整学习或预先训练过的处理模型(28)的变换学习，其中，例如依据上下文信息从一组预先训练过的处理模型(28)中找出所述预先训练过的处理模型(28)。
19.一种用于训练具有用于从图像序列(19)中提取候选信号序列的候选提取模型的机器学习系统(1)的方法，其中，所述图像序列(19)通过在多轮染色中用标记物标记分析物(39)并且用相机(12)检测标记物来产生，所述相机(12)在每轮染色中拍摄所述图像序列(19)的一幅图像(5)，所述标记物被选择成一种分析物(39)的图像信号在处于所述图像序列(19)的范围内的一个图像区中包括染色信号和未染色信号，所述方法包括：
20.根据权利要求19所述的方法，其中，所述候选提取模型被训练成依据多个染色信号鉴别候选信号序列，其中，所述染色信号和未染色信号依据各自信号序列(19)的所述染色信号和/或未染色信号之一与各自所述信号序列(19)的染色信号和/或未染色信号中至少另一个的至少一个一定比例被鉴别，和/或分别依据包括所述至少一个一定比例的表征标记鉴别所述候选信号序列。
21.根据前述权利要求19或20所述的方法，其中，所述候选提取模型是完整折叠网络(37)，其作为具有完整相连层的分类模型用一些图像区(25)的信号序列(31)被训练过，并且所述分类模型在训练之后通过由折叠层取代完整相连层被转移到所述完整折叠网络(38)中，所述完整折叠网络能同时处理所述图像序列(19)的所有图像区(25)的信号序列(31)。
22.根据权利要求19或20所述的方法，其中，所述候选提取模型是语义分割模型，并且所述标注的数据组对于所述图像序列(19)的每个所述图像(5)包括一个分割掩膜，所述分割掩膜给每个所述图像区(25)分配一个值，该值说明所述图像区(25)是否是候选图像区，所述候选图像区获得关于所述图像序列(19)的候选信号序列，其中，所述值例如是说明所述图像区是否是候选区的一位。
23.根据权利要求19或20所述的方法，其中，所述候选提取模型是图像至图像模型，并且处理映射是图像至图像映射，并且所述标注的数据组中的所述目标输出或是说明所述图像区(25)离具有候选图像序列的下一图像区有多远的间隔值，或是说明在所述图像区中已获得候选图像序列的概率的概率值。
24.根据权利要求19或20所述的方法，其中，所述候选提取模型作为探测模型来实现并且输出检测到候选信号序列的所述图像区(25)的名单。
25.根据前述权利要求19至24中任一项所述的方法，其中，所述标注的数据组是借助以下步骤中的至少一个产生的：
26.根据前述权利要求19至25中任一项所述的方法，其中，所述标注的数据组是借助根据权利要求1至8中任一项所述的方法生成的。
27.根据前述权利要求19至26中任一项所述的方法，还包括交换所述图像区(25)的所述信号序列(31)的所述图像信号的顺序，获知一种分析物(39)的图像信号，随后输入到所述候选提取模型中。
28.根据前述权利要求19至27中任一项所述的方法，其中，所述目标函数的优化包括多轮训练，一轮训练包括：
29.根据权利要求28所述的方法，其中，被错误分类的紧邻一个已被正确分配给一种分析物的像点的信号序列不作为训练数据被用作下一轮训练中。
30.一种用于训练具有分配模型的机器学习系统的方法，其中，所述分配模型包括处理模型(28)和候选提取模型，其中，所述处理模型(28)优选借助根据前述权利要求1至18中任一项所述的方法被训练过并且所述分配模型优选借助根据前述权利要求19至27中任一项所述的方法被训练过，其中，所述处理模型(28)和所述候选提取模型具有共同的输入层并且所述处理模型(28)在训练中优选利用候选信号序列来训练。
31.一种借助具有处理模型(28)的分析物评估系统(1)分配图像序列的图像区给结果类别的方法，其中，所述处理模型(28)被训练成给所述图像序列(19)的图像区(25)分配一个结果类别，所述图像序列(19)通过在多轮染色中利用标记物标记分析物(39)并且利用相机(12)检测所述标记物来产生，所述相机(12)在每轮染色中拍摄所述图像序列(19)的一个图像(5)，所述标记物被选择成使得分析物(39)的信号序列(31)在图像序列范围内的一个图像区(25)中包括染色信号和未染色信号，所述分析物(39)的所述信号序列(31)的所述染色信号和所述未染色信号具有各自信号序列(31)的所述染色信号和/或所述未染色信号之一与各自信号序列(31)的所述染色信号和/或所述未染色信号中的另一个的至少一个一定比例，和/或分析物(39)的信号序列(31)具有包括所述至少一个一定比例的表征标记，所述结果类别包括用于每个待鉴定分析物类型的至少一个类别，并且所述分析物(3...
【专利技术属性】
技术研发人员：M·阿姆托尔，D·哈斯，
申请(专利权)人：卡尔蔡司显微镜有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。