【技术实现步骤摘要】
示例涉及用于训练机器学习模型、用于生成训练语料库以及用于在科学或外科成像系统中使用机器学习模型的方法、系统和计算机系统，以及涉及包括该系统的科学或外科成像系统。
技术介绍
1、现代科学或外科成像设备，诸如显微镜、外窥镜、内窥镜等，经常对科学或外科成像设备中使用的相应的一个或多个传感器拍摄的图像进行图像处理。这种图像处理的范围可以从通常应用于不同类型图像的任务，诸如去噪或对比度调整，到非常专业的任务，诸如从荧光图像创建伪颜色叠加、突出几何或解剖特征等。为此目的，不同的图像处理任务可以由集成在相应的成像设备中或与之耦合的计算机系统来执行。在许多情况下，这些图像处理任务被组合成所谓的图像处理工作流，包括随后执行的多个图像处理步骤，即步骤n使用前一步n-1的输出。对成像设备捕获的图像执行的图像处理步骤越多，计算负载越高，并且图像处理工作流的时延也越高。
2、希望改进处理由科学或外科成像设备生成的图像的概念，最好是实时的。
技术实现思路
1、本公开的各种示例基于以下发现：通过训练机器学习模型，诸如深度神经网络以集成的方式执行图像处理工作流执行的图像处理任务，即不需要不同图像处理步骤生成的中间输出，可以简化复杂的图像处理工作流，并使其更加高效，该复杂的图像处理工作流可以包括许多连续的图像处理步骤。实际上，不是执行一系列图像处理步骤，而是使用单一的基于机器学习的处理步骤，取代整个图像处理工作流。这既可以降低处理图像所需的计算复杂度，又可以减少被替换的工作流的顺序性质而引入的延迟。p>
2、虽然关于深度神经网络已知各种压缩技术，诸如知识精炼，它是一种通过使用较大的dnn或dnn集合的输出来训练较小的深度神经网络(dnn)而工作的技术，或转移学习，它指的是重新训练或微调dnn的少数层的技术，该dnn先前已经在大型数据语料库上进行过训练，且现在使用来自与原始语料库相同或不同的域的较小训练集进行改进或重新利用，这些技术通常只适用于dnn，而不适用于包括一系列图像处理步骤的工作流。
3、本公开的某些方面涉及一种用于训练用于科学或外科成像系统的机器学习模型的方法。该方法包括获取科学或外科成像系统的多个图像，用于作为训练输入图像。该方法包括获取基于多个训练输入图像和基于科学或外科成像系统的图像处理工作流的多个训练输出。图像处理工作流包括多个图像处理步骤。该方法包括使用多个训练输入图像和多个训练输出来训练机器学习模型。通过训练机器学习模型，图像处理工作流最终可以被经训练的机器学习模型取代，从而降低复杂度和降低时延。
4、在某些情况下，图像处理工作流可以被参数化，以控制图像处理工作流的图像处理步骤的各个方面。例如，这些参数可以控制一些方面，诸如用于叠加的颜色、用于对象检测的阈值、边界框的大小等。为了在使用机器学习模型时支持相同类型的参数化，这些参数也可以用作机器学习模型的输入参数，从而也可以在机器学习模型的训练过程中使用。例如，该方法可以包括获取图像处理工作流的一个或多个输入参数作为进一步的训练输入，并使用一个或多个输入参数作为进一步的训练输入来训练机器学习模型。当机器学习模型被用来取代其所源自的图像处理工作流时，这可以允许机器学习模型的相同或类似的参数化。
5、一般来说，知识丰富的用户可以使用这些输入参数来根据手头应用的需求定制工作流。然而，在某些情况下，选择的输入参数可能不太理想，因此可以通过调整输入参数来提高图像处理工作流的性能。由于输入参数通常是用户定义的，因此寻找合适输入参数的负担可能首先落在用户身上。然而，当可以定义合适的和可量化的质量准则时，此任务也可以作为训练过程的一部分自动执行。例如，该方法可以包括根据质量准则评估机器学习模型的输出。该方法可以包括提供反馈信号，以基于机器学习模型的输出的评估来调整图像处理工作流的一个或多个参数。这样，图像处理工作流的性能可以在训练过程中或作为训练的一部分得到改善，从而提高训练输出，从而也得到质量提高的经训练的机器学习模型。
6、在上面的示例中，根据质量准则对机器学习模型的输出进行评估，即反馈信号的产生是由与机器学习模型分离的算法来执行的。然而，可替代地，机器学习模型不仅可以被训练来生成输出，还可以生成反馈信号。换句话说，可以对机器学习模型进行训练以生成反馈信号，以调整图像处理工作流的一个或多个参数。这可以避免使用单独的算法来产生反馈信号。然而，可能需要额外的损失函数和额外的计算工作来训练机器学习模型以生成反馈信号。
7、存在不同的训练技术适合训练这样的机器学习模型。例如，通过在机器学习模型训练期间在机器学习模型的输入处应用多个训练输入图像并使用多个训练输出作为期望输出，可以使用监督学习对机器学习模型进行训练，以将科学或外科成像系统的图像转换为输出。当使用监督学习时，训练输入和输出数据是与训练的质量有关的主要因素，而可以使用常用的损失函数，诸如梯度下降。
8、另一种适合的技术是强化学习。换句话说，可以使用强化学习来训练机器学习模型，以将科学或外科成像系统的图像转换为输出。在这种情况下，机器学习模型在训练期间的输出与多个训练输出的训练输出之间的差异可以用于在基于强化学习的训练期间确定奖励。这可能会使奖励函数的定义更加复杂。然而，如果除输出外，反馈信号将由机器学习模型产生，则强化学习可能更适合，因为没有关于反馈信号(如监督学习所需的)的标记数据(即期望的输出)。
9、第三种训练是基于两个相互对抗的代理—将图像转换为输出的生成器模型和评估输出的质量的鉴别器模型。换句话说，机器学习模型可以作为一对生成对抗网络的生成器模型进行训练，以将科学或外科成像系统的图像转换为输出。可以基于多个训练输出来训练这对生成对抗网络的鉴别器模型。与强化学习类似，如果除输出外，反馈信号将由机器学习模型生成，则此方法可能更适合，因为没有关于反馈信号的标记数据(即期望的输出)。
10、在所提出的概念中，机器学习模型被训练成将图像转换为输出。在此背景下，有各种类型的合适的输出，诸如处理过的图像或关于输入图像的信息(例如，物体的位置，或描述图像的文本，或表示图像或包括有关图像的各种类型的信息的向量)，或时间坐标(如果机器学习模型用于处理图像流(即视频))。相应地，可将机器学习模型训练为基于科学或外科成像系统的图像输出图像、向量、空间坐标和时间坐标中的至少一种。
11、除了训练之外，训练数据的生成和经训练的机器学习模型的使用是本公开的另外两个方面。
12、本公开的各个方面涉及一种用于科学或外科成像系统的方法。该方法包括基于科学或外科成像系统的光学成像传感器的成像传感器数据生成多个图像。该方法进一步包括使用科学或外科成像系统的图像处理工作流，基于该多个图像生成多个输出，图像处理工作流包括多个图像处理步骤。该方法包括提供多个图像作为训练输入图像，以及提供多个输出作为训练输出，用于训练机器学习模型，例如，根据上述训练。通过生成图像，并使用图像处理工作流对其进行处理，可以生成适合训练机器学习模型的训练数本文档来自技高网...
【技术保护点】
1.一种用于训练用于科学或外科成像系统的机器学习模型的方法，所述方法包括：
2.根据权利要求1所述的方法，进一步包括获取(230)所述图像处理工作流的一个或多个输入参数作为进一步的训练输入，并使用所述一个或多个输入参数作为进一步的训练输入来训练所述机器学习模型。
3.根据权利要求1或2中任一项所述的方法，进一步包括根据质量准则评估(250)所述机器学习模型的输出，并提供(255)反馈信号(580)以基于所述机器学习模型的所述输出的所述评估来调整所述图像处理工作流的一个或多个参数。
4.根据权利要求1至3中任一项所述的方法，其中所述机器学习模型被训练以生成反馈信号(580)以调整所述图像处理工作流的一个或多个参数。
5.根据权利要求1至4中任一项所述的方法，其中，通过在所述机器学习模型训练期间在所述机器学习模型的输入处应用所述多个训练输入图像，并将所述多个训练输出作为期望输出，使用监督学习来训练所述机器学习模型，以将所述科学或外科成像系统的图像转换为输出。
6.根据权利要求1至5中任一项所述的方法，其中使用强化学习来训练所
7.根据权利要求1至6中任一项所述的方法，其中所述机器学习模型被训练作为一对生成对抗网络的生成器模型，以将所述科学或外科成像系统的图像转换为输出，其中基于所述多个训练输出训练所述一对生成对抗网络的鉴别器模型。
8.一种用于科学或外科成像系统(300)的方法，所述方法包括：
9.根据权利要求8所述的方法，进一步包括获取(160)经训练的机器学习模型(555)并用根据权利要求1至7中任一项所述的方法训练的机器学习模型替换(170)所述图像处理工作流。
10.根据权利要求8或9中任一项所述的方法，进一步包括使用权利要求1至7中任一项所述的方法训练所述机器学习模型。
11.根据权利要求8至10中任一项所述的方法，进一步包括获取(140)反馈信号(580)，所述反馈信号基于所述机器学习模型(555)的训练或当所述外科或科学成像系统使用所述机器学习模型时基于所述经训练的机器学习模型的输出，并使用(145)所述反馈信号作为所述图像处理工作流或者所述经训练的机器学习模型的输入。
12.根据权利要求8至11中任一项所述的方法，其中所述图像处理工作流包括一个或多个确定性图像处理步骤、具有迭代优化分量的一个或多个图像处理步骤和一个或多个基于机器学习的图像处理步骤中的至少一个。
13.一种用于科学或外科成像系统(300)的系统(310)，所述系统包括一个或多个处理器(314)和一个或多个存储设备(316)，其中所述系统被配置为执行权利要求1至7中任一项所述的方法和权利要求8至12中任一项所述的方法中的至少一种。
14.一种用于科学或外科成像系统(300)的系统(310)，所述系统包括一个或多个处理器(314)和一个或多个存储设备(316)，其中所述系统被配置为
15.一种计算机程序，具有程序代码，当所述计算机程序在处理器上运行时，用于执行根据权利要求1至7中任一项所述的方法或根据权利要求8至12中任一项所述的方法。
...【技术特征摘要】
1.一种用于训练用于科学或外科成像系统的机器学习模型的方法，所述方法包括：
2.根据权利要求1所述的方法，进一步包括获取(230)所述图像处理工作流的一个或多个输入参数作为进一步的训练输入，并使用所述一个或多个输入参数作为进一步的训练输入来训练所述机器学习模型。
3.根据权利要求1或2中任一项所述的方法，进一步包括根据质量准则评估(250)所述机器学习模型的输出，并提供(255)反馈信号(580)以基于所述机器学习模型的所述输出的所述评估来调整所述图像处理工作流的一个或多个参数。
4.根据权利要求1至3中任一项所述的方法，其中所述机器学习模型被训练以生成反馈信号(580)以调整所述图像处理工作流的一个或多个参数。
5.根据权利要求1至4中任一项所述的方法，其中，通过在所述机器学习模型训练期间在所述机器学习模型的输入处应用所述多个训练输入图像，并将所述多个训练输出作为期望输出，使用监督学习来训练所述机器学习模型，以将所述科学或外科成像系统的图像转换为输出。
6.根据权利要求1至5中任一项所述的方法，其中使用强化学习来训练所述机器学习模型，以将所述科学或外科成像系统的图像转换为输出，其中所述机器学习模型在训练期间的输出与所述多个训练输出的训练输出之间的差异用于在基于强化学习的训练期间确定奖励。
7.根据权利要求1至6中任一项所述的方法，其中所述机器学习模型被训练作为一对生成对抗网络的生成器模型，以将所述科学或外科成像系统的图像转换为输出，其中基于所述多个训练输出训练所述一对生成对抗网络的鉴别器模型。
8.一种用于科学或外科成像系统(300)的方法...
【专利技术属性】
技术研发人员：康斯坦丁·卡佩尔，
申请(专利权)人：莱卡微系统CMS有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。