用于对部署机构中的人工智能模型进行专业化的训练方法以及用于对人工智能模型进行训练的装置制造方法及图纸

本发明专利技术涉及一种用于对部署机构中的人工智能模型进行专业化的训练方法，以及一种用于对人工智能模型进行训练的装置。用于由至少一个处理器操作的训练装置的操作方法包括以下步骤：从由特定机构所拥有的数据中提取要用于专业化训练的数据集；通过使用预训练人工智能模型来从数据集中选择需要标注的标注目标；以及通过使用针对标注目标标注有标签的数据来对预训练的AI模型进行有监督训练。对预训练的AI模型进行有监督训练。对预训练的AI模型进行有监督训练。

【技术实现步骤摘要】
【国外来华专利技术】用于对部署机构中的人工智能模型进行专业化的训练方法以及用于对人工智能模型进行训练的装置


[0001]本公开涉及人工智能技术。

技术介绍

[0002]以深度学习为代表的机器学习技术在分析诸如图像、语音和文本的各种类型的数据时提供超过现有方法的性能的结果。此外，机器学习技术由于其固有的技术可扩展性和灵活性而被应用到各种领域，并且各种类型的神经网络被公开。
[0003]通过这种方式，基于机器学习的人工智能(AI)技术正在医学领域得到积极采用。以前，计算机辅助检测(CAD)设备执行基于规则的病变检测或检测在医学图像中设定的候选区域中的病变。但是，最近的基于AI的医学图像读取技术可以使用AI算法分析整个医学图像，并直观地提供异常病变。
[0004]医务人员可以从实施有基于AI的医学图像读取技术的诊断辅助设备接收关于医学图像中包括的异常病变的信息，然后根据该信息进行诊断。
[0005]同时，尽管在诸如成像装备、成像方法、严重性程度和种族的域中存在差异，但医疗机构仍在使用相同的AI模型。在这种情况下，在每个机构企图使用AI模型进行分析的数据与AI模型的训练数据之间就会出现差异。结果，导致在医疗现场AI模型的性能低于预期的问题。通过使用各个机构的数据进行微调，可以针对各个机构的数据来优化预训练的AI模型。但是，AI模型会丢失学习到的先验知识，这会影响泛化性能。结果，不能保证AI模型的稳定运行。

技术实现思路

[0006]【技术问题】
[0007]本公开提供了一种用于对部署机构中的人工智能模型进行专业化的训练方法以及用于执行该训练方法的装置。
[0008]本公开提供了一种用于收集部署机构的数据以对预训练的AI模型进行训练的方法。具体地，提供了一种用于在部署机构的数据当中选择用于对AI模型进行训练的数据并选择需要标注的数据的方法。
[0009]本公开提供了一种用于使用部署机构的数据对AI模型进行训练同时维持AI模型的先验知识的方法。
[0010]【技术方案】
[0011]根据实施例，提供了一种用于操作由至少一个处理器操作的训练装置的方法。该方法包括：从由特定机构保留的数据中提取要用于专业化训练的数据集；通过使用预训练的人工智能(AI)模型从数据集中选择需要标注的标注目标；以及通过使用针对标注目标标注有标签的数据来执行预训练的AI模型的有监督训练。
[0012]选择标注目标可以包括：通过使用预训练的AI模型针对数据集中的至少一些数据
的预测结果来选择预训练的AI模型所不确定的数据作为标注目标。
[0013]选择标注目标可以包括：基于通过使用预训练的AI模型的预测结果而测量的不确定性分数来选择标注目标。
[0014]不确定性分数可以通过使用在预训练的AI模型中预测的每种病变的分数的置信度值、在预训练的AI模型中预测的每种病变的热图的熵以及在预训练的AI模型中预测的病变共现中的至少一种来测量。
[0015]选择标注目标可以包括：选择代表数据集在预训练的AI模型的特征空间中的分布的数据作为标注数据。
[0016]该方法可以进一步包括：将从放射科医师报告中提取的信息标注在标注目标上，或者通过向标注者提供预训练的AI模型针对标注目标的预测结果来支持标注任务。
[0017]提取要用于专业化训练的数据集可以包括：基于特定机构的数据保留量和数据特性来确定要用于专业化训练的数据的量。
[0018]执行预训练的AI模型的有监督训练可以包括：将用于维持预训练的AI模型的先验知识的信息提供给处于有监督训练中的AI模型。
[0019]执行预训练的AI模型的有监督训练可以包括：计算在处于有监督训练中的AI模型与教师模型之间的蒸馏损失，并将蒸馏损失提供给处于有监督训练中的AI模型。这里，教师模型与预训练的AI模型是相同的模型。
[0020]蒸馏损失可以是使处于有监督训练中的AI模型遵循教师模型的中间特征和/或最终输出的损失。
[0021]根据另一实施例，提供了一种用于操作由至少一个处理器操作的训练装置的方法。该方法包括：收集用于预训练的第一数据集；输出已经使用第一数据集执行了至少一项任务的预训练的第一AI模型；以及输出已经使用从特定机构收集的第二数据集执行了专业化训练、同时维持在预训练中所获取的先验知识的第二AI模型。
[0022]第一AI模型可以使用被预处理以便不能区分输入数据的域的数据进行训练，或者可以执行对抗学习以便不能从所提取的中间特征中检测出输入数据的域。
[0023]输出第二AI模型可以包括：计算在处于专业化训练中的AI模型与教师模型之间的蒸馏损失，并且通过将蒸馏损失提供给处于专业化训练中的AI模型而使第二AI模型维持先验知识。这里，教师模型与预训练后的第一AI模型是相同的模型。
[0024]输出第二AI模型可以包括：通过使用第二数据集当中的标注有标签的标注数据中的至少一些来执行第一AI模型的有监督训练，并将用于维持第一AI模型的先验知识的信息提供给处于有监督训练中的AI模型。用于维持第一AI模型的先验知识的信息可以是在处于有监督训练中的AI模型与教师模型之间的蒸馏损失。教师模型可以与第一AI模型是相同的模型。
[0025]该方法可以进一步包括：从由特定机构保留的数据中提取要用于专业化训练的第二数据集；通过使用第一AI模型来从第二数据集中选择需要标注的标注目标；以及获得针对标注目标标注有标签的数据。
[0026]选择标注目标可以包括：通过使用第一AI模型针对第二数据集中的至少一些数据的预测结果来选择第一AI模型所不确定的数据作为标注目标。
[0027]选择标注目标可以包括：选择代表第二数据集在第一AI模型的特征空间中的分布
的数据作为标注目标。
[0028]根据又一实施例，提供了一种训练装置。该训练装置包括用于存储指令的存储器和用于执行指令的处理器。处理器可以从医疗机构的数据储存库中提取特定量的医疗机构数据，并通过使用医疗机构数据来执行预训练的AI模型的专业化训练，同时维持预训练的AI模型的先验知识。
[0029]处理器可以通过使用预训练的AI模型针对医疗机构数据的预测结果来从医疗机构数据中提取预训练的AI模型所不确定的数据，将不确定的数据选择为需要标注的标注目标，并且使用针对标注目标标注有标签的数据来执行预训练的AI模型的有监督训练。处理器可以通过将用于维持先验知识的信息提供给处于有监督训练中的AI模型来使先验知识被维持。
[0030]处理器可以选择代表医疗机构数据的分布的特定数量的代表性数据，并从代表性数据中选择预训练的AI模型的预测是不确定的数据。不确定的数据可以通过使用在预训练的AI模型中预测的每种病变的分数的置信度值、在预训练的AI模型中预测的每种病变的热图的熵以及在预训练的AI模型中预测的病变共现中的至少一种来选择。
[0031]【有益效果】
[0032]根据实施例，由于各种机构可以使用针对每个机构的域特性被专业化的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于操作由至少一个处理器操作的训练装置的方法，所述方法包括：从由特定机构保留的数据中提取要用于专业化训练的数据集；通过使用预训练的人工智能AI模型从所述数据集中选择需要标注的标注目标；以及通过使用针对所述标注目标标注有标签的数据来执行所述预训练的AI模型的有监督训练。2.根据权利要求1所述的方法，其中，选择所述标注目标包括：通过使用所述预训练的AI模型针对所述数据集中的至少一些数据的预测结果来选择所述预训练的AI模型所不确定的数据作为所述标注目标。3.根据权利要求2所述的方法，其中，选择所述标注目标包括：基于通过使用所述预训练的AI模型的所述预测结果而测量的不确定性分数来选择所述标注目标。4.根据权利要求3所述的方法，其中，所述不确定性分数通过使用在所述预训练的AI模型中预测的每种病变的分数的置信度值、在所述预训练的AI模型中预测的每种病变的热图的熵以及在所述预训练的AI模型中预测的病变共现中的至少一种来测量。5.根据权利要求1所述的方法，其中，选择所述标注目标包括：选择代表所述数据集在所述预训练的AI模型的特征空间中的分布的数据作为所述标注数据。6.根据权利要求1所述的方法，进一步包括：将从放射科医师报告中提取的信息标注在所述标注目标上，或者通过向标注者提供所述预训练的AI模型针对所述标注目标的预测结果来支持标注任务。7.根据权利要求1所述的方法，其中，提取要用于专业化训练的所述数据集包括：基于所述特定机构的数据保留量和数据特性来确定要用于专业化训练的数据的量。8.根据权利要求1所述的方法，其中，执行所述预训练的AI模型的有监督训练包括：将用于维持所述预训练的AI模型的先验知识的信息提供给处于有监督训练中的AI模型。9.根据权利要求8所述的方法，其中，执行所述预训练的AI模型的有监督训练包括：计算在处于有监督训练中的AI模型与教师模型之间的蒸馏损失，并将所述蒸馏损失提供给处于有监督训练中的AI模型，并且其中，所述教师模型与所述预训练的AI模型是相同的模型。10.根据权利要求9所述的方法，其中，所述蒸馏损失是使处于有监督训练中的AI模型遵循所述教师模型的中间特征和/或最终输出的损失。11.一种用于操作由至少一个处理器操作的训练装置的方法，所述方法包括：收集用于预训练的第一数据集；输出已经使用所述第一数据集执行了至少一项任务的预训练的第一AI模型；以及输出已经使用从特定机构收集的第二数据集执行了专业化训练、同时维持在预训练中所获取的先验知识的第二AI模型。12.根据权利要求11所述的方法，其中，所述第一AI模型使用被预处理以便不能区分输入数据的域的数据进行训练，或者执行对抗学习以便不能从所提取的中间特征中检测到所述输入数据的所述域。...

【专利技术属性】
技术研发人员：兪同根，白昇煜，金民哲，朴钟赞，
申请(专利权)人：株式会社润医，
类型：发明
国别省市：