图像处理模型的训练方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种图像处理模型的训练方法、装置、电子设备及存储介质；方法包括：获取用于作为训练样本的多个多模态图像，多模态图像的类型包括全模态图像和缺失模态图像；基于每个多模态图像，调用初始化的图像处理模型执行重建全模态图像的第一训练任务，在执行第一训练任务的过程中，图像处理模型输出第一全模态重建图像；基于全模态图像对每个第一全模态重建图像进行图像补全处理，得到全模态模板图像；确定多模态图像对与全模态模板图像之间的一致性损失；基于每个多模态图像，调用训练后的图像处理模型进行分割每个多模态图像的第二训练任务，在第二训练任务中以一致性损失为约束条件。通过本申请，能够提升分割多模态图像的准确性。像的准确性。像的准确性。

【技术实现步骤摘要】
图像处理模型的训练方法、装置、电子设备及存储介质


[0001]本申请涉及人工智能技术，尤其涉及一种图像处理模型的训练方法、装置、电子设备及存储介质。

技术介绍

[0002]人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、定位和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
[0003]多模态图像中存在缺失，例如：模态对应的图像的图块存在缺失，或者缺失模态等情况。相关技术中，为分割缺失模态的多模态图像中的异常区域，通常都包含了较为复杂的模型设计，这使得处理流程较为复杂，在训练和部署的时候也需要更多的参数和计算量，也降低了分割多模态图像的准确性。
[0004]相关技术，针对模态缺失的多模态图像进行图像处理暂无较好的解决方法。

技术实现思路

[0005]本申请实施例提供一种图像处理模型的训练方法、装置、电子设备及计算机可读存储介质、计算机程序产品，能够提升分割多模态图像的准确性。
[0006]本申请实施例的技术方案是这样实现的：
[0007]本申请实施例提供一种图像处理模型的训练方法，包括：
[0008]获取用于作为训练样本的多个多模态图像，其中，所述多模态图像的类型包括全模态图像和缺失模态图像；
[0009]基于每个所述多模态图像，调用初始化的所述图像处理模型执行重建所述全模态图像的第一训练任务，其中，在执行所述第一训练任务的过程中，所述图像处理模型输出每个所述多模态图像分别对应的第一全模态重建图像；
[0010]基于所述全模态图像对每个所述第一全模态重建图像进行图像补全处理，得到全模态模板图像；
[0011]确定多模态图像对与所述全模态模板图像之间的一致性损失，其中，所述多模态图像对包括任意两个所述多模态图像；
[0012]基于每个所述多模态图像，调用训练后的所述图像处理模型进行分割每个所述多模态图像的第二训练任务，其中，在所述第二训练任务中以所述一致性损失为更新所述图像处理模型的参数的约束条件。
[0013]本申请实施例提供一种图像处理方法，所述方法包括：
[0014]接收待处理的多模态图像；
[0015]基于所述多模态图像调用图像处理模型进行图像分割处理，得到所述多模态图像对应的分割结果，其中，所述图像处理模型是基于本申请实施例提供的图像处理模型的训练方法训练得到的。
[0016]本申请实施例提供一种图像处理模型的训练装置，包括：
[0017]样本获取模块，配置为获取用于作为训练样本的多个多模态图像，其中，所述多模态图像的类型包括全模态图像和缺失模态图像；
[0018]预训练模块，配置为基于每个所述多模态图像，调用初始化的所述图像处理模型执行重建所述全模态图像的第一训练任务，其中，在执行所述第一训练任务的过程中，所述图像处理模型输出每个所述多模态图像分别对应的第一全模态重建图像；
[0019]所述预训练模块，还配置为基于所述全模态图像对每个所述第一全模态重建图像进行图像补全处理，得到全模态模板图像；
[0020]模型调整模块，配置为确定多模态图像对与所述全模态模板图像之间的一致性损失，其中，所述多模态图像对包括任意两个所述多模态图像；
[0021]所述模型调整模块，还配置为基于每个所述多模态图像，调用训练后的所述图
[0022]像处理模型进行分割每个所述多模态图像的第二训练任务，其中，在所述第二训练任务中以所述一致性损失为更新所述图像处理模型的参数的约束条件。
[0023]本申请实施例提供一种图像处理装置，所述图像处理装置包括：
[0024]图像接收模块，配置为接收待处理的多模态图像；
[0025]图像处理模块，配置为基于所述多模态图像调用图像处理模型进行图像分割处理，得到所述多模态图像对应的分割结果，其中，所述图像处理模型是基于本申请实施例提供的图像处理模型的训练方法训练得到的。
[0026]本申请实施例提供一种电子设备，包括：
[0027]存储器，用于存储计算机可执行指令；
[0028]处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本申请实施例提供的图像处理模型的训练方法。
[0029]本申请实施例提供一种计算机可读存储介质，存储有计算机可执行指令，用于引起处理器执行时，实现本申请实施例提供的图像处理模型的训练方法。
[0030]本申请实施例提供一种计算机程序产品，包括计算机程序或计算机可执行指令，所述计算机程序或计算机可执行指令被处理器执行时实现本申请实施例提供的图像处理模型的训练方法。
[0031]本申请实施例具有以下有益效果：
[0032]通过针对图像处理模型进行分阶段的训练，使得图像处理模型具备重建多模态图像中缺失部分的功能，以及准确分割多模态图像中特定区域的功能。利用一致性损失作确定约束条件，使得图像处理模型处理不同的缺失模态情况的多模态图像时，能够保持分割结果之间的一致性，提升了分割多模态图像的准确性。
附图说明
[0033]图1是本申请实施例提供的图像处理模型的训练方法的应用模式示意图；
[0034]图2A是本申请实施例提供的服务器的结构示意图；
[0035]图2B是本申请实施例提供的服务器的结构示意图；
[0036]图2C是本申请实施例提供的图像处理模型的结构示意图；
[0037]图3A至图3K是本申请实施例提供的图像处理模型的训练方法的流程示意图；
[0038]图4A是联合训练示意图；
[0039]图4B是本申请实施例提供的缺失模态图像的示意图；
[0040]图4C是本申请实施例提供的分割区域的示意图；
[0041]图4D是本申请实施例提供的训练效果对比图；
[0042]图4E是本申请实施例提供的训练样本的示意图；
[0043]图5A是本申请实施例提供的图像处理的流程示意图；
[0044]图5B是本申请实施例提供的分割结果的示意图；
[0045]图6是本申请实施例提供的图像处理模型的训练过程的示意图；
[0046]图7A是本申请实施例提供的分割结果的示意图；
[0047]图7B是本申请实施例提供的一致性损失分析表；
[0048]图7C以及图7D是本申请实施例提供的对比结果表；
[0049]图8是本申请实施例提供的图像处理模型的训练方法的流程示意图。
具体实施方式
[0050]为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理模型的训练方法，其特征在于，所述方法包括：获取用于作为训练样本的多个多模态图像，其中，所述多模态图像的类型包括全模态图像和缺失模态图像；基于每个所述多模态图像，调用初始化的所述图像处理模型执行重建所述全模态图像的第一训练任务，其中，在执行所述第一训练任务的过程中，所述图像处理模型输出每个所述多模态图像分别对应的第一全模态重建图像；基于所述全模态图像对每个所述第一全模态重建图像进行图像补全处理，得到全模态模板图像；确定多模态图像对与所述全模态模板图像之间的一致性损失，其中，所述多模态图像对包括任意两个所述多模态图像；基于每个所述多模态图像，调用训练后的所述图像处理模型进行分割每个所述多模态图像的第二训练任务，其中，在所述第二训练任务中以所述一致性损失为更新所述图像处理模型的参数的约束条件。2.根据权利要求1所述的方法，其特征在于，所述基于每个所述多模态图像，调用初始化的所述图像处理模型执行重建所述全模态图像的第一训练任务，包括：基于每个所述多模态图像调用初始化的所述图像处理模型进行重建处理，得到每个所述多模态图像分别对应的第一全模态重建图像；基于每个所述第一全模态重建图像与所述全模态图像，确定第一均方差损失；基于所述第一均方差损失对初始化的所述图像处理模型进行反向传播处理，得到训练后的所述图像处理模型。3.根据权利要求2所述的方法，其特征在于，所述基于每个所述多模态图像调用初始化的所述图像处理模型进行重建处理，得到每个所述多模态图像分别对应的第一全模态重建图像，包括：基于每个所述多模态图像调用初始化的所述图像处理模型，以进行以下处理：对所述多模态图像进行编码处理，得到所述多模态图像的第一编码向量，其中，所述第一编码向量是所述多模态图像中未缺失部分的编码向量；基于所述第一编码向量进行缺失部分预测处理，得到所述多模态图像中缺失部分的第一预测向量；对所述第一预测向量与所述第一编码向量进行整合处理，得到第一全模态重建图像。4.根据权利要求3所述的方法，其特征在于，初始化的所述图像处理模型包括：多模态掩膜自编码器、回归网络，其中，所述多模态掩膜自编码器包括：编码器层、解码器层；所述编码器层用于执行所述编码处理；所述解码器层用于执行所述缺失部分预测处理；所述回归网络用于执行所述整合处理。5.根据权利要求2所述的方法，其特征在于，所述基于所述第一均方差损失对初始化的所述图像处理模型进行反向传播处理，得到训练后的所述图像处理模型，包括：将所述第一全模态重建图像代入正则函数，得到第一正则项，将所述第一均方差损失与所述第一正则项的加和最小作为第一约束条件；
基于所述第一约束条件以及所述第一均方差损失，对初始化的所述图像处理模型进行参数更新，得到训练后的所述图像处理模型。6.根据权利要求1所述的方法，其特征在于，所述基于所述全模态图像对每个所述第一全模态重建图像进行图像补全处理，得到全模态模板图像，包括：针对每个所述多模态图像执行以下处理：确定所述多模态图像中的缺失部分，基于所述第一全模态重建图像对所述缺失部分进行补全处理，得到第一补全图像；对所述第一补全图像进行线性回归处理，得到线性回归结果，并获取所述线性回归结果与所述全模态图像之间的第一均方差损失；从每个所述第一全模态重建图像中，获取使所述第一均方差损失最小的目标全模态重建图像，将所述目标全模态重建图像代入正则函数，得到第一正则项；将所述第一正则项与所述目标全模态重建图像的加和作为全模态模板图像。7.根据权利要求1所述的方法，其特征在于，所述确定多模态图像对与所述全模态模板图像之间的一致性损失，包括：针对所述多模态图像对中每个所述多模态图像执行以下处理：确定所述多模态图像中的缺失部分，基于所述全模态模板图像对所述缺失部分进行补全处理，得到第二补全图像；确定所述多模态图像对对应的两个所述第二补全图像之间的第二均方差损失，将所述第二均方差损失作为一致性损失；其中，所述多模态图像对对应的两个所述第二补全图像包括：所述多模态图像对中的第一个多模态图像的第二补全图像，所述多模态图像对中的第二个多模态图像的第二补全图像。8.根据权利要求7所述的方法，其特征在于，所述基于每个所述多模态图像，调用训练后的所述图像处理模型进行分割每个所述多模态图像的第二训练任务，包括：基于每个所述多模态图像调用训练后的所述图像处理模型进行图像分割处理，得到每个所述多模态图像分别对应的预测分割结果；基于所述预测分割结果与实际分割结果，确定所述图像处理模型的分割损失；基于所述一致性损失与所述分割损失，对所述图像处理模型进行反向传播处理，得到再次训练后的所述图像处理模型，其中，再次训练后的所述图像处理模型用于对缺失模态的多模态图像进行分割。9.根据权利要求8所述的方法，其特征在于，所述基于每个所述多模态图像调用训练后的所述图像处理模型进行图像分割处理，得到每个所述多模态图像分别对应的预测分割结果，包括：基于每个所述多模态图像调用训练后的所述图像处理模型，以进行以下处理：对所述多模态图像进行编码处理，得到所述多模态图像的第二编码向量，其中，所述第二编码向量是所述多模态图像中未缺失部分的编码向量；获...

【专利技术属性】
技术研发人员：刘洪，魏东，卢东焕，王连生，郑冶枫，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：