图像处理模型的训练方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了图像处理模型的训练方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体涉及计算机视觉、深度学习技术领域，可应用在视频理解和编辑场景下。具体实现方案：获取多个样本图像，和与多个样本图像分别对应的多个标注图像；对多个样本图像分别进行频域变换，以得到对应的多个样本频域图像；对多个标注图像分别进行频域变换，以得到对应的多个标注频域图像；以及根据多个样本频域图像和多个标注频域图像训练初始的人工智能模型，以得到目标图像处理模型，使得训练得到的目标图像处理模型能够有效地建模出图像的频域信息，提升图像处理模型针对图像的频域信息的表征能力，能够有效地提升图像处理模型的图像处理效果。

Training method, device, electronic equipment and storage medium of image processing model

【技术实现步骤摘要】
图像处理模型的训练方法、装置、电子设备及存储介质
本公开涉及人工智能
，具体涉及计算机视觉、深度学习
，可应用在视频理解和编辑场景下，尤其涉及图像处理模型的训练方法、装置、电子设备及存储介质。
技术介绍
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。相关技术中训练得到的图像处理模型，对图像特征的表征能力不佳，从而使用其执行图像处理类任务时，处理得到的图像质量不高。
技术实现思路
提供了一种图像处理模型的训练方法、图像处理方法、装置、电子设备、存储介质及计算机程序产品。根据第一方面，提供了一种图像处理模型的训练方法，包括：获取多个样本图像，和与所述多个样本图像分别对应的多个标注图像；对所述多个样本图像分别进行频域变换，以得到对应的多个样本频域图像；对所述多个标注图像分别进行频域变换，以得到对应的多个标注频域图像；以及根据所述多个样本频域图像和所述多个标注频域图像训练初始的人工智能模型，以得到目标图像处理模型。根据第二方面，提供了一种图像处理方法，包括：获取待处理图像；将所述待处理图像输入至前述第一方面提供的图像处理模型的训练方法训练得到的目标图像处理模型之中，以得到所述目标图像处理模型输出的目标频域图像。根据第三方面，提供了一种图像处理模型的训练装置，包括：第一获取模块，用于获取多个样本图像，和与所述多个样本图像分别对应的多个标注图像；第一处理模块，用于对所述多个样本图像分别进行频域变换，以得到对应的多个样本频域图像；第二处理模块，用于对所述多个标注图像分别进行频域变换，以得到对应的多个标注频域图像；以及训练模块，用于根据所述多个样本频域图像和所述多个标注频域图像训练初始的人工智能模型，以得到目标图像处理模型。根据第四方面，提供了一种图像处理装置，包括：第二获取模块，用于获取待处理图像；第三处理模块，用于将所述待处理图像输入至前述第三方面提供的图像处理模型的训练装置训练得到的目标图像处理模型之中，以得到所述目标图像处理模型输出的目标频域图像。根据第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例的图像处理模型的训练方法，或者执行本公开实施例的图像处理方法。根据第六方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开实施例公开的图像处理模型的训练方法，或者执行本公开实施例的图像处理方法。根据第七方面，提出了一种计算机程序产品，包括计算机程序，当所述计算机程序由处理器执行时实现本公开实施例公开的图像处理模型的训练方法，或者执行本公开实施例的图像处理方法。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本公开的限定。其中：图1是根据本公开第一实施例的示意图；图2是根据本公开第二实施例的示意图；图3是可以实现本公开实施例的图像处理模型的训练场景图；图4是根据本公开第三实施例的示意图；图5是根据本公开第四实施例的示意图；图6是根据本公开第五实施例的示意图；图7是根据本公开第六实施例的示意图；图8是用来实现本公开实施例的图像处理模型的训练方法的电子设备的框图。具体实施方式以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1是根据本公开第一实施例的示意图。其中，需要说明的是，本实施例的图像处理模型的训练方法的执行主体为图像处理模型的训练装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。本公开实施例涉及人工智能
，具体涉及计算机视觉、深度学习
，可应用在视频理解和编辑场景下。其中，人工智能(ArtificialIntelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。而计算机视觉，指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。如图1所示，该图像处理模型的训练方法包括：S101：获取多个样本图像，和与多个样本图像分别对应的多个标注图像。本公开实施例中训练得到的图像处理模型，可以被用于图像及视频处理类任务(图像及视频处理类任务例如，超分增强、视频插帧、图像修复、风格迁移等)中，对此不做限制。该图像处理模型可以被用于对输入的一帧图像或者视频进行优化处理，该图像处理模型可以具体是已训练的神经网络模型或者是机器学习模型等，对此不做限制。上述用于训练模型的图像，可以被称为样本图像，样本图像可以被作为初始的人工智能模型的输入，以辅助训练人工智能模型。上述获取多个样本图像，可以具体是从电子设备的存储空间之中读取多个原始图像，并将多个原始图像作为多个样本图像，或者，也可以是开启摄像装置对场景拍照得到，对此不做限制。上述的多个标注图像可以是与多个样本图像分别对应的，也即是说，一个样本图像对应一个标注图像，或者，一个样本图像也可以对应多个标注图像，对此不做限制。而标注图像，可以是用于训练人工智能模型的参考标准图像，该参考标准图像可以被用于评估人工智能模型的训练效果和收敛时机，该标注图像可以具体例如为携带标注值的图像，标注值例如，图像特征(例如色彩、亮度)对应的标准值，对此不做限制。本公开实施例中，上述在获取多个样本图像，和与多个样本图像分别对应的多个标注图像之后，可以采用获取多个样本图像和多个标注图像训练人工智能模型，以得到目标图像处理模型。S102：对多个样本图像分别进行频域变换，以得到对应的多个样本频域图像。...

【技术保护点】
1.一种图像处理模型的训练方法，包括：/n获取多个样本图像，和与所述多个样本图像分别对应的多个标注图像；/n对所述多个样本图像分别进行频域变换，以得到对应的多个样本频域图像；/n对所述多个标注图像分别进行频域变换，以得到对应的多个标注频域图像；以及/n根据所述多个样本频域图像和所述多个标注频域图像训练初始的人工智能模型，以得到目标图像处理模型。/n

【技术特征摘要】
1.一种图像处理模型的训练方法，包括：
获取多个样本图像，和与所述多个样本图像分别对应的多个标注图像；
对所述多个样本图像分别进行频域变换，以得到对应的多个样本频域图像；
对所述多个标注图像分别进行频域变换，以得到对应的多个标注频域图像；以及
根据所述多个样本频域图像和所述多个标注频域图像训练初始的人工智能模型，以得到目标图像处理模型。


2.根据权利要求1所述的方法，其中，所述根据所述多个样本频域图像和所述多个标注频域图像训练初始的人工智能模型，以得到目标图像处理模型，包括：
将所述多个样本频域图像输入所述初始的人工智能模型，以得到所述人工智能模型输出的对应的多个预测频域图像；
确定所述多个预测频域图像分别与对应的所述多个标注频域图像之间的频域损失值；
如果所述频域损失值满足设定条件，则将训练得到的人工智能模型作为所述目标图像处理模型。


3.根据权利要求2所述的方法，其中，所述确定所述多个预测频域图像分别与对应的所述多个标注频域图像之间的频域损失值，包括：
提取与所述多个预测频域图像对应的多个第一频域特征；
提取与所述多个标注频域图像对应的多个第二频域特征；
确定所述多个第一频域特征分别与对应的所述多个第二频域特征之间的多个损失值，并将所述多个损失值作为所述多个频域损失值。


4.根据权利要求3所述的方法，其中，所述提取与所述多个预测频域图像对应的多个第一频域特征，包括：
提取与所述多个预测频域图像对应的多个第一颜色特征、多个第一颜色编码特征、多个第一分辨率特征，并将所述多个第一颜色特征、多个第一颜色编码特征、多个第一分辨率特征共同作为所述多个第一频域特征。


5.根据权利要求3所述的方法，其中，所述提取与所述多个标注频域图像对应的多个第二频域特征，包括：
提取与所述多个标注频域图像对应的多个第二颜色特征、多个第二颜色编码特征、多个第二分辨率特征，并将所述多个第二颜色特征、多个第二颜色编码特征、多个第二分辨率特征共同作为所述多个第二频域特征。


6.一种图像处理方法，包括：
获取待处理图像；
将所述待处理图像输入至如权利要求1-5任一项所述的图像处理模型的训练方法训练得到的目标图像处理模型之中，以得到所述目标图像处理模型输出的目标频域图像。


7.一种图像处理模型的训练装置，包括：
第一获取模块，用于获取多个样本图像，和与所述多个样本图像分别对应的多个标注图像；
第一处理模块，用于对所述多个样本图像分别进行频域变换，以得到对应的多个样本频域图像；
第二处理模块，用于对所述多个标注图像分别进行频域变换，以得到对应的多个...

【专利技术属性】
技术研发人员：郑贺，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11