【技术实现步骤摘要】
本申请属于图像，具体涉及一种图像处理方法、装置及电子设备。
技术介绍
1、在图像处理中，物体消除(object removal)的处理任务是指：用户可以在图像中通过涂抹的方式确定需要消除的区域，然后算法将需要消除的区域的前景物体去除，并在前景物体区域填充合适的像素，达到去除前景物体且看不出处理痕迹的效果，从而达到图像编辑、图像美化等目的。
2、在现有技术中，基于潜空间扩散模型(latent diffusion model，ldm)的物体消除方法可以在消除的物体区域填充较好的背景，减少消除痕迹，但由于模型天然不可控的特性，有一定概率在物体区域重新生成其它物体，造成消除的失败。
技术实现思路
1、本申请实施例的目的是提供一种图像处理方法，能够基于生成背景的训练任务编码得到正向条件信息，使得模型能够很好地学习背景的生成，从而在消除任务中可以提高生成背景的准确率，有效减少在消除区域生成物体的概率，提高消除成功概率。
2、第一方面，本申请实施例提供了一种图像处理方法，该方法包括：根据与背景训练图像对应的训练任务，通过ldm的文本编码器，得到正向条件信息，以及根据与物体训练图像对应的训练任务，通过ldm的文本编码器，得到反向条件信息；对预处理图像中的消除区域进行掩码处理和取反处理，得到输入图像；将所述正向条件信息、所述反向条件信息和所述输入图像输入去噪神经网络，输出经过去噪处理的输出图像；其中，所述输出图像为所述消除区域被消除的所述预处理图像。
3、第二方面
4、第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的步骤。
5、第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
6、第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
7、第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
8、在本申请的实施例中，引入了训练任务这一概念，训练任务包括与背景训练图像对应的训练任务和与物体训练图像对应的训练任务，与背景训练图像对应的训练任务的训练目的在于训练背景的生成，与物体训练图像对应的训练任务的训练目的在于训练物体的生成，从而通过ldm的文本编码器，根据与背景训练图像对应的训练任务，可以得到正向条件信息，根据与物体训练图像对应的训练任务，可以得到反向条件信息。在对预处理图像中的消除区域进行消除的过程中，对消除区域进行掩码处理，再进行取反处理，得到输入图像，将输入图像、正向条件信息、反向条件信息输入至去噪神经网络，由去噪神经网络输出去噪处理的输出图像。其中，输出图像中的消除区域的物体被消除，同时被背景填充。可见，本申请的实施例基于生成背景的训练任务编码得到正向条件信息，使得模型能够很好地学习背景的生成，从而在消除任务中可以提高生成背景的准确率，有效减少在消除区域生成物体的概率，提高消除成功概率。
本文档来自技高网...【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述输入图像是通过变分自编码器对经过取反处理的所述预处理图像进行编码得到的；
3.根据权利要求2所述的方法，其特征在于，所述将所述正向条件信息、所述反向条件信息和所述输入图像输入去噪神经网络，输出经过去噪处理的输出图像之前，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述将所述正向条件信息、所述反向条件信息和所述输入图像输入去噪神经网络，输出经过去噪处理的输出图像之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述将所述正向条件信息、所述反向条件信息和所述输入图像输入去噪神经网络，输出经过去噪处理的输出图像之前，所述方法还包括：
6.根据要求要求2所述的方法，其特征在于，所述方法还包括：
7.根据要求要求6所述的方法，其特征在于，所述将与所述第二训练图像对应的合成图像通过所述变分自编码器中的条件编码器输入所述变分自编码器中的解码器之前，所述方法还包括：
8.一种图像处理装置
9.根据权利要求8所述的装置，其特征在于，所述输入图像是通过变分自编码器对经过取反处理的所述预处理图像进行编码得到的；
10.根据权利要求9所述的装置，其特征在于，所述处理模块，还用于获取背景训练图像的物体掩码图像；其中，所述物体掩码图像中的掩码区域为所述背景训练图像中的物体区域；对所述物体掩码图像进行取反处理，得到所述背景训练图像的背景掩码图像；其中，所述背景掩码图像中的掩码区域为所述背景训练图像中的背景区域；获取所述背景训练图像的随机掩码图像；其中，所述随机掩码图像中的掩码区域为所述背景训练图像中的随机区域；对所述随机掩码图像与所述背景掩码图像中的掩码区域进行保留交集区域的处理，得到所述背景训练图像的掩码图像；其中，所述掩码图像中的掩码区域为所述交集区域；合成经过取反处理的所述交集区域和所述背景训练图像中除与所述交集区域对应的区域之外的其它区域的图像内容，得到合成图像。
11.根据权利要求10所述的装置，其特征在于，所述处理模块，还用于获取物体训练图像的物体掩码图像；其中，所述物体掩码图像中的掩码区域为所述物体训练图像中的物体区域；合成所述物体掩码图像中经过取反处理的掩码区域和所述物体训练图像中除与所述掩码区域对应的区域之外的其它区域的图像内容，得到合成图像。
12.根据权利要求11所述的装置，其特征在于，所述处理模块，还用于通过变分自编码器，对第一训练图像进行编码处理和加噪处理，得到加噪图像；其中，所述第一训练图像为所述背景训练图像或者所述物体训练图像；通过所述变分自编码器，对所述合成图像进行编码处理；拼接经过编码处理的所述合成图像与对应的所述背景训练图像的掩码图像，或者拼接经过编码处理的所述合成图像与对应的所述物体训练图像的物体掩码图像，得到拼接图像；根据与所述第一训练图像对应的训练任务，通过LDM的文本编码器，得到条件信息；其中，所述训练任务为所述背景训练图像的训练任务或者所述物体训练图像的训练任务；将参考时间步、所述条件信息、拼接的所述加噪图像和所述拼接图像输入去噪神经网络，输出预测噪声；
13.根据要求要求9所述的装置，其特征在于，所述处理模块，还用于对第二训练图像进行颜色增强处理，得到颜色增强图像；其中，所述第二训练图像与第一训练图像为不同的训练图像；对所述颜色增强图像进行潜空间增强处理，得到潜空间增强图像；通过变分自编码器，对所述潜空间增强图像进行编码处理，得到编码图像；将与所述第二训练图像对应的合成图像通过所述变分自编码器中的条件编码器输入所述变分自编码器中的解码器；所述变分自编码器中的解码器根据所述编码图像和所述合成图像，输出解码图像；
14.根据要求要求13所述的装置，其特征在于，所述处理模块，还用于获取所述第二训练图像的随机掩码图像；其中，所述随机掩码图像中的掩码区域为所述第二训练图像中的随机区域；合成经过取反处理的所述掩码区域和所述第二训练图像中除与所述掩码区域对应的区域之外的其它区域的图像内容，得到与所述第二训练图像对应的合成图像。
15.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1～7任一项所述的图像处理方法的步骤。
...【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述输入图像是通过变分自编码器对经过取反处理的所述预处理图像进行编码得到的；
3.根据权利要求2所述的方法，其特征在于，所述将所述正向条件信息、所述反向条件信息和所述输入图像输入去噪神经网络，输出经过去噪处理的输出图像之前，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述将所述正向条件信息、所述反向条件信息和所述输入图像输入去噪神经网络，输出经过去噪处理的输出图像之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述将所述正向条件信息、所述反向条件信息和所述输入图像输入去噪神经网络，输出经过去噪处理的输出图像之前，所述方法还包括：
6.根据要求要求2所述的方法，其特征在于，所述方法还包括：
7.根据要求要求6所述的方法，其特征在于，所述将与所述第二训练图像对应的合成图像通过所述变分自编码器中的条件编码器输入所述变分自编码器中的解码器之前，所述方法还包括：
8.一种图像处理装置，其特征在于，所述装置包括：
9.根据权利要求8所述的装置，其特征在于，所述输入图像是通过变分自编码器对经过取反处理的所述预处理图像进行编码得到的；
10.根据权利要求9所述的装置，其特征在于，所述处理模块，还用于获取背景训练图像的物体掩码图像；其中，所述物体掩码图像中的掩码区域为所述背景训练图像中的物体区域；对所述物体掩码图像进行取反处理，得到所述背景训练图像的背景掩码图像；其中，所述背景掩码图像中的掩码区域为所述背景训练图像中的背景区域；获取所述背景训练图像的随机掩码图像；其中，所述随机掩码图像中的掩码区域为所述背景训练图像中的随机区域；对所述随机掩码图像与所述背景掩码图像中的掩码区域进行保留交集区域的处理，得到所述背景训练图像的掩码图像；其中，所述掩码图像中的掩码区域为所述交集区域；合成经过取反处理的所述交集区域和所述背景训练图像中除与所述交集区域对应的区域之外的其它区域的图像内容，得到合成图像。
11.根据权利要求10所述的装置，其特征在于，所述处理...
【专利技术属性】
技术研发人员：项威麟，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。