【技术实现步骤摘要】
所描述实施例涉及用于执行基于提示的图像编辑的系统、方法和计算机程序产品。具体地，所描述实施例涉及用于基于提示自动编辑数字图像的系统、方法和计算机程序产品。
技术介绍
1、数字图像编辑过程可用于对数字图像产生广泛多种修改。例如，可修改图像的颜色性质，可移除或替换图像元素，例如前景或背景物件，或者可添加图像元素。
2、历史上，数字图像编辑是使用数字图像编辑软件手动执行的，以操纵图像。然而，如果需要质量结果，则这可能是极其漫长且乏味的工作，尤其是在对大区域进行工作时。这是因为此方法可能需要对图像进行像素级操纵来保持真实且无缝的结果。已开发了一些自动化方法，但这些自动化方法通常产生不真实或非所要结果。
3、需要解决或改善与用于执行图像编辑的先前系统和方法相关联的一个或多个缺点或劣势，或者至少向其提供有用的替代方案。
4、在整个本说明书中，词语“包括(comprise)”或者例如“包括(comprises)”或“包括(comprising)”的变化形式将被理解为暗示包含所陈述的元件、整数或步骤，或者元件、整数或步骤的群组，但不排除任何其它元件、整数或步骤，或者元件、整数或步骤的群组。
5、已包含在本说明书中的对文件、动作、材料、装置、物件等的任何论述不应由于其在所附权利要求中的每一个的优先权日期之前已存在而被视为承认这些内容中的任一个或全部形成现有技术基础的部分或者是与本公开相关的领域中的公知常识。
技术实现思路
1、一些实施例涉及一种执行基于
2、存取图像；
3、接收所述图像的所选择区域；
4、接收提示，其中所述提示指示编辑指令；
5、通过将所述图像变换为视觉噪声来生成潜影；
6、基于所述潜影和所述提示而预测对应于所述潜影的噪声图像；
7、从所述潜影中减去所述噪声图像的至少一部分以生成更新的潜影；
8、生成所述图像的有噪声表示；
9、基于所述有噪声表示、所述更新的潜影和所选择区域而生成所掩蔽潜影，其中所述所掩蔽潜影包括在对应于所述所选择区域的区域中的所述更新的潜影以及在并不对应于所述所选择区域的区域中的所述有噪声表示。
10、一些实施例进一步包括在一系列时间步长内重复去噪循环的步骤，其中所述去噪循环包括以下步骤：预测噪声图像，生成更新的潜影，生成有噪声表示以及生成所掩蔽潜影。
11、根据一些实施例，在给定当前时间步长t的情况下，预测所述噪声图像包括预测在加噪过程期间在时间步长t+1处将存在于所述潜影中的所述视觉噪声。
12、在一些实施例中，生成所述第一图像的所述有噪声表示包括基于所述当前时间步长t而向所述图像添加噪声。
13、在一些实施例中，所述时间步长t在每一迭代之后递减。
14、在一些实施例中，所述去噪循环重复15次至40次。
15、在一些实施例中，所述去噪循环重复20次至30次。
16、根据一些实施例，要从所述潜影中减去的所述噪声图像的所述部分是基于噪声计划表而确定的。
17、在一些实施例中，预测所述噪声图像的所述步骤是由扩散模型执行的。
18、根据一些实施例，所述扩散模型是使用包括第一图像、编辑指令和基于所述编辑指令编辑的第二图像的数据集训练的。
19、根据一些实施例，所述扩散模型是通过以下操作训练的：使所述扩散模型随着时间步长t增加而向所述第一图像添加噪声，随后使所述扩散模型通过递减时间步长t来去除噪声以生成第二所编辑图像。
20、一些实施例进一步包括确定所接收提示的编码，其中预测噪声图像的所述步骤是使用所述提示的所述编码完成的。
21、一些实施例进一步包括基于所述所选择区域而裁剪所述所存取图像。
22、一些实施例进一步包括在生成所述潜影之前将所述所存取图像的分辨率更改为工作分辨率，其中所述工作分辨率是比所述所存取图像的所述分辨率低的分辨率。
23、一些实施例进一步包括在生成所述潜影之前将对应于所述所存取图像的像素信息映射到潜影空间，使得所述潜影是所述图像在所述潜影空间中的表示。
24、一些实施例进一步包括将所生成的所掩蔽潜影插入到所述所存取图像中以产生输出图像。
25、一些实施例进一步包括对所述所生成的所掩蔽潜影执行像素融合过程以将所述所生成的所掩蔽潜影与所述所存取图像混合。
26、一些实施例进一步包括通过以下操作来输出所述图像：将所述输出图像保存到存储器位置，向用户显示所述输出图像，或将所述输出图像发送到外部装置。
27、一些实施例进一步包括基于所述所选择区域而生成二进制掩码，以及使用所述二进制掩码来生成所述所掩蔽潜影。
28、在一些实施例中，所述所掩蔽潜影是基于以下等式而计算的masked_latent＝mask*latent+(1-mask)*noisy_representation，
29、其中mask表示基于所述所选择区域而生成的掩码，latent表示所述更新的潜影，并且noisy_representation表示所述有噪声表示。
30、一些实施例进一步包括接收所述提示涉及局部编辑的指示。
31、在一些实施例中，第一视觉噪声是高斯噪声。
32、一些实施例涉及一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理装置执行时使所述处理装置执行一些其它实施例的方法。
33、一些实施例涉及一种计算装置，其包括：
34、一些其它实施例的非暂时性计算机可读存储介质；以及
35、处理器，其被配置成执行存储在所述非暂时性计算机可读存储介质中的所述指令。
本文档来自技高网...【技术保护点】
1.一种执行基于提示的图像编辑的方法，所述方法包括：
2.根据权利要求1所述的方法，其进一步包括在一系列时间步长内重复去噪循环的步骤，其中所述去噪循环包括以下步骤：预测噪声图像，生成更新的潜影，生成有噪声表示以及生成所掩蔽潜影。
3.根据权利要求2所述的方法，其中在给定当前时间步长t的情况下，预测所述噪声图像包括预测在加噪过程期间在时间步长t+1处将存在于所述潜影中的所述视觉噪声。
4.根据权利要求2所述的方法，其中生成所述第一图像的所述有噪声表示包括基于所述当前时间步长t而向所述图像添加噪声。
5.根据权利要求2所述的方法，其中所述时间步长t在每一迭代之后递减。
6.根据权利要求2所述的方法，其中所述去噪循环重复15次至40次。
7.根据权利要求6所述的方法，其中所述去噪循环重复20次至30次。
8.根据权利要求1所述的方法，其中要从所述潜影中减去的所述噪声图像的所述部分是基于噪声计划表而确定的。
9.根据权利要求1所述的方法，其中预测所述噪声图像的所述步骤是由扩散模型执行的。>
10.根据权利要求9所述的方法，其中所述扩散模型是使用包括第一图像、编辑指令和基于所述编辑指令编辑的第二图像的数据集训练的。
11.根据权利要求10所述的方法，其中所述扩散模型是通过以下操作训练的：使所述扩散模型随着时间步长t增加而向所述第一图像添加噪声，随后使所述扩散模型通过递减时间步长t来去除噪声以生成第二所编辑图像。
12.根据权利要求1所述的方法，其进一步包括确定所接收提示的编码，其中预测噪声图像的所述步骤是使用所述提示的所述编码完成的。
13.根据权利要求1所述的方法，其进一步包括基于所述所选择区域而裁剪所述所存取图像。
14.根据权利要求1所述的方法，其进一步包括在生成所述潜影之前将所述所存取图像的分辨率更改为工作分辨率，其中所述工作分辨率是比所述所存取图像的所述分辨率低的分辨率。
15.根据权利要求1所述的方法，其进一步包括在生成所述潜影之前将对应于所述所存取图像的像素信息映射到潜影空间，使得所述潜影是所述图像在所述潜影空间中的表示。
16.根据权利要求1所述的方法，其进一步包括将所生成的所掩蔽潜影插入到所述所存取图像中以产生输出图像。
17.根据权利要求16所述的方法，其进一步包括对所述所生成的所掩蔽潜影执行像素融合过程以将所述所生成的所掩蔽潜影与所述所存取图像混合。
18.根据权利要求17所述的方法，其进一步包括通过以下操作来输出所述图像：将所述输出图像保存到存储器位置，向用户显示所述输出图像，或将所述输出图像发送到外部装置。
19.根据权利要求1所述的方法，其进一步包括基于所述所选择区域而生成二进制掩码，以及使用所述二进制掩码来生成所述所掩蔽潜影。
20.根据权利要求1所述的方法，其中所述所掩蔽潜影是基于以下等式而计算的masked_latent＝mask*latent+(1-mask)*noisy_representation，
21.根据权利要求1所述的方法，其进一步包括接收所述提示涉及局部编辑的指示。
22.根据权利要求1所述的方法，其中第一视觉噪声是高斯噪声。
23.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理装置执行时使所述处理装置执行根据权利要求1至22中任一项所述的方法。
24.一种计算装置，其包括：
...【技术特征摘要】
1.一种执行基于提示的图像编辑的方法，所述方法包括：
2.根据权利要求1所述的方法，其进一步包括在一系列时间步长内重复去噪循环的步骤，其中所述去噪循环包括以下步骤：预测噪声图像，生成更新的潜影，生成有噪声表示以及生成所掩蔽潜影。
3.根据权利要求2所述的方法，其中在给定当前时间步长t的情况下，预测所述噪声图像包括预测在加噪过程期间在时间步长t+1处将存在于所述潜影中的所述视觉噪声。
4.根据权利要求2所述的方法，其中生成所述第一图像的所述有噪声表示包括基于所述当前时间步长t而向所述图像添加噪声。
5.根据权利要求2所述的方法，其中所述时间步长t在每一迭代之后递减。
6.根据权利要求2所述的方法，其中所述去噪循环重复15次至40次。
7.根据权利要求6所述的方法，其中所述去噪循环重复20次至30次。
8.根据权利要求1所述的方法，其中要从所述潜影中减去的所述噪声图像的所述部分是基于噪声计划表而确定的。
9.根据权利要求1所述的方法，其中预测所述噪声图像的所述步骤是由扩散模型执行的。
10.根据权利要求9所述的方法，其中所述扩散模型是使用包括第一图像、编辑指令和基于所述编辑指令编辑的第二图像的数据集训练的。
11.根据权利要求10所述的方法，其中所述扩散模型是通过以下操作训练的：使所述扩散模型随着时间步长t增加而向所述第一图像添加噪声，随后使所述扩散模型通过递减时间步长t来去除噪声以生成第二所编辑图像。
12.根据权利要求1所述的方法，其进一步包括确定所接收提示的编码，其中预测噪声图像的所述步骤是使用所述提示的所述编码完成的。
13.根据权利要求1所述的方法，其进...
【专利技术属性】
技术研发人员：S·P·西岑，S·桑奇特，A·塔克，
申请(专利权)人：坎瓦有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。