【技术实现步骤摘要】
本公开涉及处理数字图像数据的方法。本公开还涉及用于处理数字图像数据的装置。生成式对抗网络gan是已知的，并且表征生成式建模的方法，其例如可以用于生成图像数据。
技术介绍
技术实现思路
1、示例性实施例涉及一种处理数字图像数据的方法(例如计算机实现的方法)，该方法包括：由编码器确定与第一数字图像相关联的噪声预测，该编码器被配置成将第一数字图像映射到与生成式对抗网络gan系统的生成器相关联的扩展潜在空间；由gan系统的生成器基于与第一数字图像相关联的噪声预测和与扩展潜在空间相关联的多个潜在变量来确定至少一个另外的数字图像。在一些示例性实施例中，这可以使得能够确定(例如，生成)包括与第一数字图像类似或相同的内容但可选地具有例如由多个潜在变量中的至少一些表征的修改的风格的另外的数字图像。
2、在一些示例性实施例中，数字图像数据和/或(第一)数字图像可以包括但不限于以下中的至少一个：a)至少一个数字图像，b)视频流的图像或帧，c)与radar系统(例如成像radar系统)相关联的数据，例如radar图像，c)与lidar系统相关联的数据，例如lidar图像，d)超声图像，e)运动图像，f)例如从热成像系统获得的热图像。
3、在一些示例性实施例中，与扩展潜在空间相关联的多个潜在变量中的至少一些表征第一数字图像的以下方面中的至少一个：a)风格，例如非语义外观，b)纹理，c)颜色。在一些示例性实施例中，数字图像的风格可以由数字图像的至少一些部分的纹理和数字图像的至少一些部分的颜色的组合
4、在一些示例性实施例中，该方法包括基于以下中的至少一个来确定多个潜在变量：a)第二数字图像，其不同于第一数字图像，例如使用编码器，b)多个概率分布，如在一些示例性实施例中例如可以基于数据集合获得的。
5、在一些示例性实施例中，该方法包括以下中的至少一个：a)基于第一数字图像来确定多个例如分层特征映射，b)基于多个例如分层特征映射来确定与第一数字图像的扩展潜在空间相关联的多个潜在变量，c)基于多个例如分层特征映射中的至少一个来确定例如加性噪声映射。
6、在一些示例性实施例中，该方法包括：随机和/或伪随机地掩蔽与第一数字图像相关联的噪声预测的至少一部分。注意，根据其他示例性实施例，按照根据实施例的原理，不需要掩蔽来修改风格，例如用于风格扩充。
7、在一些示例性实施例中，该方法包括：例如以随机和/或伪随机的方式来掩蔽噪声映射。
8、在一些示例性实施例中，该方法包括：将噪声映射划分(例如，在空间上划分)成多个(例如，p×p许多)例如非重叠的补片；以随机和/或伪随机的方式选择补片的子集；用例如相同大小的例如单位高斯随机变量的补片替换补片的子集。
9、在一些示例性实施例中，该方法包括：将与第一数字图像相关联的噪声预测与第二数字图像的风格预测进行组合；基于组合的与第一数字图像相关联的噪声预测和第二数字图像的风格预测使用生成器生成另外的数字图像。在一些示例性实施例中，这使得能够向另外的数字图像提供第二数字图像的风格或例如风格的至少一些方面以及例如第一数字图像的内容。
10、在一些示例性实施例中，该方法包括：提供与第一数字图像相关联的噪声预测；提供表征要应用于第一数字图像的例如语义内容的不同风格的不同潜在变量集合；基于与第一数字图像相关联的噪声预测和表征不同风格的不同潜在变量集合使用生成器生成具有不同风格的多个数字图像。
11、在一些示例性实施例中，该方法包括：提供与第一域相关联的例如包括一个或多个数字图像的图像数据；提供与第二域相关联的例如包括一个或多个数字图像的图像数据；将第二域的风格应用于与第一域相关联的图像数据。
12、在一些示例性实施例中，与第一域相关联的图像数据包括标签，其中，例如将第二域的风格应用于与第一域相关联的图像数据包括保留标签。这样，可以修改第一域的数字图像的风格而同时保留标签，因而提供具有(一个或多个)不同风格的进一步标记的图像数据。
13、在一些示例性实施例中，该方法包括：提供具有第一内容信息的第一图像数据；提供第二图像数据，其中例如第二图像数据包括不同于第一内容信息的第二内容信息；提取第二图像数据的风格信息；将第二图像数据的风格信息的至少一部分应用于第一图像数据。
14、在一些示例性实施例中，该方法包括：生成例如用于训练至少一个神经网络和/或机器学习系统的训练数据，其中该生成例如基于源域的图像数据并且基于源域的修改的图像数据，其中例如修改的图像数据例如根据实施例的原理关于图像风格例如基于另外的图像数据的风格被修改和/或已经被修改，并且可选地，基于训练数据来训练至少一个神经网络系统。
15、其他示例性实施例涉及一种用于执行根据实施例的方法的装置。
16、其他示例性实施例涉及一种包括指令的计算机程序，当该程序由计算机执行时，该指令使得计算机执行根据实施例的方法。
17、其他示例性实施例涉及一种包括指令的计算机可读存储介质，所述指令在被计算机执行时使得计算机执行根据实施例的方法。
18、其他示例性实施例涉及一种承载和/或表征根据实施例的计算机程序的数据载体信号。
19、其他示例性实施例涉及针对以下中的至少一个来使用根据实施例的方法和/或根据实施例的装置和/或根据实施例的计算机程序和/或根据实施例的计算机可读存储介质和/或根据实施例的数据载体信号：a)基于与第一数字图像相关联的噪声预测和与扩展潜在空间相关联的多个潜在变量来确定至少一个另外的数字图像，多个潜在变量中的至少一些与第一数字图像之外的另一图像和/或其他数据相关联，b)例如在保留第一数字图像的内容的同时将来自第二数字图像的风格传递到第一数字图像，c)解开至少一个数字图像的风格和内容，d)例如基于第一数字图像和至少一个另外的例如第二数字图像的风格来创建具有未改变内容的不同风格化数字图像，e)针对风格化图像使用(例如重新使用)标记注释，f)当改变至少一个数字图像的风格时避免注释工作，g)生成例如具有不同风格的例如感觉上逼真的数字图像，h)提供代理验证集合，例如用于测试例如神经网络系统的分布外泛化，i)训练机器学习系统，j)测试机器学习系统，k)校验机器学习系统，l)验证机器学习系统，m)生成例如用于机器学习系统的训练数据，n)例如现有图像数据的数据扩充，o)提高机器学习系统的泛化性能，p)例如在没有与多个数据集合相关联的训练的情况下操纵(例如灵活操纵)图像风格，q)利用编码器gan流水线来操纵图像风格，r)由编码器将与图像风格相关联的信息嵌入到例如中间潜在变量中，s)混合数字图像的风格，例如用于生成包括基于混合的风格的至少一个另外的数字图像。
本文档来自技高网...【技术保护点】
1.一种处理数字图像数据的方法，例如计算机实现的方法，所述方法包括：
2.根据权利要求1所述的方法，包括：基于以下中的至少一个来确定(110)多个潜在变量(LAT-VAR)：a)不同于第一数字图像(x1)的第二数字图像(x2)，例如使用编码器(12)，b)多个概率分布(DISTR)。
3.根据前述权利要求中任一项所述的方法，其中，与扩展潜在空间(SP-W+)相关联的多个潜在变量(LAT-VAR)中的至少一些表征第一数字图像(x1)的以下方面中的至少一个：a)风格，例如非语义外观，b)纹理，c)颜色。
4.根据前述权利要求中任一项所述的方法，包括以下中的至少一个：a)基于第一数字图像(x1)来确定(120)多个例如分层特征映射(FM)，b)基于多个例如分层特征映射(FM)来确定(122)与第一数字图像(x1)的扩展潜在空间(SP-W+)相关联的多个潜在变量(LAT-VAR-x1)，c)基于多个例如分层特征映射(FM)中的至少一个来确定(124)例如加性噪声映射(NOISE-MAP)。
5.根据前述权利要求中至少一项所述的方法，包括：随
6.根据权利要求4至5中至少一项所述的方法，包括：例如以随机和/或伪随机的方式来掩蔽(132)噪声映射(NOISE-MAP)。
7.根据权利要求6所述的方法，包括：
8.根据前述权利要求中至少一项所述的方法，包括：
9.根据前述权利要求中至少一项所述的方法，包括：
10.根据前述权利要求中至少一项所述的方法，包括：
11.根据权利要求10所述的方法，其中，与第一域(DOM-1)相关联的图像数据(IMG-DAT-DOM-1)包括标签(LAB)，其中，例如，将第二域(DOM-2)的风格(STYLE-2)应用(164)到与第一域(DOM-1)相关联的图像数据(IMD-DAT-DOM-1)包括保留(164a)标签(LAB)。
12.根据前述权利要求中至少一项所述的方法，包括：
13.根据前述权利要求中至少一项所述的方法，包括：
14.一种用于执行根据前述权利要求中至少一项所述的方法的装置(200)。
15.一种包括指令的计算机程序(PRG；PRG’)，当所述程序(PRG；PRG’)由计算机(202)执行时，所述指令使所述计算机(202)执行根据权利要求1至13中至少一项所述的方法。
16.一种包括指令(PRG’)的计算机可读存储介质(SM)，所述指令当由计算机(202)执行时，使所述计算机(202)执行根据权利要求1至13中至少一项所述的方法。
17.一种承载和/或表征权利要求15的计算机程序(PRG；PRG’)的数据载体信号(DCS)。
18.一种根据权利要求1至13中至少一项所述的方法和/或根据权利要求14所述的装置(200)和/或根据权利要求15所述的计算机程序(PRG；PRG’)和/或根据权利要求16所述的计算机可读存储介质(SM)和/或根据权利要求17所述的数据载体信号(DCS)针对以下中的至少一个的使用(300)：
...【技术特征摘要】
1.一种处理数字图像数据的方法，例如计算机实现的方法，所述方法包括：
2.根据权利要求1所述的方法，包括：基于以下中的至少一个来确定(110)多个潜在变量(lat-var)：a)不同于第一数字图像(x1)的第二数字图像(x2)，例如使用编码器(12)，b)多个概率分布(distr)。
3.根据前述权利要求中任一项所述的方法，其中，与扩展潜在空间(sp-w+)相关联的多个潜在变量(lat-var)中的至少一些表征第一数字图像(x1)的以下方面中的至少一个：a)风格，例如非语义外观，b)纹理，c)颜色。
4.根据前述权利要求中任一项所述的方法，包括以下中的至少一个：a)基于第一数字图像(x1)来确定(120)多个例如分层特征映射(fm)，b)基于多个例如分层特征映射(fm)来确定(122)与第一数字图像(x1)的扩展潜在空间(sp-w+)相关联的多个潜在变量(lat-var-x1)，c)基于多个例如分层特征映射(fm)中的至少一个来确定(124)例如加性噪声映射(noise-map)。
5.根据前述权利要求中至少一项所述的方法，包括：随机和/或伪随机地掩蔽(130)与第一数字图像(x1)相关联的噪声预测(pred-noise-x1)的至少一部分。
6.根据权利要求4至5中至少一项所述的方法，包括：例如以随机和/或伪随机的方式来掩蔽(132)噪声映射(noise-map)。
7.根据权利要求6所述的方法，包括：
8.根据前述权利要求中至少一项所述的方法，包括：
9.根据前述权利要求中至少一项所...
【专利技术属性】
技术研发人员：李雨蒙，A·霍列娃，张丹，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。