【技术实现步骤摘要】
本申请涉及图像生成，具体而言，涉及一种图像生成模型训练、图像生成方法、系统以及电子设备。
技术介绍
1、图像信息相比单纯的语义信息(例如，文字信息)更加直观，更易让人理解，图像在当前信息传递中扮演一个至关重要的角色。
2、语义图像生成是指基于语义分割结果，生成真实图像。目前存在不少可以基于语义图像生成真实图像的方法，例如，smis、pix2pixhd、spade模型等。但是，基于现有的图像生成模型所生成的图像仍不够真实，与实际采集图像之间还存在一定差距。
技术实现思路
1、有鉴于此，本申请实施例的目的在于提供一种图像生成模型训练、图像生成方法、系统以及电子设备，用以解决现有的图像生成模型所生成图像不够真实的技术问题。
2、第一方面，本申请实施例提供了一种图像生成模型训练方法，该图像生成模型训练方法包括：
3、获取训练数据集；其中，所述训练数据集包括多个语义标签图像和与所述语义标签图像对应的实际采集图像；
4、将所述语义标签图像以及所述实际采集图像输入到待训练图像生成模型，获得所述待训练图像生成模型所输出的模型生成图像；
5、基于最优传输理论、所述模型生成图像和所述实际采集图像，确定损失函数值；
6、根据所述损失函数值对所述待训练图像生成模型的内部参数进行优化，以获得训练后的图像生成模型。
7、在上述的实现过程中，该图像生成模型训练方法，通过获取包括多个语义标签图像和与所述语义标签图像对应的实际采集图
8、可选地，在本申请实施例中，所述损失函数值包括：传输损失值和惩罚损失值；所述基于最优传输理论、所述模型生成图像和所述实际采集图像，确定损失函数值，包括：基于所述最优传输理论、所述模型生成图像和所述实际采集图像，确定所述传输损失值；基于利普希茨约束、所述模型生成图像和所述实际采集图像，确定所述惩罚损失值。
9、在上述的实现过程中，由于损失函数值包括“基于最优传输理论、模型生成图像和实际采集图像所确定的传输损失值”以及“基于利普希茨约束、模型生成图像和实际采集图像所确定的惩罚损失值”，可以改善“对待训练图像生成模型的内部参数进行优化”过程中的误导性收敛，进而基于训练后的图像生成模型，生成更加真实的贴近人眼感知的图像。
10、可选地，在本申请实施例中，所述待训练图像生成模型的生成方法，包括：基于生成对抗网络，生成所述待训练图像生成模型；其中，所述生成对抗网络包括生成器和鉴别器。
11、在上述的实现过程中，相较于传统的训练方法，基于生成对抗网络，生成上述待训练图像生成模型，无需利用马尔科夫链反复采样，没有复杂的变分下界，可以避免概率计算的难题，还可以产生更加清晰的模型生成图像，在提高模型生成图像质量的同时，降低了模型的训练难度。
12、可选地，在本申请实施例中，所述待训练图像生成模型具体包括：图像编码器，所述图像编码器配置为根据所述实际采集图像，获取图像特征数据；最大池化层，所述最大池化层配置为对所述图像特征数据进行最大池化操作，获得第一降维特征数据；平均池化层，所述平均池化层配置为对所述图像特征数据进行平均池化操作，获得第二降维特征数据；最小池化层，所述最小池化层配置为对所述图像特征数据进行最小池化操作，获得第三降维特征数据；共享多层感知器，所述共享多层感知器配置为对所述第一降维特征数据、所述第二降维特征数据和所述第三降维特征数据进行特征共享，并输出第一共享特征数据、第二共享特征数据以及第三共享特征数据；第一激活函数层，所述第一激活函数层配置为对所述第一共享特征数据、第二共享特征数据以及第三共享特征数据进行加权求和，获得第一求和特征数据；第一生成器，所述第一生成器配置为根据所述第一求和特征数据以及所述语义标签图像，确定所述模型生成图像；鉴别器，所述鉴别器配置为鉴别所述模型生成图像以及所述实际采集图像。
13、在上述的实现过程中，在图像编码器和第一生成器之间，增加最大池化层、平均池化层、最小池化层、共享多层感知器以及第一激活函数层；通过多个池化层对图像特征数据进行聚合，再通过共享多层感知器对所得到的第一降维特征数据、第二降维特征数据和第三降维特征数据进行特征共享，获得更丰富的共享特征数据；进而基于更加丰富的共享特征数据，生成更加真实的贴近人眼感知的模型生成图像。
14、可选地，在本申请实施例中，所述待训练图像生成模型具体包括：图像编码器，所述图像编码器配置为根据所述实际采集图像，获取图像特征数据；第二生成器，所述第二生成器包括：重塑模块、注意力模块和上采样模块；其中，所述重塑模块配置为对所述图像特征数据以及所述语义标签图像进行数据重塑，获得多个初始图像数据；所述注意力模块包括：多个卷积核大小不同的卷积层以及第二激活函数层；所述多个卷积核大小不同的卷积层配置为对每一所述初始图像数据进行不同尺寸的特征提取，获得多个不同尺寸的第一特征提取数据；所述第二激活函数层配置为对所述多个不同尺寸的特征提取数据进行加权求和，获得第二求和特征数据；所述上采样模块配置为对多个所述第二求和特征数据进行上采样处理，获得所述模型生成图像；鉴别器，所述鉴别器配置为鉴别所述模型生成图像以及所述实际采集图像。
15、在上述的实现过程中，第二生成器包括重塑模块、注意力模块和上采样模块，注意力模块包括多个卷积核大小不同的卷积层以及第二激活函数层；通过多个卷积核大小不同的卷积层可以获得多个不同尺寸的特征提取数据，再通过第二激活函数层对多个不同尺寸的特征提取数据进行加权求和，以获得具备更多空间信息的第二求和特征数据，进而生成更加真实的贴近人眼感知的模型生成图像。
16、可选地，在本申请实施例中，所述待训练图像生成模型具体包括：图像编码器，所述图像编码器配置为根据所述实际采集图像，获取图像特征数据；最大池化层，所述最大池化层配置为对所述图像特征数据进行最大池化操作，获得第一降维特征数据；平均池化层，所述平均池化层配置为对所述图像特征数据进行平均池化操作，获得第二降维特征数据；最小池化层，所述最小池化层配置为对所述图像特征数据进行最小池化操作，获得第三降维特征数据；共享多层感知器，所述共享多层感知器配置为对所述第一降维特征数据、所述第二降维特征数据和所述第三降维特征数据进行特征共享，并输出第一共享特征数本文档来自技高网...
【技术保护点】
1.一种图像生成模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，其中，所述损失函数值包括：传输损失值和惩罚损失值；
3.根据权利要求1或2所述的方法，其特征在于，所述待训练图像生成模型的生成方法，包括：
4.根据权利要求3所述的方法，其特征在于，其中，所述待训练图像生成模型具体包括：
5.根据权利要求3所述的方法，其特征在于，其中，所述待训练图像生成模型具体包括：
6.根据权利要求3所述的方法，其特征在于，其中，所述待训练图像生成模型具体包括：
7.一种图像生成方法，其特征在于，所述方法包括：
8.一种图像生成模型训练系统，其特征在于，所述系统包括：
9.一种图像生成系统，其特征在于，所述系统包括：
10.一种电子设备，其特征在于，所述电子设备包括：
【技术特征摘要】
1.一种图像生成模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，其中，所述损失函数值包括：传输损失值和惩罚损失值；
3.根据权利要求1或2所述的方法，其特征在于，所述待训练图像生成模型的生成方法，包括：
4.根据权利要求3所述的方法，其特征在于，其中，所述待训练图像生成模型具体包括：
5.根据权利要求3所述的方法，其...
【专利技术属性】
技术研发人员：何金龙，高旻，寇勇，彭林春，陶李，许馨月，
申请(专利权)人：四川见山科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。