一种基于对抗域适应的图像智能裁剪方法及系统技术方案

本发明专利技术提供了一种基于对抗域适应的图像智能裁剪方法及系统，属于计算机视觉领域，方法具体为：将目标应用场景下待裁剪的目标域图像输入至训练后的特征提取器，获取全局特征；按照预设的裁剪方式，对全局特征进行重采样；区域特征输入至美学分类器进行美学评分，筛选裁剪结果；特征提取器的训练过程为：将基于目标域样本计算的域适应损失梯度反转后传输至特征提取器，且保持基于源域样本计算的域适应损失梯度不变传输至特征提取器，特征提取器学习对齐源域和目标域样本全局特征的能力；并根据美学损失调节自身参数，学习美学分析能力；美学分类器的训练是根据美学损失调节自身参数。本发明专利技术解决了现有智能裁剪方法在跨域测试时性能显著下降的问题。

【技术实现步骤摘要】
一种基于对抗域适应的图像智能裁剪方法及系统
本专利技术属于计算机视觉领域，更具体地，涉及一种基于对抗域适应的图像智能裁剪方法及系统。
技术介绍
智能裁剪任务是从原始图像中裁剪出构图更合理的区域作为新的生成图，用高质量的生成图代替低质量的原图。因为其只涉及裁剪，操作简便，却能显著提升图像的美学质量，图像裁剪作为一项图像编辑操作被广泛运用。然而手工裁剪需要一定的技术门槛，不仅耗费时间，也不是所有人都能掌握的技能。因此，利用智能算法自动裁剪就变得很有意义。相比于手工裁剪，智能裁剪既不需要使用者具有极高的美学素养，也不需要了解诸如三分法、对角线法等构图法则，可以快速地对大量图像做出相对合理的裁剪，并呈现给用户自己筛选。目前的智能裁剪方法从训练和测试数据分布上分为两大类，第一类是在测试域上有美学监督的裁剪算法，其监督信息包含每个裁剪子图的美学标签；第二类在测试域上无监督的构图算法，这类算法需要依靠训练域标签学习美学鉴赏能力，并在测试域泛化和推理。对于第二类问题，通常将训练样本所在的域称为源域，测试样本所在域称为目标域。在实际应用中，研究者无法预测待裁剪样本所属的域，也无法针对每一种场景准备一套训练集。训练样本所在的源域和测试样本所在的目标域往往存在差异，而这种差异将导致训练完毕的模型在目标域场景中性能下降，该现象被称作域偏移。现有智能裁剪算法没有针对解决域偏移问题，大部分裁剪算法都是在单一数据集上训练，并认为训练好的模型可以适应大多数情况。但事实上，智能裁剪任务中也存在明显的域偏移问题，在跨域和跨数据集测试的过程中，现有的裁剪模型性能会显著下降。
技术实现思路
针对现有技术的缺陷，本专利技术的目的在于提供一种基于对抗域适应的图像智能裁剪方法及系统，旨在解决现有的智能构图方法由于未考虑域迁移问题而造成的在跨域跨数据集测试时，裁剪模型性能显著下降的问题。为实现上述目的，一方面，本专利技术提供了一种基于对抗域适应的图像智能裁剪方法，包括以下步骤：将目标应用场景下待裁剪的目标域图像输入至训练后的特征提取器，获取全局特征；按照预设的裁剪方式，对所述全局特征进行重采样，获取的区域特征输入至训练完毕的美学分类器中进行美学评分，筛选出裁剪结果；其中，特征提取器的训练过程为：将基于目标域样本计算的域适应损失反传的梯度反转后传输至特征提取器，保持基于源域样本计算的域适应损失梯度不变传输至特征提取器，特征提取器学习对齐源域和目标域样本的全局特征的能力；且根据美学损失调节自身参数，学习美学分析能力；美学分类器的训练过程是根据美学损失调节自身参数；目标域样本为目标应用场景下任一无标签图像，源域样本为另一场景下有裁剪子图和美学标签的图像；域适应损失为基于样本域标签与域判别结果获取；域判别结果为全局特征输入域判别器获取；美学损失为结合美学分数和美学标签计算获取。优选地，训练特征提取器和美学分类器的方法，包括以下步骤：将目标域样本和源域样本输入至特征提取器提取全局特征；将全局特征输入至域判别器，输出的域判别结果与样本域标签相结合，计算域适应损失；且对全局特征进行重采样获取区域特征；其中，区域特征的通道维度与裁剪子图对应；将区域特征传输至美学分类器获取美学分数后，结合美学标签，计算美学损失；将域适应损失函数反传至域判别器进行自身参数优化；将基于目标域样本计算的域适应损失梯度反转后传输至特征提取器，并保持基于源域样本计算的域适应损失梯度不变传输至特征提取器，特征提取器学习对齐源域和目标域样本的全局特征的能力；同时将美学损失反传至美学分类器和特征提取器进行自身参数优化。优选地，获取美学分数的方法为：将区域特征传输至若干美学分类器，分别获取美学评分；将美学评分的均值作为美学分数；或将区域特征传输至单个美学分类器，获取美学分数。优选地，当美学分类器存在多个时，基于各个美学分类器获取的美学评分，计算各美学分类器间的一致性损失；且基于各美学分类器的参数，获取各美学分类器间的权重损失；利用一致性损失、权重损失和美学损失构建美学相关损失函数，反传至美学分类器和特征提取器进行自身参数优化。优选地，域适应损失为：Ld＝-(y'logy+(1-y')log(1-y))其中，y'为当前样本I对应的域标签，当当前样本I来自源域时，y'＝0；当当前样本I来自目标域时，y'＝1；y为域判别器的输出结果，经过softmax归一化后数值介于0～1之间。优选地，美学损失为：其中，Sc为裁剪子图的美学标签序列；P代表归一化后的美学分数序列；i为裁剪方式编号；n为裁剪方式的总数；Xdis为美学评分和美学标签的误差；美学分类器间的一致性损失为：其中，美学分类器设置有两个，P1，P2为两个美学分类器预测的裁剪子图美学评分序列；美学分类器间的权重损失为：其中，美学分类器设置有两个，W1与W2为两个美学分类器的参数；m为分类器参数展开之后的长度，j为当前分类器参数位置。另一方面，本专利技术提供了一种基于对抗域适应的图像智能裁剪系统，包括对抗域适应模块、特征提取器、重采样结构和美学评分模块；特征提取器一端口与抗域适应模块双向数据传输，且另一端口通过重采样结构与美学评分模块双向数据传输；特征提取器用于提取目标域图像和源域图像的全局特征；将基于目标域样本计算的域适应损失梯度反转后传输至特征提取器，且保持基于源域样本计算的域适应损失梯度不变传输至特征提取器，特征提取器学习对齐源域和目标域样本的全局特征的能力；且根据美学损失调节自身参数，学习美学分析能力；重采样结构用于按照预设的裁剪方式，对全局特征进行重采样，获取区域特征；美学评分模块用于基于区域特征进行美学评分，筛选出裁剪结果；且根据美学损失调节美学评分模块中美学分类器的自身参数；对抗域适应模块用于根据全局特征，判断当前样本是目标域样本或源域样本，输出域判别结果；基于域判别结果与样本的域标签计算域适应损失；将域适应损失反传至域判别器调节自身参数；且将基于目标域计算的域适应损失梯度反转传输至特征提取器，保持基于源域样本计算的域适应损失梯度不变传输至特征提取器；其中，目标域样本为目标应用场景下任一无标签图像，源域样本为另一场景下有裁剪子图和美学标签的图像；其中，重采样结构包含两个ROIAlign层，分别用于提取裁剪区域的前景特征和背景特征，前景特征和背景特征将按维度叠加生成区域特征。优选地，对抗域适应模块包括自适应梯度反转层、域判别器和判别计算单元；域判别器用于根据全局特征，判断当前样本是目标域样本或源域样本，输出域判别结果；且根据域适应损失调节自身参数；判别计算单元用于基于域判别结果与样本的域标签计算域适应损失；将域适应损失反传至域判别器和自适应梯度反转层；自适应梯度反转层用于将基于目标域样本计算的域适应损失梯度反转后传输至本文档来自技高网...

【技术保护点】
1.一种基于对抗域适应的图像智能裁剪方法，其特征在于，包括以下步骤：/n将目标应用场景下待裁剪的目标域图像输入至训练后的特征提取器，获取全局特征；/n按照预设的裁剪方式，对所述全局特征进行重采样，获取的区域特征输入至训练完毕的美学分类器中进行美学评分，筛选出裁剪结果；/n其中，特征提取器的训练过程为：将基于目标域样本计算的域适应损失梯度反转后传输至特征提取器，且保持基于源域样本计算的域适应损失梯度不变传输至特征提取器，特征提取器学习对齐源域和目标域样本全局特征的能力；且根据美学损失调节自身参数，学习美学分析能力；美学分类器的训练过程是根据美学损失调节自身参数；/n目标域样本为目标应用场景下任一无标签图像，源域样本为另一场景下有裁剪子图和美学标签的图像；域适应损失为基于样本的域标签与域判别结果获取；域判别结果为全局特征输入域判别器获取；美学损失为结合美学分数和美学标签计算获取。/n

【技术特征摘要】
1.一种基于对抗域适应的图像智能裁剪方法，其特征在于，包括以下步骤：
将目标应用场景下待裁剪的目标域图像输入至训练后的特征提取器，获取全局特征；
按照预设的裁剪方式，对所述全局特征进行重采样，获取的区域特征输入至训练完毕的美学分类器中进行美学评分，筛选出裁剪结果；
其中，特征提取器的训练过程为：将基于目标域样本计算的域适应损失梯度反转后传输至特征提取器，且保持基于源域样本计算的域适应损失梯度不变传输至特征提取器，特征提取器学习对齐源域和目标域样本全局特征的能力；且根据美学损失调节自身参数，学习美学分析能力；美学分类器的训练过程是根据美学损失调节自身参数；
目标域样本为目标应用场景下任一无标签图像，源域样本为另一场景下有裁剪子图和美学标签的图像；域适应损失为基于样本的域标签与域判别结果获取；域判别结果为全局特征输入域判别器获取；美学损失为结合美学分数和美学标签计算获取。


2.根据权利要求1所述的图像智能裁剪方法，其特征在于，所述训练特征提取器和美学分类器的方法，包括以下步骤：
将目标域样本和源域样本输入至特征提取器提取全局特征；
将全局特征输入至域判别器，输出的域判别结果与样本的域标签相结合，计算域适应损失；且对全局特征进行重采样获取区域特征；其中，区域特征的通道维度与裁剪子图对应；
将区域特征传输至美学分类器获取美学分数后，结合美学标签，计算美学损失；
将适应损失函数反传至域判别器进行自身参数优化；
将基于目标域样本计算的适应损失梯度反转后传输至特征提取器，且保持基于源域样本计算的域适应损失梯度不变传输至特征提取器，特征提取器学习对齐源域和目标域样本的全局特征的能力；
同时将美学损失反传至美学分类器和特征提取器进行自身参数优化。


3.根据权利要求1所述的图像智能裁剪方法，其特征在于，获取美学分数的方法为：
将区域特征传输至若干美学分类器，分别获取美学评分；
将美学评分的均值作为美学分数；
或将区域特征传输至单个美学分类器，获取美学分数。


4.根据权利要求1或2所述的图像智能裁剪方法，其特征在于，当美学分类器存在多个时，基于各个美学分类器获取的美学评分，计算各美学分类器间的一致性损失；
且基于各美学分类器的参数，获取各美学分类器间的权重损失；
利用一致性损失、权重损失和美学损失构建美学相关损失函数，反传至美学分类器和特征提取器进行自身参数优化。


5.根据权利要求1所述的图像智能裁剪方法，其特征在于，所述域适应损失为：
Ld＝-(y'logy+(1-y')log(1-y))
其中，y'为当前样本I对应的域标签，当当前样本I来自源域时，y'＝0；当当前样本I来自目标域时，y'＝1；y为域判别器的输出结果，经过softmax归一化后数值介于0～1之间。


6.根据权利要求4所述的图像智能裁剪方法，其特征在于，所述美学损失为：






其中，Sc为裁剪子图的美学标签序列；P代表归一化后的美学分数序列；i为裁剪方式编号；n为裁剪方式的总数；Xdis为美学评分和美学标签的误差；
所述美学分类器间的一致性损失为：



其中，美学分类器设置有两个，P1，P2为两个美学分类器预测的裁剪子图美学评分序列；
美学分类器间的权重损失为：



其中，美学分类器设置有两个，W1与W2为两个美学分类器的参数；m为美学分类器参数展开之后的长度，j为当...

【专利技术属性】
技术研发人员：桑农，王皓文，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42