本发明专利技术公开了一种基于深度学习的端到端智能平面设计方法，使用采集到的海报数据集，首先筛选并划分原始海报数据集，进行布局设计和属性确认两个子任务的共同学习，在训练集上进行训练调参，使模型性能达到最优状态；根据输入图像和文本信息，通过调用训练完成的模型，智能平面设计框架提取图像和文本的特征信息，搜索合适的设计图布局并确认构图文本属性，自动生成和谐的平面设计。本发明专利技术使用了统一联合训练框架防止了训练过程中的数据分布差异，减轻流水线式模型中的错误传播，发挥端到端训练的优点，不需要人为定义平面设计的美学规则，而是从数据中学习美学规则，并且也不依赖图像显着图检测，从而可以更好地泛化到各种平面设计任务。种平面设计任务。种平面设计任务。
【技术实现步骤摘要】
一种基于深度学习的端到端智能平面设计方法
[0001]本专利技术属于计算机视觉
，具体涉及一种基于深度学习的端到端智能平面设计方法。
技术介绍
[0002]平面设计，以海报设计为例，作为视觉交流的重要媒介广泛应用于我们的日常生活中。为了产生和谐美观的图形设计，设计师往往需要投入大量的时间和精力，并且对于没有专业基础的普通人门槛较高，需要具备较高的审美要求及专业设计知识。随着计算机视觉技术的快速进步发展，人们对计算机智能设计的兴趣日益浓厚。
[0003]目前已有多种帮助进行平面设计的方法，可以显著减轻基础设计工作所耗费的时间和人力，主要可以分为传统方法、基于规则的方法和数据驱动的方法。
[0004]自动平面设计的传统方法通常采取了设计规则或结构化数据的方式，在创建图形设计时，设计师经常遵守设计规则，例如布局的美学原理以及和谐的色彩模型，但是传统方法智能性较低，适用也范围较为局限。基于规则的方法使用一些设计规则来协助特定的设计任务，这些任务包括布局合成、颜色生成和图像缩略图等，然而美学规则复杂，难以被特定的规则定义并约束。Ali等人在文献《Learning deconvolution network for semantic segmentation》中提出了基于约束的推荐系统，该系统可以根据用户的喜好生成杂志封面的设计，但是该方法仅适用于特定的杂志封面模板。
[0005]随着深度学习的发展，数据驱动的方法从训练图像中获取特定的设计属性用来被解决平面设计问题。Yang等人在文献《Recommendation system for automatic design of magazine covers n》中揭示了采用美学设计原则的优化方法的有效性，借助大型数据库，提出了基于学习的方法生成杂志封面，然而规则约束较多，存在模版化问题。
[0006]Zheng等人在文献《Content
‑
aware generative modeling of graphic design layouts》中提出了首个用于图形设计布局的内容感知深度生成模型，该模型能够基于视觉和文本特征来合成图形设计布局，但是主要应用于杂志的排版布局，并不适合用更为广泛的图文海报生成。
[0007]Yang等人在文献《Asimple framework for contrastive learning of visual representation》中设计了一个系统，通过总结一组与主题相关的模板并引入计算公式来自动生成数字杂志封面，包含布局设计关键元素的框架，但上述方法是基于规则的系统，智能性较低。
[0008]Feng等人在文献《Adataset and a baseline model for salient object detection》中提出一个交互式系统DesignScape，可以在一组用户输入的图像和文本上生成布局建议，为了增强自动布局生成过程的交互性，但其主要是基于显著性检测，对于不同的平面设计具有局限性。
[0009]虽然上述的技术在生成合适的文本图像布局方面有一定贡献，但源自这些技术的布局规则并不适用于生成平面设计作品，并且忽略了除布局之外的设计元素属性对平面设
计的关键影响。同时，主流的智能解决方案过度依赖显著性检测，很大程度上限制了智能平面设计的发挥空间。
技术实现思路
[0010]针对目前智能平面设计领域的四大问题：一是过度依赖使用显著性图像检测以至于使智能平面设计过于局限，二是对平面设计中的设计元素样式缺乏考虑和解决方案，三是多使用流水线式模型结构导致传播错误误差积累，四是海报结构化数据不足；本专利技术提供了一种基于深度学习的端到端智能平面设计方法，综合考虑给定的图像和设计元素，自动生成和谐美观的平面设计。
[0011]一种基于深度学习的端到端智能平面设计方法，包括如下步骤：
[0012](1)采集半结构化的海报数据并进行清洗筛选后，分别存储海报的构图文本属性和背景图像，为智能平面设计模型提供所需的训练数据；
[0013](2)对智能平面设计模型中的布局设计和属性确认两个子任务进行联合训练，使模型能够从海报数据的多模态(视觉和文本)视图中提取特征；
[0014](3)利用模型中的图像模块和文本模块融合图像文本特征，解码后获得布局密度推理图；
[0015](4)根据布局密度推理图，使用近似推理算法确定布局设计；
[0016](5)融合图像整体特征和局部特征，根据分类器的输出确定构图文本的属性类别。
[0017]进一步地，所述步骤(1)的具体实现方式为：首先从网页的公开信息上采集半结构化的海报数据并进行筛选，将采集得到的海报数据集中的海报背景图像、标题文本序列、文本框的相对坐标、文本字号信息以及其他相应的构图文本属性进行记录存储，作为训练数据的注释信息和自监督信号，以标题文本序列和海报背景图像作为输入，以渲染海报为目标，为智能平面设计网络框架中的神经网络提供所需的训练数据。利用半结构化海报中的自监督信号进行训练，可以克服获取注释的困难。
[0018]进一步地，所述步骤(2)的具体实现方式为：首先将平面海报设计的关键即视觉表示和文本表示两个主要部分聚合在一起，不仅考虑图像的特征，还考虑输入文本的语义；然后将聚合后的多模态特征作为解码器的输入，解码器输出与原始图像大小相同的密度图，密度图中每个元素值即对应于原图像素的分数，代表选择出现在文本区域中像素的权重；进而设计训练过程中的目标函数，总体目标为最小化布局预测损失和属性识别损失的总和，通过二阶梯度优化来进行模型的参数学习。
[0019]进一步地，所述目标函数的表达式如下：
[0020][0021][0022][0023]其中：为目标函数，为布局预测损失函数，为属性识别损失
函数，M
i,j
为密度图中像素点(i,j)的元素值，G
i,j
为像素点(i,j)是否位于文本区域的二进制指示符，为属性α属于适合类别y
a
的概率，σ()是sigmoid函数，Attributes表示属性集合。
[0024]进一步地，所述智能平面设计模型整体采用编码器
‑
解码器架构，在图像模块，使用卷积神经网络提取海报的图像特征，随着网络的深入，它在更多通道中对图形特征进行编码，并在更广的感受野上使用特征图进行编码；在文本模块，使用预训练语言模型提取上下文感知的文本特征，即采用分布式向量表示被期望携带输入文本的语义信息，之后使用平均池化获得整个输入序列的固定维度分布式表示，通过一个多层感知器将文本表示转换为图形表示的相似向量空间，最终的文本表示为一个向量；图像特征和文本特征进行信道级别的特征融合，通过解码器解码，获得布局密度推理图。
[0025]进一步地，所述步骤(4)中采用基于搜索的布局设计，即通过在特征融合后的布局密度推理图上进行搜索，预测构图文本的位置和大小，对每个像素的分数进本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习的端到端智能平面设计方法，包括如下步骤：(1)采集半结构化的海报数据并进行清洗筛选后，分别存储海报的构图文本属性和背景图像，为智能平面设计模型提供所需的训练数据；(2)对智能平面设计模型中的布局设计和属性确认两个子任务进行联合训练，使模型能够从海报数据的多模态视图中提取特征；(3)利用模型中的图像模块和文本模块融合图像文本特征，解码后获得布局密度推理图；(4)根据布局密度推理图，使用近似推理算法确定布局设计；(5)融合图像整体特征和局部特征，根据分类器的输出确定构图文本的属性类别。2.根据权利要求1所述的端到端智能平面设计方法，其特征在于：所述步骤(1)的具体实现方式为：首先从网页的公开信息上采集半结构化的海报数据并进行筛选，将采集得到的海报数据集中的海报背景图像、标题文本序列、文本框的相对坐标、文本字号信息以及其他相应的构图文本属性进行记录存储，作为训练数据的注释信息和自监督信号，以标题文本序列和海报背景图像作为输入，以渲染海报为目标，为智能平面设计网络框架中的神经网络提供所需的训练数据。3.根据权利要求1所述的端到端智能平面设计方法，其特征在于：所述步骤(2)的具体实现方式为：首先将平面海报设计的关键即视觉表示和文本表示两个主要部分聚合在一起，不仅考虑图像的特征，还考虑输入文本的语义；然后将聚合后的多模态特征作为解码器的输入，解码器输出与原始图像大小相同的密度图，密度图中每个元素值即对应于原图像素的分数，代表选择出现在文本区域中像素的权重；进而设计训练过程中的目标函数，总体目标为最小化布局预测损失和属性识别损失的总和，通过二阶梯度优化来进行模型的参数学习。4.根据权利要求3所述的端到端智能平面设计方法，其特征在于：所述目标函数的表达式如下：式如下：式如下：其中：为目标函数，为布局预测损失函数，为属性识别损失函数，M
i,j
为密度图中像素点(i,j)的元素值，G
i,j
为像素点(i,j)是否位于文本区域的二进制指示符，为属性a属于适合类别y
a
的概率，σ( )是sigmoid函数，Attributes表示属性集合。5.根据权利要求1所述的端到端智能平面设计方法，其特征在于：所述智能平面设计模型整体采用编码器
...
【专利技术属性】
技术研发人员：李金遥，刘金华，刘传蔓，黄东晋，
申请(专利权)人：上海大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。