一种基于图卷积网络的图像图表智能合成方法技术

本发明专利技术公开了一种基于图卷积网络的图像图表智能合成方法，其特点是采用深度神经网络生成输入图像的显著性图，基于显著性图进行蓝噪声采样，基于采样点构造三角化网格，基于三角化网格构造图，并利用图卷积网络预测合理的图表位置及大小，再提取目标位置的显著颜色，从自定义的图表颜色库中选取与背景颜色对比度大的色彩方案作为调色板，最后根据用户输入的数据绘制可视化图表。本发明专利技术与现有技术相比具有能够在图像上自动合成和谐美观的可视化图表，从而可以广泛应用在场景数据可视化，增强现实可视化，地理数据可视化等场景中，可根据用户指定的图像、可视化图表以及对应的数据，在图像上渲染位置合理且颜色和谐的可视化图表。图表。图表。

【技术实现步骤摘要】
一种基于图卷积网络的图像图表智能合成方法


[0001]本专利技术涉及自动化平面设计
，尤其是一种基于图卷积网络的图像图表智能合成方法。

技术介绍

[0002]在平面设计领域，通常会有一些具有重复性要求的设计工作，而自动化平面设计可以有效帮助专业设计者和普通用户从这些重复性工作中解脱出来，以专注于更富有创造性的设计。当前，已经有相关工作分别聚焦于不同元素的自动排版设计，包括文字内嵌于图片中的海报设计，文字段落与图片相互独立的杂志内容排版，楼层平面图的设计等，但还未发现有学者提出图像图表智能合成这一问题及其解决方案。前期的平面设计技术方案主要采用规则驱动的方式，包括预定义布局模板，预定义美学规则，允许用户指定相关约束等。但这些方法仍然需要人工参与，譬如布局模板和美学规则都依赖于领域专家的设计经验，需要由领域专家提供。
[0003]现有技术的平面设计方法主要基于数据驱动的方式，即构造大量的数据集，并使用深度学习模型进行特征学习以达到智能合成的效果，但大量的高质量数据集的搜集和标注是耗时耗力的，工作效率低下。

技术实现思路

[0004]本专利技术的目的是针对现有技术的不足而设计的一种基于图卷积网络的图像图表智能合成方法，采用深度神经网络生成输入图像的显著性图，基于显著性图进行蓝噪声采样，以及采样点构造三角化网格和构造图，利用图卷积网络预测合理的图表位置及大小，提取目标位置的显著颜色，从自定义的图表颜色库中选取与背景颜色对比度大的色彩方案作为调色板，最后根据用户输入的数据绘制可视化图表，该方法提供了一个端到端的框架，允许用户上传指定的图像，图表类型以及图表数据，经过计算后，直接生成绘制好的合成图像，结合显著性检测和图卷积网络生成图像图表布局，避免图表与图像中的显著性区域重叠，同时考虑了图表和图像颜色的融合度以及和背景颜色的对比度，有效保证了合成效果的可读性和美学效果，可广泛应用于场景数据可视化，增强现实可视化，地理数据可视化等场景中，方法简便，省时省力，工作效率高，可根据用户指定的图像、可视化图表以及对应的数据，在图像上渲染位置合理且颜色和谐的可视化图表。
[0005]本专利技术的目的是这样实现的：一种基于图卷积网络的图像图表智能合成方法，其特点是采用深度神经网络生成显著性图，依据显著性图构造图，采用图卷积网络计算图表的位置和大小，再依据色彩对比度计算调色板，最后根据计算结果在图像上绘制图表，图像图表的智能合成具体包括以下步骤：
[0006]步骤1：输入一张大小为H
×
W的图像I
c
，可视化图表的类型T
v
以及对应的数据D
v
，所述图像I
c
为H
×
W的像素值矩阵，即I
c
的每列像素数为H，每行像素数为W；所述可视化图表的类型T
v
包括：折线图、条形图、饼图等常见的可视化图表；所述数据D
v
为JSON格式。
[0007]步骤2：在显著性检测的数据集上训练一个类U
‑
Net的编解码网络对图像I
c
进行显著性检测，得到图像的显著性图S
c
，所述编解码网络采用编码模块和解码模块的深度神经网络结构，以有效捕获图像的高级特征和低级特征；所述编码模块基于卷积操作提取图像特征；所述解码模块基于上采样技术以还原语义特征。
[0008]所述编解码网络的编码模块使用多组大小为3
×
3的卷积核提取图像中的显著性特征，每一组都将上一组的输出进行2倍下采样之后的结果作为输入，每一组包含3个卷积核，接着是批处理归一化操作和ReLU激活函数。
[0009]所述编解码网络的解码模块使用转置卷积将不同尺度的特征图上采样到原始分辨率大小，然后按照学习到的权重对这些具有统一分辨率大小的特征图进行连接，最后经过一组包含3个大小为1
×
1的卷积核的卷积层，利用softmax函数得到所有像素点的显著性预测结果。
[0010]步骤3：对显著性图S
c
进行蓝噪声采样以捕获显著性密度的分布，得到一组蓝噪声点P
BN
，再对P
BN
执行Delaunay三角剖分算法，从而将图像I
c
依据显著特征划分多个三角形区域，得到一组三角形的集合T。
[0011]步骤4：构造图像图表的数据集，所述数据集是由具有丰富设计经验的设计者进行手工标注的，对于一张给定的图片，设计者圈定其中一个或多个适合绘制图表的区域，记录下区域位置及大小。
[0012]步骤5：在步骤4中构造图像图表的数据集上训练一个图卷积网络，所述图卷网络结构由三个卷积层构成，前两层用于学习图节点特征，最后一层用于预测图节点分数。对于每一个卷积层，输入一个节点特征的向量输出一个新的节点特征的向量其中：N
fv
和N
′
fv
分别指代输入的节点特征数和输出的节点特征数。
[0013]对于每一个节点v
i
，以下述a式定义了一个从到的线性变换：
[0014][0015]其中：是一个权重矩阵，是由网络学习到的一个参数，该权重矩阵为节点特征从输入的低级特征变换到高级特征提供支撑；μ
ij
是一个注意力系数。
[0016]步骤6：使用步骤5训练出来的图卷积网络对图中的各个节点(即图像中的各个三角形区域)进行打分，得到一组分数值其中：表示节点v
i
的分数，且的分数，且分数越高表示该位置越适合放置图表。对于每一个拥有“最高分”的节点，以该节点为起始节点，依次访问其邻接节点，直到当前节点的分数为0，计算当前节点到起始节点的距离作为图表大小。选取其中图表大小最大的节点作为最终绘制图表的位置P，其对应的图表大小M作为最终绘制图表的大小。
[0017]步骤7：以RGB颜色空间表示的颜色C由下述b式定义为：
[0018]C＝{R,G,B},0≤R,G,B≤255
ꢀꢀ
(b)；
[0019]式中：R、G、B分别为颜色C的红色、绿色、蓝色分量；
[0020]根据国际通用标准，该颜色的亮度L则由下述c式计算：
[0021]L＝0.2126*R+0.7152*G+0.0722*B
ꢀꢀ
(c)。
[0022]假设两个颜色的亮度分别为L1和L2，则两颜色的对比度由下述d式计算：
[0023](L1+0.05)/(L2+0.05)
ꢀꢀ
(d)。
[0024]为了对图表进行着色，首先由下述e式自定义一个适合图表配色的调色板CP
global
：
[0025]CP
globNl
＝{c1,c2,
…
,c
k
},c
i
＝{R
i
,G
i
,B
i<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图卷积网络的图像图表智能合成方法，其特征在于采用深度神经网络生成输入图像的显著性图，基于三角化网格构造图，利用图卷积网络预测合理的图表位置及大小，提取目标位置的显著颜色，从自定义的图表颜色库中选取与背景颜色对比度大的色彩方案作为调色板，最后根据用户输入的数据绘制可视化图表，图像图表的智能合成具体包括以下步骤：步骤1：输入一张大小为H
×
W的图像I
c
、可视化的图表类型T
v
以及对应的数据D
v
；步骤2：在显著性检测的数据集上训练一个类U
‑
Net的编解码网络对图像I
c
进行显著性检测，得到图像的显著性图S
c
；步骤3：对显著性图S
c
进行蓝噪声采样以捕获显著性密度的分布，得到一组蓝噪声点P
BN
，并对P
BN
执行Delaunay三角剖分算法，从而将图像I
c
依据显著特征划分多个三角形区域，得到一组三角形的集合T；步骤4：构造图像图表的数据集，所述数据集是由设计者进行手工标注的图片组成，对于一张给定的图片，设计者圈定其中一个或多个适合绘制图表的区域，并记录该区域位置及大小；步骤5：在步骤4中构造的数据集上训练一个图卷积网络，所述图卷积网络由三个卷积层构成，前两层用于学习图节点特征，后一层用于预测图节点分数，对于每一个卷积层，输入一个节点特征的向量输出一个新的节点特征的向量输出一个新的节点特征的向量其中：和分别指代输入的节点特征数和输出的节点特征数；对于每一个节点v
i
由下述a式定义到的线性变换：其中：为权重矩阵是由网络学习到的一个参数，该权重矩阵为节点特征从输入的低级特征变换到高级特征提供支撑；μ
ij
为注意力系数；步骤6：使用步骤5训练出来的图卷积网络对图中的各个节点进行打分，得到一组分数值其中：表示节点v
i
的分数且对于每一个拥有“最高分”的节点，以该节点为起始节点，依次访问其邻接节点，直到当前节点的分数为0，计算当前节点到起始节点的距离作为图表大小，选取图表中最大的节点作为最终绘制图表位置P，并以其对应的图表大小6作为最终绘制图表的大小；步骤7：按下述步骤计算图表颜色调色板CP：7
‑
1：由下述b式定义以RGB颜色空间表示的颜色C：C＝{R,G,B},0≤R,G,B≤255
ꢀꢀꢀ
(b)；式中：R、G、B分别为颜色C的红色、绿色、蓝色分量；7
‑
2：由下述c式计算亮度L：L＝0.2126*R+0.7152*G+0.0722*B
ꢀꢀ
(c)；则两颜色的对比度由下述d式计算：(L1+0.05)/(L2+0.05)
ꢀꢀꢀ
(d)；
7
‑
3：由下述e式定义适合图表配色的调色板CP
global
：CP
global
＝{c1,c2,
…
,c
k
},c
i
＝{R
i
,G
i
,B
i
},0≤R
...

【专利技术属性】
技术研发人员：孙雨晶，李晨辉，王长波，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：