面向交互的可编辑艺术图像生成系统及方法技术方案

一种面向交互的可编辑艺术图像生成系统及方法，包括：图像采集模块、解耦的SVG几何和纹理重建模块和SVG解耦式编辑模块，本发明专利技术不需要丰富的经验和技术知识进行建模，而是通过多种图像获取方式得到素材图像并进行解耦式的几何矢量与参数纹理重建，建立起设计的基础，从而可以交互式地对图像中各元素的几何与纹理进行设计和编辑。与现有的图像矢量化重建及编辑技术相比，本发明专利技术在时间效率更高的同时，大大减少了矢量冗余，使用较少的矢量即可重建出更清晰、保真度更高的图像，从而更加方便后续的编辑与设计。便后续的编辑与设计。便后续的编辑与设计。

【技术实现步骤摘要】
面向交互的可编辑艺术图像生成系统及方法


[0001]本专利技术涉及的是一种图像处理领域的技术，具体是一种面向交互的可编辑艺术图像生成系统及方法。

技术介绍

[0002]近年来，艺术图像设计与生成系统在广告、游戏、电影以及其他多媒体领域越来越受到欢迎。现有的矢量化艺术图像生成方法主要有两点不足。其一，需要设计师具备丰富的经验和技术知识，以手动或半手动的方式创建和编辑模型。其二，图像中不仅包含适合矢量化表示的形状结构，还包含并不适合矢量化表示的复杂纹理，而传统的图像矢量化表征无法表达复杂纹理，导致图像矢量化重建不够精细，使得后续的编辑变得非常低效。

技术实现思路

[0003]本专利技术针对现有技术存在的上述不足，提出一种面向交互的可编辑艺术图像生成系统及方法，不需要丰富的经验和技术知识进行建模，而是通过多种图像获取方式得到素材图像并进行解耦式的几何矢量与参数纹理重建，建立起设计的基础，从而可以交互式地对图像中各元素的几何与纹理进行设计和编辑。与现有的图像矢量化重建及编辑技术相比，本专利技术在时间效率更高的同时，大大减少了矢量冗余，使用较少的矢量即可重建出更清晰、保真度更高的图像，从而更加方便后续的编辑与设计。
[0004]本专利技术是通过以下技术方案实现的：
[0005]本专利技术涉及一种面向交互的可编辑艺术图像生成系统，包括：图像采集模块、解耦的SVG几何和纹理重建模块和SVG解耦式编辑模块，其中：图像采集模块采集并对原始图像进行预处理，解耦的SVG几何和纹理重建模块将预处理后的图像通过两个并行的神经网络分别重建得到参数化的矢量图形和稀疏网格点的纹理特征及对应的可微的隐式表征神经网络参数后，将两者合并光栅化处理，SVG解耦式编辑模块显示光栅化处理后的图像并对图像几何与纹理特征进行独立分离编辑。
[0006]所述的预处理包括：归一化处理和缩放处理。
[0007]所述的两个并行的神经网络是指：序列预测网络和可微的隐式表征神经网络。
[0008]本专利技术涉及一种基于上述系统的几何和纹理解耦的图像矢量化重建及编辑方法，通过使用参数化的矢量图形描述原始图像的几何形状；通过序列预测网络得到对应的参数化矢量图形集合；使用稀疏化的2D网格存储图像的纹理特征，并通过可微的隐式表征神经网络的参数存储纹理特征与图像颜色的映射关系；在图像像素空间通过样条插值和可微的隐式表征神经网络进行图像纹理重建；将几何形状与纹理分布叠加后经透明度光栅化处理得到完整的重建图像，并可基于重建结果对图像中的几何形状和纹理特征进行解耦式分离编辑。技术效果
[0009]本专利技术在图像重建过程中采用图像几何与纹理解耦的方式，通过对图像的几何和
纹理分别建模，来获得图像形状矢量化、纹理参数化的高效表征。与现有技术相比，本专利技术参数化矢量图形的内部可以表达出丰富的颜色变化，从而高效地表征复杂的图像纹理，实现对图像几何与纹理特征的解耦式编辑。
附图说明
[0010]图1为本专利技术原理图；
[0011]图2为本专利技术流程图；
[0012]图3为本专利技术具体方法示意图；
[0013]图中：(a)序列预测网络；(b)可微的隐式表征神经网络(以5X5网格为例)；
[0014]图4、图5为实施例效果示意图。
具体实施方式
[0015]如图1所示，为本实施例涉及一种面向交互的可编辑艺术图像生成系统，包括：图像采集模块、解耦的SVG几何和纹理重建模块和SVG解耦式编辑模块。
[0016]所述的解耦的SVG几何和纹理重建模块包括：几何形状重建单元、图像纹理重建单元，其中：几何形状重建单元根据输入的图像，进行序列化处理并输入序列预测网络，得到对应的参数化矢量图形集合；图像纹理重建单元根据输入的图像信息，建立稀疏化的2D网格存储图像的纹理特征，并通过可微的隐式表征神经网络，得到纹理特征和图像像素值的映射关系。
[0017]如图2所示，为本实施例涉及的一种面向交互的可编辑艺术图像生成方法，包括以下步骤：
[0018]步骤1、采集原始图像，其方式不限于拍摄、扫描等方式，并对原始图像进行预处理，具体为：对图像进行归一化，并缩放到指定尺寸。
[0019]步骤2、对原始图像进行解耦的SVG几何与纹理并行重建，具体包括：
[0020]2.1)几何形状重建：使用参数化的矢量图形描述图像的几何形状，以二次贝塞尔曲线为例：二次贝塞尔曲线使用起始点、终止点和控制点向量和描述笔触，因此一个参数化笔触其中：和为贝塞尔曲线参数，a为曲线透明度，具体为：首先将输入图像编码为序列化Token，然后将序列Token输入序列预测网络并得到对应的参数化矢量图形序列Θ＝{θ1，θ2，
…
，θ
n
}，其中每个元素代表由贝塞尔曲线描述的一个参数化笔触。
[0021]如图3(a)所示，所述的序列预测网络包括：Transformer网络，该Transformer网络以图像Token和作为Query向量的经过预训练的一组固定向量为输入，得到一组参数化的矢量图形序列。
[0022]2.2)图像纹理重建：使用稀疏化的2D网格存储图像的纹理特征，并通过可微的隐式表征神经网络的参数存储纹理特征与图像颜色的映射关系，具体为：首先在图像像素空间建立一组多分辨率的稀疏网格，选取分辨率分别为7
×
7，15
×
15，31
×
31，63
×
63后，为每个分辨率下每个稀疏网格的中心点随机初始化一个特征向量；再为图像中的每个像素点，在每个分辨率的网格中进行样条插值，得到其对应的特征；最后将所有分辨率下的特征拼接成最终的纹理特征；将该纹理特征输入可微的隐式表征神经网络，得到对应像素的颜色，以像素颜色的损失函数对隐式表征神经网络及特征向量进行训练，最终获得图像纹理的矢
量表达，即步骤2.1)所述四组特征向量以及隐式表征神经网络的参数。
[0023]如图3(b)所示，所述的可微的隐式表征神经网络包括：一组多分辨率的稀疏网格、样条插值单元以及多层感知机单元，其中：一组多分辨率的稀疏网格分别将图像划分为多尺度的规则区域，对应的特征向量存储在每个网格的中心；样条插值单元以图像中的坐标及稀疏网格特征为输入，进行样条插值处理，获得对应坐标处的特征向量；多层感知机单元以特征向量为输入，输出对应坐标位置的预测像素值。
[0024]2.3)图像几何与纹理叠加光栅化：对于每一个参数化的矢量图形序列，计算其内部所包围的像素坐标，将坐标输入可微的隐式表征神经网络，得到预测像素值；将所有参数化的矢量图形的像素值以其对应的透明度光栅化后即得完整的重建图像，将该重建图像与原始图像进行对比，从而完成对几何形状重建分支中序列预测网络和图像纹理重建分支中可微的隐式表征神经网络的联合训练。
[0025]步骤3：基于步骤2的重建结果进行SVG解耦式编辑，具体包括：
[0026]3.1)几何形状编辑：通过调整重建的贝塞尔曲线控制点的位置直本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向交互的可编辑艺术图像生成系统，其特征在于，包括：图像采集模块、解耦的SVG几何和纹理重建模块和SVG解耦式编辑模块，其中：图像采集模块采集并对原始图像进行预处理，解耦的SVG几何和纹理重建模块将预处理后的图像通过两个并行的神经网络分别重建得到参数化的矢量图形和稀疏网格点的纹理特征及对应的可微的隐式表征神经网络参数后，将两者合并光栅化处理，SVG解耦式编辑模块显示光栅化处理后的图像并对图像几何与纹理特征进行独立分离编辑；所述的预处理包括：归一化处理和缩放处理；所述的解耦的SVG几何和纹理重建模块包括：几何形状重建单元、图像纹理重建单元，其中：几何形状重建单元根据输入的图像，进行序列化处理并输入序列预测网络，得到对应的参数化矢量图形集合；图像纹理重建单元根据输入的图像信息，建立稀疏化的2D网格存储图像的纹理特征，并通过可微的隐式表征神经网络，得到纹理特征和图像像素值的映射关系；所述的两个并行的神经网络是指：序列预测网络和可微的隐式表征神经网络。2.根据权利要求1所述的面向交互的可编辑艺术图像生成系统，其特征是，所述的序列预测网络包括：Transformer网络，该Transformer网络以图像Token和作为Query向量的经过预训练的一组固定向量为输入，得到一组参数化的矢量图形序列。3.根据权利要求1所述的面向交互的可编辑艺术图像生成系统，其特征是，所述的可微的隐式表征神经网络包括：一组多分辨率的稀疏网格、样条插值单元以及多层感知机单元，其中：一组多分辨率的稀疏网格分别将图像划分为多尺度的规则区域，对应的特征向量存储在每个网格的中心；样条插值单元以图像中的坐标及稀疏网格特征为输入，进行样条插值处理，获得对应坐标处的特征向量；多层感知机单元以特征向量为输入，输出对应坐标位置的预测像素值。4.基于权利要求1
‑
3中任一所述系统的面向交互的可编辑艺术图像生成方法，其特征在于，通过使用参数化的矢量图形描述原始图像的几何形状；通过序列预测网络得到对应的参数化矢量图形集合；使用稀疏化的2D网格存储图像的纹理特征，并通过可微的隐式表征神经网络的参数存储纹理特征与图像颜色的映射关系；在图像像素空间通过样条插值和可微的隐式表征神经网络进行图像纹理重建；将几何形状与纹理分布叠加后经透明度光栅化处理得到完整的重建图像，并可基于重建结果对图像中的几何形状和纹理特征进行解耦式分离编辑。5.根据权利要求4所述的方...

【专利技术属性】
技术研发人员：倪冰冰，陈烨，史睿，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：