基于矢量图的手绘草图合成方法、计算机设备和程序产品技术

技术编号：44353015 阅读：0 留言：0更新日期：2025-02-25 09:37

本申请涉及一种基于矢量图的手绘草图合成方法、计算机设备和程序产品，手绘草图合成方法，包括：基于内容图像获得矢量图，基于矢量图渲染获得手绘草图；将随机噪声叠加至手绘草图得到带噪图像，将带噪图像输入至扩散模型；基于内容图像获得相应的文本描述，对内容图像进行边缘检测生成边缘图，将文本描述和边缘图两者的特征注入扩散模型，引导扩散模型生成自然图像；根据自然图像与带噪图像获得扩散模型生成自然图像过程中的预测噪声，根据预测噪声和随机噪声获得差值噪声；利用内容图像和手绘草图的差异损失，更新优化手绘草图；利用差值噪声，更新优化手绘草图。本申请提高了手绘草图相较于内容图像的内容结构和语义结构相似度。

全部详细技术资料下载

【技术实现步骤摘要】

本申请涉及计算机视觉和深度学习领域，特别是涉及一种基于矢量图的手绘草图合成方法、计算机设备和程序产品。

技术介绍

1、手绘草图合成的目的是在给定内容图像时使用学习的草图风格重新绘制内容图像。现有的草图合成方法可以分为基于像素的草图合成和基于矢量的草图合成。

2、基于像素的草图合成方法专注于使用像素图形生成基于像素的草图，artbank(artbank:artistic style transfer with pre-trained diffusion model andimplicit style prompt bank)提出通过扩散模型使用全局提示来从草图图像中学习风格信息，将学到的风格转移到任意内容图像上。updg(unpaired portrait drawinggeneration via asymmetric cycle mapping)提出利用局部鉴别器从草图图像中学习细节纹理。然而，这些方法总是引入一些明显的伪影和不和谐的模式。它们也不支持生成具有不同抽象级别的草图图像。基于像素的草图包含单独的像素，并且在缩放时可能会损失质量。

3、基于矢量的草图合成方法可以使用可扩展的矢量图形生成草图，而不会损失质量。clipasso(clipasso semantically-aware object sketching)利用clip模型从草图中学习局部结构和全局语义，并将梯度赋予可微光栅器生成基于矢量的草图。虽然上述方法可以生成基于矢量的草图，但它们在准确描述内容图像的结构和语义方面仍然存在局限性。</p>

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于矢量图的手绘草图合成方法。

2、本申请基于矢量图的手绘草图合成方法，用于根据内容图像合成手绘草图，包括：

3、基于所述内容图像获得矢量图，基于所述矢量图渲染获得手绘草图；

4、将随机噪声叠加至所述手绘草图得到带噪图像，将所述带噪图像输入至扩散模型；

5、基于所述内容图像获得相应的文本描述，对所述内容图像进行边缘检测生成边缘图，将所述文本描述和所述边缘图两者的特征注入所述扩散模型，引导所述扩散模型生成自然图像；

6、根据所述自然图像与所述带噪图像获得所述扩散模型生成所述自然图像过程中的预测噪声，根据所述预测噪声和所述随机噪声获得差值噪声；

7、利用所述内容图像和所述手绘草图的差异损失，更新优化所述手绘草图；

8、利用所述差值噪声，更新优化所述手绘草图。

9、可选的，基于所述内容图像获得相应的文本描述，对所述内容图像进行边缘检测生成边缘图，具体包括：将所述内容图像输入至图生文模型获得相应的文本描述，对所述内容图像进行canny边缘检测生成边缘图；

10、将所述文本描述和所述边缘图两者的特征注入所述扩散模型，具体包括：将所述文本描述输入文本提取器提取获得文本特征，将所述文本特征注入所述扩散模型；将所述边缘图输入至特征提取网络提取获得边缘特征，将所述边缘特征注入所述扩散模型。

11、可选的，将所述文本特征注入所述扩散模型，具体包括：将所述文本特征注入所述扩散模型中编码器和解码器两者的交叉注意力模块；

12、将所述边缘特征注入所述扩散模型，具体包括：将所述边缘特征注入所述扩散模型中解码器的残差模块。

13、可选的，利用所述差值噪声，更新优化所述手绘草图，具体包括：利用所述差值噪声向可微渲染器提供梯度来直接预测所述矢量图中曲线的更新方向，所述可微分渲染器用于将所述矢量图渲染为手绘草图。

14、可选的，利用所述差值噪声，更新优化所述手绘草图，具体利用下式进行：

15、

16、式中，表示分数蒸馏采样损失，其中φ表示所述扩散模型，表示经可微渲染器渲染获得的所述手绘草图，θ表示所述矢量图的初始化曲线；

17、et,∈，表示求期望；

18、w(t)，为超参数，表示权重；

19、表示所述差值噪声，其中表示所述预测噪声，∈表示所述随机噪声。

20、可选的，基于所述内容图像获得矢量图，具体包括：基于所述内容图像提取获得内容特征图，将所述内容特征图转化为曲线图，对所述曲线图进行局部采样获得初始化曲线，所述初始化曲线作为所述矢量图的初始部分，通过改变所述局部采样的采样精度以调节所述矢量图和所述手绘草图的抽象化程度。

21、可选的，基于所述内容图像提取获得内容特征图，具体包括：利用vgg模型的不同层提取多尺度特征，将所述多尺度特征的平均特征图作为内容特征图。

22、可选的，改变所述局部采样的采样精度，具体包括：获得所述曲线图中每条曲线的控制点，对部分曲线上的部分控制点进行采样，获得预期采样精度的控制点初始集，所述控制点初始集组成不同曲线段、以构成所述初始化曲线。

23、可选的，对部分曲线上的部分控制点进行采样，获得预期采样精度的控制点初始集，具体包括：获得目标曲线上的首个控制点以控制点为中心在所述目标曲线上根据预设半径采样周围区域的、与控制点依次相邻的三个控制点将控制点的集合作为控制点初始集。

24、可选的，所述差异损失包括结构相似度损失和语义相似度损失。

25、本申请还提供一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现本申请所述的基于矢量图的手绘草图合成方法的步骤。

26、本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请所述的基于矢量图的手绘草图合成方法的步骤。

27、本申请还提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现本申请所述的基于矢量图的手绘草图合成方法的步骤。

28、本申请基于矢量图的手绘草图合成方法至少具有以下效果：

29、本申请通过文本描述和边缘图对扩散模型进行引导，其中边缘图能够引导自然图像的内容结构，文本描述能够引导自然图像的语义结构，使得自然图像能够准确地描述内容图像的详细信息。

30、本申请利用稳定的扩散模型输出自然图像，在自然图像稳定输出的情况下，预测噪声随带噪图像的改变而改变，即预测噪声随手绘草图的改变而改变。所以预测噪声与随机噪声的差值噪声，能够通过梯度将差值噪声用于手绘草图的更新优化，提高了手绘草图相较于内容图像的内容结构和语义结构相似度。

本文档来自技高网...

【技术保护点】

1.基于矢量图的手绘草图合成方法，用于根据内容图像合成手绘草图，其特征在于，包括：

2.如权利要求1所述的手绘草图合成方法，其特征在于，基于所述内容图像获得相应的文本描述，对所述内容图像进行边缘检测生成边缘图，具体包括：将所述内容图像输入至图生文模型获得相应的文本描述，对所述内容图像进行Canny边缘检测生成边缘图；

3.如权利要求1所述的手绘草图合成方法，其特征在于，利用所述差值噪声，更新优化所述手绘草图，具体包括：利用所述差值噪声向可微渲染器提供梯度来直接预测所述矢量图中曲线的更新方向，所述可微分渲染器用于将所述矢量图渲染为手绘草图。

4.如权利要求3所述的手绘草图合成方法，其特征在于，利用所述差值噪声，更新优化所述手绘草图，具体利用下式进行：

5.如权利要求1所述的手绘草图合成方法，其特征在于，基于所述内容图像获得矢量图，具体包括：

6.如权利要求5所述的手绘草图合成方法，其特征在于，改变所述局部采样的采样精度，具体包括：获得所述曲线图中每条曲线的控制点，对部分曲线上的部分控制点进行采样，获得预期采样精度的控制点初

7.如权利要求6所述的手绘草图合成方法，其特征在于，对部分曲线上的部分控制点进行采样，获得预期采样精度的控制点初始集，具体包括：获得目标曲线上的首个控制点以控制点为中心在所述目标曲线上根据预设半径采样周围区域的、与控制点依次相邻的三个控制点将控制点的集合作为控制点初始集。

8.如权利要求1所述的手绘草图合成方法，其特征在于，所述差异损失包括结构相似度损失和语义相似度损失。

9.计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现如权利要求1～8任一项基于矢量图的手绘草图合成方法的步骤。

10.计算机程序产品，包括计算机指令，其特征在于，该计算机指令被处理器执行时实现如权利要求1～8任一项所述的基于矢量图的手绘草图合成方法的步骤。

...

【技术特征摘要】

1.基于矢量图的手绘草图合成方法，用于根据内容图像合成手绘草图，其特征在于，包括：

2.如权利要求1所述的手绘草图合成方法，其特征在于，基于所述内容图像获得相应的文本描述，对所述内容图像进行边缘检测生成边缘图，具体包括：将所述内容图像输入至图生文模型获得相应的文本描述，对所述内容图像进行canny边缘检测生成边缘图；

4.如权利要求3所述的手绘草图合成方法，其特征在于，利用所述差值噪声，更新优化所述手绘草图，具体利用下式进行：

5.如权利要求1所述的手绘草图合成方法，其特征在于，基于所述内容图像获得矢量图，具体包括：

6.如权利要求5所述的手绘草图合成方法，其特征在于，改变所述局部采样的采样精度，具体包括...

【专利技术属性】
技术研发人员：赵磊，张占杰，马骋，莫竣程，林怀忠，李光远，孙嘉锴，尹浩霖，蓝泽铧，张权威，王永康，陈嘉芙，褚天易，饶晨，焦涵，贾世安，张玮婧，邢卫，
申请(专利权)人：浙江大学，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人