【技术实现步骤摘要】
本专利技术属于三维建模，具体涉及基于草图与文本的彩色三维模型生成方法及系统。
技术介绍
1、在设计领域中，草图中的笔画轮廓能够表示三维模型的外形、结构等基础特征，是三维建模的重要引导。而文本作为人类精炼提取的设计思想，也能够为三维模型提供基本的特征描述，能够通过简洁的信息指导三维模型的重建。
2、随着深度学习的兴起，基于卷积神经网络实现有条件的三维重建的研究逐渐成为一大热点。但是，由于草图的稀疏性和抽象性及文本的模糊性与粗略性，以深度学习的方法将草图或文本转换为正确的三维模型仍是一个挑战。在现有技术中，基于神经网络从草图或文本到三维重建仍然存在生成理解错误等问题，此外，对三维形状的语义结构缺乏感知。
3、因此，如何将草图与文本相互结合并引入三维重建的神经网络中，以提升三维模型的特征表达完整性与清晰度，是提高三维模型建模效果的关键，也是非常具有学术和工程价值的。
技术实现思路
1、为解决现有技术的不足，实现通过提取草图中的语义信息并融合文本特征来引导三维重建，在点云生成的同时计算颜色及部件分类信息的目的，本专利技术采用如下的技术方案：
2、基于草图与文本的彩色三维模型生成方法，包括如下步骤：
3、步骤1：获取手绘草图；
4、步骤2：草图分割与文本特征融合，按部件分割手绘草图并提取特征，融合手绘草图特征、草图部件特征和提取的文本特征；
5、步骤3：构建三维模型生成网络，并在其采用的交叉注意力机制中引入步骤2得到的草
6、进一步地，所述步骤1中，检测草图中完整草图笔画区域四周边界并截取，并进行图像规范化处理，缩放并补充四周空白区域至大小为224*224像素的图片。
7、进一步地，所述步骤2中，训练以resnet-50为网络骨干的fcn(fullyconvolutional networks，全卷积网络)模型对输入草图进行语义分割，标记草图中不同部件部分。
8、进一步地，所述步骤2中，草图特征提取网络采用预训练的visual transformer模型，分别对完整草图与草图部件提取全局特征与多层局部特征，并通过特征拼接实现特征融合。
9、进一步地，所述步骤2中，通过预训练bert模型，基于深度双向上下文信息来提高自然语言处理任务性能来提取文本特征。
10、进一步地，所述步骤2中，通过多头注意力机制融合手绘草图特征、草图部件特征和文本特征。
11、进一步地，所述步骤3中，构建基于unet的联合扩散模型，同步训练生成点云形状、颜色以及部件分类；在扩散模型中，引入无分类器引导方法，同时训练一个无条件生成模型和条件生成模型，通过两者线性组合来推理三维模型重建结果，以提高生成模型的质量和多样性；为使草图和文本信息与三维模型在各个特征层都能够进行交互，从而使扩散过程得到深层的特征引导，在unet结构的每一层，采用基于投影的交叉注意力机制引入步骤2输出的草图与文本融合特征，使融合特征与相机视角下对应的投影位置点云特征进行交互。
12、进一步的，所述步骤3中，构建的扩散模型的损失函数设置为：
13、
14、其中，表示期望函数，∈和t分别表示采样噪声和时间步，x0表示点云点，c0表示点云颜色，s0表示点云分类，xt,ct,st表示对应的加噪后的向量，c表示草图与文本融合特征条件，f表示unet网络。
15、进一步地，所述步骤3中，在采样阶段，从高斯噪声出发，通过迭代训练逐步生成联合特征的点云三维模型。
16、基于草图与文本的彩色三维模型生成系统，包括草图手绘输入模块、草图分割与文本特征融合模块和三维模型生成模块；
17、所述草图手绘输入模块，用于获取手绘草图；
18、所述草图分割与文本特征融合模块，按部件分割输入草图并提取特征，融合手绘草图特征、草图部件特征和提取的文本特征；
19、所述三维模型生成模块，通过构建三维模型生成网络，并在其采用的交叉注意力机制中引入所述草图分割与文本特征融合模块得到的草图与文本的融合特征，训练三维模型生成网络以生成具有色彩与部件分类的三维模型。
20、本专利技术的优势和有益效果在于：
21、本专利技术的基于草图与文本的彩色三维模型生成方法及系统，通过对草图进行语义分割，并与文本特征进行融合，显式提取草图中的语义信息，同时结合文本辅助来引导三维重建的过程，从而减少草图与文本带来的模糊信息，来解决三维模型建模中因信息理解错误导致的建模错误的问题，从而实现手绘草图的高精确度三维重建，且在彩色三维模型生成的同时实现模型的三维语义分割，为模型编辑等延伸任务提供支持。
本文档来自技高网...【技术保护点】
1.基于草图与文本的彩色三维模型生成方法，其特征在于包括如下步骤：
2.根据权利要求1所述的基于草图与文本的彩色三维模型生成方法，其特征在于：所述步骤1中，检测草图中完整草图笔画区域边界并截取，并进行图像规范化处理。
3.根据权利要求1所述的基于草图与文本的彩色三维模型生成方法，其特征在于：所述步骤2中，训练以ResNet为网络骨干的FCN模型对输入草图进行语义分割，标记草图中不同部件部分。
4.根据权利要求1所述的基于草图与文本的彩色三维模型生成方法，其特征在于：所述步骤2中，草图特征提取网络采用预训练的Visual Transformer模型，分别对完整草图与草图部件提取全局特征与多层局部特征，并通过特征拼接实现特征融合。
5.根据权利要求1所述的基于草图与文本的彩色三维模型生成方法，其特征在于：所述步骤2中，通过预训练BERT模型，基于深度双向上下文信息来提取文本特征。
6.根据权利要求1所述的基于草图与文本的彩色三维模型生成方法，其特征在于：所述步骤2中，通过多头注意力机制融合手绘草图特征、草图部件特征和文本特征
7.根据权利要求1所述的基于草图与文本的彩色三维模型生成方法，其特征在于：所述步骤3中，构建基于UNet的联合扩散模型，同步训练生成点云形状、颜色以及部件分类；在扩散模型中，引入无分类器引导方法，同时训练一个无条件生成模型和条件生成模型，通过两者线性组合来推理三维模型重建结果；在UNet结构的每一层，采用基于投影的交叉注意力机制引入步骤2输出的草图与文本融合特征，使融合特征与相机视角下对应的投影位置点云特征进行交互。
8.根据权利要求7所述的基于草图与文本的彩色三维模型生成方法，其特征在于：所述步骤3中，扩散模型的损失函数设置为：
9.根据权利要求1所述的基于草图与文本的彩色三维模型生成方法，其特征在于：所述步骤3中，在采样阶段，从高斯噪声出发，通过迭代训练逐步生成联合特征的点云三维模型。
10.基于草图与文本的彩色三维模型生成系统，包括草图手绘输入模块、草图分割与文本特征融合模块和三维模型生成模块，其特征在于：
...【技术特征摘要】
1.基于草图与文本的彩色三维模型生成方法，其特征在于包括如下步骤：
2.根据权利要求1所述的基于草图与文本的彩色三维模型生成方法，其特征在于：所述步骤1中，检测草图中完整草图笔画区域边界并截取，并进行图像规范化处理。
3.根据权利要求1所述的基于草图与文本的彩色三维模型生成方法，其特征在于：所述步骤2中，训练以resnet为网络骨干的fcn模型对输入草图进行语义分割，标记草图中不同部件部分。
4.根据权利要求1所述的基于草图与文本的彩色三维模型生成方法，其特征在于：所述步骤2中，草图特征提取网络采用预训练的visual transformer模型，分别对完整草图与草图部件提取全局特征与多层局部特征，并通过特征拼接实现特征融合。
5.根据权利要求1所述的基于草图与文本的彩色三维模型生成方法，其特征在于：所述步骤2中，通过预训练bert模型，基于深度双向上下文信息来提取文本特征。
6.根据权利要求1所述的基于草图与文本的彩色三维模型生成方法，其特征在于：所述步骤2中，...
【专利技术属性】
技术研发人员：张昱晓，王进，陆国栋，
申请(专利权)人：余姚市机器人研究中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。