【技术实现步骤摘要】
本专利技术属于三维模型检索，尤其涉及一种基于多环视图和隐类挖掘的三维模型检索方法。
技术介绍
1、在数字化时代背景下，三维模型因其丰富的信息表达能力而成为关键的信息载体，并随着三维建模技术的迅猛进步，使得创建三维模型变得更加便捷。面对激增的三维模型数量，如何高效、精确地检索出用户所需的特定模型，成为了一个迫切需要解决的问题。基于草图的三维模型检索技术应运而生，它允许用户通过简单的手绘草图，随时随地快速定位和检索目标模型。
2、基于草图的三维模型检索技术经历了从手工特征提取到深度学习的转变。早期研究依赖手工特征，效率低下；然后应用深度学习，通过孪生网络处理跨域问题，但因忽视三维模型的立体性而受限；随后提出基于整体度量学习的方法，利用鉴别性和相关性损失提升性能，但训练过程较为复杂。近年来通过知识蒸馏模型和跨域指导训练，显著提高了基于草图的三维模型检索性能，然而该领域仍面临挑战，如草图与三维模型间的语义差异、草图的抽象性以及视图特征重要性的差异。
3、在三维模型的二维视图生成及基于草图的检索领域，现有方法面临一些挑战。首先，草图与三维对象之间的模态差异造成了显著的域鸿沟，这对特征的提取和匹配构成了障碍，再而三维模型投影成二维视图的视角有限，导致二维视图对表达三维模型有一定的局限性。
技术实现思路
1、本专利技术提供一种基于多环视图和隐类挖掘的三维模型检索方法，可以改善相关技术中草图与三维对象之间的模态差异造成了显著的域鸿沟，障碍特征的提取和匹配，且三维模型投影成二
2、本专利技术提供了一种基于多环视图和隐类挖掘的三维模型检索方法，包括以下步骤：
3、步骤s1：选取数据集，数据集包括若干个三维模型和草图；利用三维图像软件，以数据集中的每个三维模型为中心配置一个虚拟相机，虚拟相机围绕y轴等角度旋转并拍摄，在每个角度的虚拟相机再沿着z轴等距离位移并拍摄，共同生成多环视图；
4、步骤s2：多环视图经过多环视图特征学习网络学习处理后，得到三维模型表示；
5、步骤s3：在三维模型表示的指导下，数据集中的草图通过细粒度草图聚类网络跨模态学习草图和三维模型的共同特征，将草图的特征与三维模型的特征对齐，得到三维模型检索结果。
6、进一步地，步骤s1包括以下步骤：
7、步骤s101：数据集选取shrec'13草图三维模型检索数据集，shrec'13草图三维模型检索数据集包括草图数据子集和三维模型数据子集；
8、步骤s102：使用三维图形软件blender构造矩形空背景模型，并配置一个虚拟相机，选择矩形空背景模型的中心点为中心，矩形空背景模型的立方体边缘设置光源，对三维模型定义一个以三维模型为中心的虚拟球体，虚拟相机围绕y轴等角度旋转并拍摄，在每个角度的虚拟相机再沿着z轴等距离位移并拍摄，共同生成多环视图；设定虚拟相机的坐标为：
9、；；；
10、式中，x为虚拟相机在x轴的坐标；r为虚拟球体的半径；为虚拟相机相对于x轴的角度；y为虚拟相机在y轴的坐标；z为虚拟相机在z轴的坐标；z0为虚拟相机在z轴上的位置。
11、进一步地，步骤s102中，将虚拟相机围绕 y轴等角度旋转，每旋转 30 度的位置拍摄1次共 12 次，对于围绕 y轴每旋转 30 度的位置上虚拟相机再沿着z轴的6个等距点位移并在每个等距点拍摄1次，最后共同生成72张多环视图。
12、进一步地，步骤s2包括以下步骤：
13、步骤s201：第一resnet-50为骨干网络的特征提取模块、基于transformer架构的多环视图特征编码器块和双层的多层感知器组成多环视图特征学习网络；将多环视图输入多环视图特征学习网络中，每个环的多环视图独立通过第一resnet-50为骨干网络的特征提取模块，捕获每个环的多环视图的单个视角的高级特征，然后将每个环的多环视图的单个视角的高级特征通过归一化层处理；
14、步骤s202：将归一化层处理后的每个环的多环视图的单个视角的高级特征通过平均池化，以融合不同视角的信息形成一个融合特征；再将融合特征输入基于transformer架构的多环视图特征编码器块中，利用多头自注意力和空间交叉注意力机制进一步提炼和融合融合特征，将融合特征的图像特征转换为序列化的形式，得到三维模型的特征向量；
15、步骤s203：经过若干个基于transformer架构的多环视图特征编码器块的处理后，三维模型的特征向量进行最大池化整合，得到三维模型的统一特征向量并进一步增强特征的表达能力；最后将三维模型的统一特征向量输入双层的多层感知器进行类别预测，最终得到三维模型的输出类别，作为细粒度类别中心；
16、其中，双层的多层感知器由第一输入层、隐藏层和第二输出层组成，第一输入层、隐藏层和第二输出层的各层之间通过权重连接，并通过非线性激活函数学习三维模型的统一特征向量的非线性特征。
17、进一步地，步骤s201中单个视角的高级特征通过归一化层处理，具体步骤为：
18、步骤s2011，将每个环的多环视图的单个视角的高级特征进行欧几里德范数归一化，使每个环的多环视图的单个视角的高级特征在相同的尺度上，公式为：
19、；
20、式中：为高级特征的特征向量；为第i个多环视图的高级特征的特征向量；为第i个多环视图的高级特征的特征向量进行欧几里德范数归一化后的特征向量；为高级特征的特征向量的维度；
21、步骤s2012，通过比较每个欧几里德范数归一化后的特征向量与每个欧几里德范数归一化后的特征向量的类表示特征向量计算判别损失函数，公式为：
22、；
23、式中：为判别损失函数；为多环视图的总数；为求最大函数；为边距，控制与多环视图的高级特征相似的特征向量和与多环视图的高级特征相似不相似的特征向量之间的最小距离；d为距离度量函数余弦距离；为与第i个多环视图的高级特征相似的特征向量；min为求最小函数；为预测的三维模型的输出类别集合；j为类别索引，用于标识预测的三维模型的输出类别集合c中的每一个类别；ymi为第m个三维模型对第i个多环视图的预测类别；为与第i个多环视图的高级特征不相似的特征向量；
24、步骤s2013，通过比较三维模型的预测概率分布与真实标签的概率分布计算交叉熵损失函数，公式为：
25、；
26、式中，为交叉熵损失函数；e是自然对数的底数；为预测的三维模型的输出类别集合的总数；为第个多环视图的真实类别；为第个多环视图的真实类别的权重向量；为第j个预测的三维模型的输出类别的偏置项；为第个多环视图的真实类别的偏置项；为第j个预测的三维模型的输出类别的权重向量；
27、步骤s2014，最终的损失函数为判别损失函数和交叉熵损失函数的组合，公式为：
28、；
29、式中，为最终的损失函本文档来自技高网...
【技术保护点】
1.一种基于多环视图和隐类挖掘的三维模型检索方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于多环视图和隐类挖掘的三维模型检索方法，其特征在于，步骤S1包括以下步骤：
3.如权利要求2所述的基于多环视图和隐类挖掘的三维模型检索方法，其特征在于：步骤S102中，将虚拟相机围绕 Y轴等角度旋转，每旋转 30 度的位置拍摄1次共 12 次，对于围绕 Y轴每旋转 30 度的位置上虚拟相机再沿着Z轴的6个等距点位移并在每个等距点拍摄1次，最后共同生成72张多环视图。
4.如权利要求3所述的基于多环视图和隐类挖掘的三维模型检索方法，其特征在于：步骤S2包括以下步骤：
5.如权利要求4所述的基于多环视图和隐类挖掘的三维模型检索方法，其特征在于，步骤S201中单个视角的高级特征通过归一化层处理，具体步骤为：
6.如权利要求5所述的基于多环视图和隐类挖掘的三维模型检索方法，其特征在于，步骤S202中，融合特征输入基于Transformer架构的多环视图特征编码器块中，具体步骤为：
7.如权利要求6所述的基于多环视图和
8.如权利要求7所述的基于多环视图和隐类挖掘的三维模型检索方法，其特征在于，步骤S302中，草图的特征向量与三维模型的统一特征向量在细粒度类别中心进行对齐，具体步骤为：
...【技术特征摘要】
1.一种基于多环视图和隐类挖掘的三维模型检索方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于多环视图和隐类挖掘的三维模型检索方法，其特征在于，步骤s1包括以下步骤：
3.如权利要求2所述的基于多环视图和隐类挖掘的三维模型检索方法，其特征在于：步骤s102中，将虚拟相机围绕 y轴等角度旋转，每旋转 30 度的位置拍摄1次共 12 次，对于围绕 y轴每旋转 30 度的位置上虚拟相机再沿着z轴的6个等距点位移并在每个等距点拍摄1次，最后共同生成72张多环视图。
4.如权利要求3所述的基于多环视图和隐类挖掘的三维模型检索方法，其特征在于：步骤s2包括以下步骤：
...
【专利技术属性】
技术研发人员：曾纪国，黄强，方文成，邬佳乐，夏佳琦，汪辉，杨波，
申请(专利权)人：江西师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。