【技术实现步骤摘要】
本专利技术涉及基于图像的三维模型检索，特别是涉及基于图像的三维模型检索方法、系统、设备及存储介质。
技术介绍
1、本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
2、随着三维建模技术的迅猛发展，近年来三维模型的数量急剧增加。如何有效地查询以及管理这些无标记的三维模型已经成为一项紧迫任务。基于视图的跨模态基于图像的三维模型检索技术是一种解决方案，它旨在利用易于获得的二维图像来搜索三维模型从而实现进一步管理。这一方法引起了广泛的关注，因为它具有广泛的应用潜力。查询图像和三维模型之间的模态差距使得跨领域基于图像的三维模型检索具有挑战性，如何进一步提升精度是一个值得进一步深挖的问题。
3、随着深度学习在计算机视觉领域的成功应用，如今，大多数方法都依赖于深度学习。深度学习方法在处理二维图像方面表现出色，因此，在处理三维模型时，常常首先将其渲染成多视图，然后再将多视图通过卷积神经网络得到特征响应图，根据特征响应图中最大响应的地方做视图之间的池化得到最终的特征描述符。在进行图像检索三维模型任务时，如果查询图像对于模型的多视图赋予相同的权重，这可能导致所获得的模型特征缺乏区分性，表征能力较弱。这种三维模型表示方法也仅仅考虑到三维模型模态内同一个模型多个视图之间的特征响应图的信息，缺少不同模态之间的模态融合，因此，在处理图像检索三维模型的模型表示时，需要一种技术充分考虑查询图像和三维模型的模态信息以便提升三维模型的表征能力。
4、由于二维图像和三维模型之间存在显著的模态差异，目前的方
技术实现思路
1、为了解决现有技术的不足，本专利技术提供了基于图像的三维模型检索方法、系统、设备及存储介质；
2、一方面，提供了基于图像的三维模型检索方法，包括：
3、获取待查询图像和三维模型数据库；
4、将待查询图像和三维模型数据库，均输入到训练后的基于图像的三维模型检索网络中，输出检索到的三维模型；
5、其中，训练后的基于图像的三维模型检索网络，用于：对待查询图像进行特征提取，得到待查询图像的特征；对每一个三维模型进行特征提取，得到三维模型的特征；将待查询图像的特征和三维模型的特征，均输入到注意力机制网络中，输出加权后的三维模型特征向量；计算待查询图像特征与所有的加权后三维模型特征向量之间的余弦相似度，选择余弦相似度最小值所对应的三维模型，作为检索到的三维模型。
6、另一方面，提供了基于图像的三维模型检索系统，包括：
7、获取模块，其被配置为：获取待查询图像和三维模型数据库；
8、输出模块，其被配置为：将待查询图像和三维模型数据库，均输入到训练后的基于图像的三维模型检索网络中，输出检索到的三维模型；
9、其中，训练后的基于图像的三维模型检索网络，用于：对待查询图像进行特征提取，得到待查询图像的特征；对每一个三维模型进行特征提取，得到三维模型的特征；将待查询图像的特征和三维模型的特征，均输入到注意力机制网络中，输出加权后的三维模型特征向量；计算待查询图像特征与所有的加权后三维模型特征向量之间的余弦相似度，选择余弦相似度最小值所对应的三维模型，作为检索到的三维模型。
10、再一方面，还提供了一种电子设备，包括：
11、存储器，用于非暂时性存储计算机可读指令；以及
12、处理器，用于运行所述计算机可读指令，
13、其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
14、再一方面，还提供了一种存储介质，非暂时性存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
15、再一方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。
16、上述技术方案具有如下优点或有益效果：
17、本专利技术提出了一种新的算法框架可以考虑到查询图像在检索任务中对于同一个模型不同视图之间的重要程度从而得到一个区分性更好的三维模型特征描述符向量，同时可以融合两个模态之间的信息。为此本专利技术设计了一种视图之间的注意力机制。
18、因为三元损失的局限性本专利技术利用对比学习的思想来对两个域的同一类的特征进行拉近，不同类的特征进行推远，实现拉近两个域之间的同类样本距离推远两个域之间不同类别样本距离的目的。
19、为了提高对比学习中的样本数量本专利技术提出动量更新模型域的编码器从而生成大批次的样本的同时满足特征一致性。为了进一步的满足特征一致性本专利技术额外设计了一个分支网络来实现视图之间的注意力机制。
20、为了使得查询图像域内的分类效果更明显本专利技术基于对比学习提出了查询图像域的拉近同一个类的特征，推远不同类的特征。
21、本专利技术提供了一种基于图像的基于图像的三维模型检索方法，可以通过易于获取的二维图像来检索没有标签的三维模型。
22、本专利技术的方法基于对比学习，使用对比学习方法来拉近图像和模型相同类推远不同类从而完成跨模态检索的任务。
23、本专利技术的方法可以充分考虑到查询图像对于同一模型不同视图对于检索任务的重要性，从而使得检索精度的进一步的提高。
本文档来自技高网...【技术保护点】
1.基于图像的三维模型检索方法，其特征是，包括：
2.如权利要求1所述的基于图像的三维模型检索方法，其特征是，训练后的基于图像的三维模型检索网络，包括：
3.如权利要求2所述的基于图像的三维模型检索方法，其特征是，所述图像域网络，包括：
4.如权利要求2所述的基于图像的三维模型检索方法，其特征是，所述图像域网络，包括：
5.如权利要求1所述的基于图像的三维模型检索方法，其特征是，训练后的基于图像的三维模型检索网络，训练过程包括：
6.如权利要求5所述的基于图像的三维模型检索方法，其特征是，所述网络的总损失函数，具体包括：查询图像域的分类损失函数、图像域拉近推远的损失函数以及跨模态的拉近推远损失函数的求和结果；
7.如权利要求1所述的基于图像的三维模型检索方法，其特征是，将待查询图像的特征和三维模型的特征，均输入到注意力机制网络中，输出加权后的三维模型特征向量，包括：
8.基于图像的三维模型检索系统，其特征是，包括：
9.一种电子设备，其特征是，包括：
10.一种存储介质，其
...【技术特征摘要】
1.基于图像的三维模型检索方法，其特征是，包括：
2.如权利要求1所述的基于图像的三维模型检索方法，其特征是，训练后的基于图像的三维模型检索网络，包括：
3.如权利要求2所述的基于图像的三维模型检索方法，其特征是，所述图像域网络，包括：
4.如权利要求2所述的基于图像的三维模型检索方法，其特征是，所述图像域网络，包括：
5.如权利要求1所述的基于图像的三维模型检索方法，其特征是，训练后的基于图像的三维模型检索网络，训练过程包括：
6.如权利要求5所述的基于图像的三维模型检索方法，其特征是，所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。