【技术实现步骤摘要】
本专利技术属于计算机视觉领域，具体说是一种基于2d图像的3d模型快速检索方法。
技术介绍
1、随着三维采集技术、三维形状建模、以及数字化和可视化技术的进步，使得互联网上和特定领域数据库中的三维模型数量不断增加，三维模型已经成为继继声音、图像和视频之后的第四大数字化多媒体数据。面对指数型增长的三维模型，如何实现三维模型的快速高效检索，显得尤为重要。
2、根数输入方式的不同，当前的三维检索方式主要有三种：即基于文本的三维检索，基于三维模型的三维检索，与基于图像的三维检索。1)基于文本的三维检索需要大量的人工标注，而人工标注通常与标注者的心态、年龄等主观因素有关，不同的人可能有不同的标注结果，导致标注结果不准确；此外，文本通常无法描述复杂的三维模型。2)基于三维模型的三维检索方式需要将三维模型作为输入，以检索出相似的三维模型。而检索者手中通常没有三维模型作为输入，因此此类方法的应用场景受到限制。3)基于图像的三维检索方式近些年来受到广泛关注。用户仅需输入一张拍摄的2d图像，即可检索出相应的3d模型，十分方便快捷，成为当前三维检索领域的研究热点。
3、研究基于2d图像的3d模型检索，其实是跨越2d和3d两个模态，所以这本质上是一种跨模态感知任务，对这一任务的研究推动了机器人跨模态感知和理解三维世界的能力，在电商平台、机器人导航、自动驾驶、ar/vr、3d打印、家装设计等领域具有广阔的应用前景和实用价值。
4、在国家战略层面，基于2d图像的3d模型检索已经成为了国家重大发展战略。在《新一代人工智能发展规
5、针对上述需求，国内外涌现出大量的针对基于2d图像的3d模型检索的研究，并催生出许多跨模态检索比赛。国内的阿里巴巴提出了单图像三维检索数据集3d-future(3dfurniture shape with texture)，并于2020年举办了基于单图像进行三维检索的国际赛事，吸引了来自国内外多个团队的参加，并取得了不错的成果。上述背景表明，基于2d图像的3d模型快速检索具有重要研究意义。
6、大多数基于2d图像的3d模型检索现有方法将2d图像和3d模型嵌入到公共特征空间中，并使用三元组损失在特征空间中进行度量学习。利用训练数据的类别信息和测试数据的视觉相似性来定义图的边，多分支图卷积网络(m gcn)。它可以在特征学习的步骤中充分考虑2d图像和3d模型之间的相关性，弥合两种不同信息检索方式之间的差距(cn202110401478.5)，但是在基于2d图像的3d模型检索任务中采用2d图像和3d模型之间的这种跨模态对比学习并非易事且具有挑战性：对比学习需要在构造的正样本对中进行非常强大的数据增强来学习特征不变性，而传统的度量学习则没有这个要求。此外，3d模型的形状和外观与2d查询图像纠缠在一起，从而使学习跨模态任务比学习单模态数据更加困难。
技术实现思路
1、本专利技术目的是提供一种基于2d图像的3d模型快速检索方法。该方法可以克服2d图像多变性、检索速度慢等问题，实现准确率高、鲁棒性强、速度快的3d模型智能检索。
2、本专利技术至少通过如下技术方案之一实现。
3、一种基于2d图像的3d模型快速检索方法，包括以下步骤：
4、1)对2d图像进行预处理，进而提取图像特征，建立2d图像离线特征库；
5、2)对待检索3d模型进行多角度渲染，得到一系列渲染图像；对渲染图像进行特征提取，建立3d模型离线特征库；
6、3)基于对比学习方法对2d图像特征和3d模型特征进行跨模态特征学习，建立鲁棒的2d图像-3d模型对应关系；
7、4)给定待检索2d图像，首先进行图像预处理及特征提取，然后由提取的2d图像特征引导3d模型渲染图像的聚合过程，将聚合得到的特征作为对应的3d模型特定于该2d图像的三维特征；最后结合乘积量化方法进行2d-3d特征匹配，输出检索结果。
8、进一步地，2d图像的文件类型为.jpg、.jpeg、.png中的任意一种；3d模型的文件类型为.stl、.obj，.ply、.lwo、.3ds、.dae、.fbx、.off中的任意一种。
9、进一步地，所述对2d图像进行预处理包括掩码预测、裁剪、图像形状增强以及图像颜色增强。
10、进一步地，所述掩码预测和裁剪，具体为：采用预训练的图像分割网络预测出二维图像中物体的轮廓，并生成对应的二维掩码图，并依据生成的掩码图，构建出图像中物体的二维边界框，依据边界框进行图像裁剪。
11、进一步地，所述图像形状增强与图像颜色增强，具体为：采用裁剪、旋转变换、缩放变换、平移变换、尺度变换方法进行图像形状增强；将其他图像颜色信息转移到目标图像上，达到颜色增强的目的。
12、进一步地，所述对待检索3d模型进行多角度渲染，具体为：在k个视角下，360°/k作为一个视角，环绕3d模型进行渲染，得到k张渲染图像。
13、进一步地，所述对渲染图像进行特征提取，具体为：采用图像特征提取网络，对每个渲染图提取特征，基于渲染图像特征建立图像离线特征库。
14、进一步地，基于对比学习方法对2d图像特征进行约束，进而对2d图像-3d模型特征进行跨模态特征约束。
15、进一步地，所述基于对比学习方法对2d图像特征进行约束，具体为：基于对比学习期望对应于同一3d模型的2d图像之间的特征距离尽可能相近，而对应于不同3d模型的2d图像之间的特征距离尽可能远离；
16、所述对2d图像-3d模型特征进行跨模态特征约束，具体为：基于对比学习期望2d图像和其对应的3d模型之间的特征距离尽可能相近，而2d图像和其非对应的3d模型之间的特征距离尽可能远离。
17、进一步地，所述2d图像特征引导3d模型渲染图像的聚合，具体为：计算2d图像与每个渲染图像之间的相似性，得到k个归一化后的相似性分数，并依据相似性将渲染图像特征进行加权聚合。
18、与现有的技术相比，本专利技术具有以下有益效果及优点：
19、1.本专利技术方法提出了一种基于2d图像的3d模型快速检索方法，准确率高、鲁棒性强、速度快。可以应用于机械制造业的3d零件智能检索等领域，为3d零件采购人员提供直观、方便的3d检索能力；同时，3d零件设计人员可以快速高效检索出相关模型以便复用，大大节省了从零开始设计的时间。
20、2.本专利技术方法对2d图像的差异性鲁棒性强，可以一定程度上克服2d图像中由视角变换，自遮挡，物体重叠等因素导致的图像差异性。
【技术保护点】
1.一种基于2D图像的3D模型快速检索方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于2D图像的3D模型快速检索方法，其特征在于，2D图像的文件类型为.JPG、.JPEG、.PNG中的任意一种；3D模型的文件类型为.STL、.OBJ，.PLY、.LWO、.3DS、.DAE、.FBX、.OFF中的任意一种。
3.根据权利要求1所述的一种基于2D图像的3D模型快速检索方法，其特征在于，所述对2D图像进行预处理包括掩码预测、裁剪、图像形状增强以及图像颜色增强。
4.根据权利要求3所述的一种基于2D图像的3D模型快速检索方法，其特征在于，所述掩码预测和裁剪，具体为：采用预训练的图像分割网络预测出二维图像中物体的轮廓，并生成对应的二维掩码图，并依据生成的掩码图，构建出图像中物体的二维边界框，依据边界框进行图像裁剪。
5.根据权利要求3所述的一种基于2D图像的3D模型快速检索方法，其特征在于，所述图像形状增强与图像颜色增强，具体为：采用裁剪、旋转变换、缩放变换、平移变换、尺度变换方法进行图像形状增强；将其他图像颜色信息转移到目
6.根据权利要求1所述的一种基于2D图像的3D模型快速检索方法，其特征在于，所述对待检索3D模型进行多角度渲染，具体为：在K个视角下，360°/K作为一个视角，环绕3D模型进行渲染，得到K张渲染图像。
7.根据权利要求1所述的一种基于2D图像的3D模型快速检索方法，其特征在于，所述对渲染图像进行特征提取，具体为：采用图像特征提取网络，对每个渲染图提取特征，基于渲染图像特征建立图像离线特征库。
8.根据权利要求1所述的一种基于2D图像的3D模型快速检索方法，其特征在于，基于对比学习方法对2D图像特征进行约束，进而对2D图像-3D模型特征进行跨模态特征约束。
9.根据权利要求1所述的一种基于2D图像的3D模型快速检索方法，其特征在于，所述基于对比学习方法对2D图像特征进行约束，具体为：基于对比学习期望对应于同一3D模型的2D图像之间的特征距离尽可能相近，而对应于不同3D模型的2D图像之间的特征距离尽可能远离；
10.根据权利要求1～9任一项所述的一种基于2D图像的3D模型快速检索方法，其特征在于，所述2D图像特征引导3D模型渲染图像的聚合，具体为：计算2D图像与每个渲染图像之间的相似性，得到K个归一化后的相似性分数，并依据相似性将渲染图像特征进行加权聚合。
...【技术特征摘要】
1.一种基于2d图像的3d模型快速检索方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于2d图像的3d模型快速检索方法，其特征在于，2d图像的文件类型为.jpg、.jpeg、.png中的任意一种；3d模型的文件类型为.stl、.obj，.ply、.lwo、.3ds、.dae、.fbx、.off中的任意一种。
3.根据权利要求1所述的一种基于2d图像的3d模型快速检索方法，其特征在于，所述对2d图像进行预处理包括掩码预测、裁剪、图像形状增强以及图像颜色增强。
4.根据权利要求3所述的一种基于2d图像的3d模型快速检索方法，其特征在于，所述掩码预测和裁剪，具体为：采用预训练的图像分割网络预测出二维图像中物体的轮廓，并生成对应的二维掩码图，并依据生成的掩码图，构建出图像中物体的二维边界框，依据边界框进行图像裁剪。
5.根据权利要求3所述的一种基于2d图像的3d模型快速检索方法，其特征在于，所述图像形状增强与图像颜色增强，具体为：采用裁剪、旋转变换、缩放变换、平移变换、尺度变换方法进行图像形状增强；将其他图像颜色信息转移到目标图像上，达到颜色增强的目的。
6.根据权利要求1所述的一种基于2d图像...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。