一种基于视图过滤的聚合卷积三维模型分类方法技术

本发明专利技术属于计算机视觉技术领域，公开了一种基于视图过滤的聚合卷积三维模型分类方法，所述基于视图过滤的聚合卷积三维模型分类方法将所有三维模型通过视图捕获的方式，转换成三维模型多视图数据；利用二维图像分类网络，对多视图数据进行训练，投票排序，生成视图序列；提取视图序列中前k个视图的特征，对k视图特征进行拆分重组，将重塑的k视图特征输入聚合卷积，聚合多视图特征，生成一个三维模型全局形状描述符；采用全连接层和全局形状描述符进行三维模型分类。本发明专利技术操作方便，克服了三维模型分类方法对视图配置的依赖；克服了现有方法需要定向数据集中的预定义规范视点，无法处理视图缺失等问题。处理视图缺失等问题。处理视图缺失等问题。

【技术实现步骤摘要】
一种基于视图过滤的聚合卷积三维模型分类方法


[0001]本专利技术属于计算机视觉
，尤其涉及一种基于视图过滤的聚合卷积三维模型分类方法。

技术介绍

[0002]目前，三维模型识别是计算机图形学和计算机视觉的一个重要研究方向。三维模型是真实物体虚拟化表示，它通常可以用不同的格式表示，比较有代表性的如点云，体积网格和从单一视角捕捉的二维图像。近年来，随着3D采集技术(比如苹果深度相机和Kinect)的快速发展，三维模型在医疗、虚拟现实/增强现实和自动驾驶等领域被应用，推动了三维模型识别的发展。
[0003]近年来，大量的方法被提出，在三维模型识别上实现了良好的性能。按照三维形状的表示，可以将这些方法分为基于点的方法、基于体积的方法和基于多视图的方法。基于多视图的方法主要的问题是如何将多视图的特征融合成一个紧凑且可分辨的全局的三维形状描述符。基于体积的方法通常是先将点云转化成三维网格，然后从三维网格中学习三维形状的特征以实现形状分类。在基于点的方法中，每个点都用于特征学习，可以分为逐点MLP方法、基于卷积的方法、基于图的方法等经典方法。
[0004]现有的基于多视图的方法在三维形状识别方面有着最优的性能，但是仍然受到了一些限制。多视图序列可以有效地利用连续的多视图中所包含的特征信息，但更普遍的情况，如相机在正十二面体顶点上拍摄的多视图包含的三维几何信息被多视图序列所忽略，而且无法处理视图缺失问题。基于点的方法虽然使用了具有完整信息的点云作为输入，但是由于点云的非结构化和高维化等因素，严重影响了基于点的三维模型分类的进一步发展。基于体积的方法通常需要大量的计算开销，其形状识别的性能不如基于多视图的方法。综上，三维模型分类方法虽然达到了97％的准确率，但是仍然受到前置条件的诸多限制，导致三维模型分类性能不能进一步提升。
[0005]通过上述分析，现有技术存在的问题及缺陷为：现有技术中存在的依赖视图配置的同质空间、依赖于定向数据集中的预定义规范视点、无法应对视图缺失。
[0006]解决以上问题及缺陷的难度为：视图配置的同质空间需要严格的数学定义为基础条件，对于视图捕获的要求苛刻。大多数方法依赖于预定义规范视点获得的所有视图，对于其中不规范的视图无法进行识别筛选，使得不规范视图影响了三维模型的识别性能。对于多视图中代表性视图丢失，首先破坏了视图配置，导致无法识别，其次代表性视图的缺失影响识别。
[0007]解决以上问题及缺陷的意义为：三维模型多视图识别不依赖于视图配置的同质空间，极大地推动了三维模型识别在现实世界应用。克服多视图识别中预定义的规范视点及视图缺失的问题，为复杂环境中的三维模型识别提供了实验支撑。

技术实现思路

[0008]针对现有技术存在的问题，本专利技术提供了一种基于视图过滤的聚合卷积三维模型分类方法。
[0009]本专利技术是这样实现的，一种基于视图过滤的聚合卷积三维模型分类方法，所述基于视图过滤的聚合卷积三维模型分类方法包括：
[0010]将所有三维模型通过视图捕获的方式，转换成三维模型多视图数据，将结构复杂的点云转换成规格的图像数据，避免了点云数据结构复杂，难以分析的难题；
[0011]利用二维图像分类网络，对多视图数据进行训练，投票排序，生成视图序列。利用生成的视图序列，将多视图序列中前k个代表性视图筛选出来用于识别，提升三维模型的识别性能；
[0012]提取视图序列中前k个视图的特征，对k视图特征进行拆分重组，使k视图特征能够充分的进行融合。将重塑的k视图特征输入聚合卷积，聚合多视图特征。使每个视图的特征能够平等加权，避免了多视图特征融合中的信息损失。然后生成一个三维模型全局形状描述符；
[0013]采用全连接层和全局形状描述符进行三维模型分类。通过全连接层将高维度的全局形状描述符转换成低纬度的类别分数。
[0014]进一步，所述将所有三维模型通过视图捕获的方式，转换成三维模型多视图数据具体包括：将所有三维模型通过视图渲染捕获的方式，转换成三维模型多视图数据N＝20；三维模型数据集为ModelNet40，训练集和测试集中的三维模型数分别为9843和2468个。
[0015]进一步，所述利用二维图像分类网络，对多视图数据进行训练，投票排序，生成视图序列具体包括：多视图数据中的每个视图图像I
i
通过一个二维图像分类网络得到每个视图的预测标签其中l
i
∈{0，1，...，c
‑
1}，c表示分类任务中共有c个类别，比较预测标签与真实标签
[0016][0017]得到预测结果p
i
＝0表示预测错误，p
i
＝1表示预测正确，N＝20。
[0018]进一步，所述提取视图序列中前k个视图的特征，对k视图特征进行拆分重组，将重塑的k视图特征输入聚合卷积，聚合多视图特征，生成一个三维模型全局形状描述符具体包括：首先将所有三维模型的多视图预测结果定义为其中M是分类任务中所有形状的数量，基于预测结果P，进行实例级投票：
[0019][0020]所有模型的同一视点的预测结果累加，给构造一个辅助序列再对实例级投票结果进行排序：
[0021]V
′
ins.
＝ψ
ins.
(V
ins.
，A
ins.
)
[0022]其中，排序函数ψ
ins.
将V
ins.
从大到小排列，序列A
ins.
记录了排序过程中，V
ins.
中每个数字的位置变化，最终生成序列V
′
ins.
＝{i}
i∈{1，2，...，N}
，序列V
′
ins.
中的每个数字代表了一个视点的视图，生成实例级投票的视图序列。
[0023]进一步，所述采用全连接层和全局形状描述符进行三维模型分类具体包括：继续用定义的预测结果再将所有三维模型多视图的预测标签定义为对同一类别的预测结果进行实例级投票，使得同一类别中所有模型同一视点的预测结果累加；类级投票结果定义为其中其中被定义为：
[0024][0025]其中，i＝1，2，...，N，j＝0，1，...，c
‑
1，作为一个约束条件保证同一类别的预测结果累加；构造一个辅助序列其中将投票结果和辅助序列输入排序函数：
[0026]V
′
cls.
＝ψ
cls.
(V
cls.
，A
cls.
)
[0027]得到类级投票的视图序列其中表示第j类的视图序列。
[0028]本专利技术的另一目的在于提供一种多视图三维模型分类方法，所述多视图三维模型分类方法包括所述的方法，具体包括：
[0029]步骤一，将待分类的三维模型进行抓拍捕获，转换成多视图数据；
[0030]步骤二，对三维模型多视图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视图过滤的聚合卷积三维模型分类方法，其特征在于，所述基于视图过滤的聚合卷积三维模型分类方法包括：将所有三维模型通过视图捕获的方式，转换成三维模型多视图数据；利用二维图像分类网络，对多视图数据进行训练，投票排序，生成视图序列；提取视图序列中前k个视图的特征，对k视图特征进行拆分重组，将重塑的k视图特征输入聚合卷积，聚合多视图特征，生成一个三维模型全局形状描述符；采用全连接层和全局形状描述符进行三维模型分类。2.如权利要求1所述的基于视图过滤的聚合卷积三维模型分类方法，其特征在于，所述将所有三维模型通过视图捕获的方式，转换成三维模型多视图数据具体包括：将所有三维模型通过视图渲染捕获的方式，转换成三维模型多视图数据三维模型数据集为ModelNet40，训练集和测试集中的三维模型数分别为9843和2468个。3.如权利要求1所述的基于视图过滤的聚合卷积三维模型分类方法，其特征在于，所述利用二维图像分类网络，对多视图数据进行训练，投票排序，生成视图序列具体包括：多视图数据中的每个视图图像I
i
通过一个二维图像分类网络得到每个视图的预测标签其中l
i
∈{0，1，...，c
‑
1}，c表示分类任务中共有c个类别，比较预测标签与真实标签1}，c表示分类任务中共有c个类别，比较预测标签与真实标签得到预测结果表示预测错误，p
i
＝1表示预测正确，N＝20。4.如权利要求1所述的基于视图过滤的聚合卷积三维模型分类方法，其特征在于，所述提取视图序列中前k个视图的特征，对k视图特征进行拆分重组，将重塑的k视图特征输入聚合卷积，聚合多视图特征，生成一个三维模型全局形状描述符具体包括：首先将所有三维模型的多视图预测结果定义为其中M是分类任务中所有形状的数量，基于预测结果P，进行实例级投票：所有模型的同一视点的预测结果累加，给构造一个辅助序列再对实例级投票结果进行排序：V
′
ins.
＝ψ
ins.
(V
ins.
，A
ins.
)其中，排序函数ψ
ins.
将V
ins.
从大到小排列，序列A
ins.
记录了排序过程中，V
ins.
中每个数字的位置变化，最终生成序列V
′
ins.
＝{i}
i∈{1，2，...，N}
，序列V
′
ins.
中的每个数字代表了一个视点的视图，生成实例级投票的视图序列。5.如权利要求1所述的基于视图过滤的聚合卷积三维模型分类方法，其特征在于，所述采用全连接层和全局形状描述符进行三维模型分类具体包括：继续用定义的预测结果再将所有三维模型多视图的预测标签定义为对同一
类别的...

【专利技术属性】
技术研发人员：张雨禾，刘泽华，高健，郭宝，王淑睿，
申请(专利权)人：西北大学，
类型：发明
国别省市：