【技术实现步骤摘要】
本公开涉及多自由度位姿估计，具体涉及基于区域级形状先验的类别级物体位姿估计方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
2、近年来，对于物体的多自由度(6d0f)位姿估计，研究重点都在类别级的物体6d0f(自由度)位姿估计上，不同于传统的实例级物体6dof位姿估计，类别级任务旨在通过学习一个类别中所有物体的共性特征，实现对未知物体的位姿估计。这一任务面临的主要挑战在于同一类别中不同物体实例之间存在着较大的形状差异，这就要求网络模型在捕获类别通用特性的同时，能够有效处理这些内部变化，这使得它比实例级物体6dof位姿估计更加困难。
3、在当前的类别级物体6dof位姿估计领域内，针对这一难题的解决方法仍十分有限，现有技术中，基于形状先验的方法被提出，旨在为每一类物体生成类别级的形状先验点云，并对其进行变形，从而为特定的物体实例构建出规范的三维模型。然而，由于类别级形状先验点云的静态特性，无法针对各个具体的物体实例进行灵活的调整，对类内物体形态多样化的适应能力较弱，阻碍了其在面对具有显著形状差异的物体时的泛化性能。
技术实现思路
1、本公开为了解决上述问题，提出了基于区域级形状先验的类别级物体位姿估计方法及系统，提出基于区域级形状先验自适应的类别级物体6dof位姿估计网络(category-level 6dof object pose estimation network based on patch-wise
2、根据一些实施例，本公开采用如下技术方案：
3、基于区域级形状先验的类别级物体位姿估计方法，包括：
4、获取目标物体实例的观测点云、rgb图像以及类别级的形状先验点云；
5、将观测点云、rgb图像以及类别级的形状先验点云输入至位姿估计网络模型中，输出估计的目标物体的6dof位姿；
6、其中，在所述位姿估计网络模型中，首先分别提取观测点云的实例几何特征、rgb图像的实例语义特征以及形状先验点云的先验几何特征，再将实例几何特征、实例语义特征以及先验几何特征输入至双通道区域分割模块，两个通道以并行的方式分别对每个特征的特征图进行分割后，各自通过区域级的形状先验自适应模块按照所分割的局部区域，学习形状先验点云与实例观测点云之间的结构相似性，并通过结构相似性将实例语义特征传递至先验几何特征，生成各自的局部先验语义特征，利用特征重组模块分别将两个通道的局部先验语义特征拼接为各自的全局特征图，然后将两个通道的全局特征图融合获得最终的全局先验语义特征，最后将所述全局先验语义特征输入至变形网络和匹配网络以估计目标物体的6dof位姿。
7、根据一些实施例，本公开采用如下技术方案：
8、基于区域级形状先验的类别级物体位姿估计系统，包括：
9、数据获取模块，用于获取目标物体实例的观测点云、rgb图像以及类别级的形状先验点云；
10、位姿估计模块，用于将观测点云、rgb图像以及类别级的形状先验点云输入至位姿估计网络模型中，输出估计的目标物体的6dof位姿；
11、其中，在所述位姿估计网络模型中，首先分别提取观测点云的实例几何特征、rgb图像的实例语义特征以及形状先验点云的先验几何特征，再将实例几何特征、实例语义特征以及先验几何特征输入至双通道区域分割模块，两个通道以并行的方式分别对每个特征的特征图进行分割后，各自通过区域级的形状先验自适应模块按照所分割的局部区域，学习形状先验点云与实例观测点云之间的结构相似性，并通过结构相似性将实例语义特征传递至先验几何特征，生成各自的局部先验语义特征，利用特征重组模块分别将两个通道的局部先验语义特征拼接为各自的全局特征图，然后将两个通道的全局特征图融合获得最终的全局先验语义特征，最后将所述全局先验语义特征输入至变形网络和匹配网络以估计目标物体的6dof位姿。
12、根据一些实施例，本公开采用如下技术方案：
13、一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于区域级形状先验的类别级物体位姿估计方法。
14、根据一些实施例，本公开采用如下技术方案：
15、一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的基于区域级形状先验的类别级物体位姿估计方法。
16、与现有技术相比，本公开的有益效果为：
17、本公开的基于区域级形状先验的类别级物体位姿估计方法，提出了一种位姿估计网络模型，即基于区域级形状先验自适应的类别级物体6dof位姿估计网络(category-level 6dof object pose estimation network based on patch-wise shapeprioradaptation，ppa-net)，首先，为每一类物体生成类别级的形状先验，旨在提炼类别内所有已知物体的共性特征；其次，鉴于同类别物体在整体形状上存在差异，而其局部形态却展现出较高的相似性，并提出了一种区域分割策略，通过对特征图中不同子区域独立处理，网络能够在局部区域内提取出更关键的几何特征；然后，利用形状先验点云与实例观测点云之间的结构相似性，动态地将类别级的形状先验自适应到各个特定的物体实例上；此外，为兼顾对全局特征的关注，提出使用双通道架构，旨在使区域之间产生交互作用与信息流动；最后，通过一个变形网络和匹配网络实现对目标物体的6dof位姿估计。
18、本公开的基于区域级形状先验的类别级物体位姿估计方法，鉴于同类别物体在整体形状上存在差异，而其局部形态展现出较高的相似性，本文提出一种区域分割策略，旨在使ppanet能够在局部区域内提取有效信息，从而增强网络模型对于类内物体形状变化的鲁棒性。
19、本公开的基于区域级形状先验的类别级物体位姿估计方法通过将特征图分割成多个子区域，每个子区域可以在较小的计算资源下独立地并行处理，从而降低计算复杂度，以更好地应用于实时场景；
20、本公开的基于区域级形状先验的类别级物体位姿估计方法利用类别先验点云与实例观测点云之间的几何结构相似性，将物体实例特征注入先验点云，实现先验信息的自适应调整。
21、本公开的基于区域级形状先验的类别级物体位姿估计方法提出使用双通道架构，使各个区域之间产生交互作用与信息流动，以兼顾对全局特征的关注。实验结果表明，本公开提出的ppa-net网络模型在基准数据集上的位姿估计精度优于本文档来自技高网...
【技术保护点】
1.基于区域级形状先验的类别级物体位姿估计方法，其特征在于，包括：
2.如权利要求1所述的基于区域级形状先验的类别级物体位姿估计方法，其特征在于，所述位姿估计网络模型包括特征提取模块、双通道区域分割模块、区域级的形状先验自适应模块、特征重组模块以及位姿估计模块，所述双通道区域分割模块中包括第一通道区域分割模块和第二通道区域分割模块，所述第一通道区域分割模块中包括第一区域级的形状先验自适应模块，所述第二通道区域分割模块中包括第二区域级的形状先验自适应模块。
3.如权利要求1所述的基于区域级形状先验的类别级物体位姿估计方法，其特征在于，将实例几何特征、实例语义特征以及先验几何特征输入至双通道区域分割模块的第一通道区域分割模块和第二通道区域分割模块中，在第一通道区域分割模块中，采用规则窗口式的分割方法，以不重叠的方式均匀地将三个输入特征图分别分割为四个局部区域特征图；在第二通道区域分割模块中，采用移动窗口式的分割方法，对分割后的子区域沿垂直和水平方向进行部分区域的移动，将移动后的各个子区域拼接为四个相同大小的局部区域特征图，构建新的特征图布局。
4.
5.如权利要求4所述的基于区域级形状先验的类别级物体位姿估计方法，其特征在于，两个通道中的第一区域级的形状先验自适应模块和第二区域级的形状先验自适应模块执行的形状先验自适应处理的过程是相同的。
6.如权利要求1所述的基于区域级形状先验的类别级物体位姿估计方法，其特征在于，两个通道通过形状先验自适应处理，分别获得区域级先验语义特征，将各自的区域级先验语义特征输入至特征重组模块中，特征重组模块对第一区域级的形状先验自适应模块中输出的区域级先验语义特征进行重塑、拼接以及展平操作，生成第一通道全局先验语义特征；对第二区域级的形状先验自适应模块中输出的区域级先验语义特征先进行重塑、拼接以及展平操作，再进行空间位置的移动和调整，之后拼接为第二通道全局先验语义特征，最后再将第一通道全局先验语义特征和第二通道全局先验语义特征进行融合，生成最终的全局先验语义特征。
7.如权利要求1所述的基于区域级形状先验的类别级物体位姿估计方法，其特征在于，将最终的全局先验语义特征与先验几何特征拼接，获得自适应调整后的完整先验特征，将实例语义特征和实例几何特征进行拼接，获得完整的物体实例特征，然后通过变形网络将类别级先验特征与物体实例特征相关联，重建目标物体的三维模型，再利用匹配网络在三维模型与实际观测的物体实例点云之间建立点对点的对应关系，使用基于对应关系的Umeyama算法，估计出目标物体的6DoF位姿和尺寸。
8.基于区域级形状先验的类别级物体位姿估计系统，其特征在于，包括：
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-7任一项所述的基于区域级形状先验的类别级物体位姿估计方法。
10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-7任一项所述的基于区域级形状先验的类别级物体位姿估计方法。
...【技术特征摘要】
1.基于区域级形状先验的类别级物体位姿估计方法，其特征在于，包括：
2.如权利要求1所述的基于区域级形状先验的类别级物体位姿估计方法，其特征在于，所述位姿估计网络模型包括特征提取模块、双通道区域分割模块、区域级的形状先验自适应模块、特征重组模块以及位姿估计模块，所述双通道区域分割模块中包括第一通道区域分割模块和第二通道区域分割模块，所述第一通道区域分割模块中包括第一区域级的形状先验自适应模块，所述第二通道区域分割模块中包括第二区域级的形状先验自适应模块。
3.如权利要求1所述的基于区域级形状先验的类别级物体位姿估计方法，其特征在于，将实例几何特征、实例语义特征以及先验几何特征输入至双通道区域分割模块的第一通道区域分割模块和第二通道区域分割模块中，在第一通道区域分割模块中，采用规则窗口式的分割方法，以不重叠的方式均匀地将三个输入特征图分别分割为四个局部区域特征图；在第二通道区域分割模块中，采用移动窗口式的分割方法，对分割后的子区域沿垂直和水平方向进行部分区域的移动，将移动后的各个子区域拼接为四个相同大小的局部区域特征图，构建新的特征图布局。
4.如权利要求1所述的基于区域级形状先验的类别级物体位姿估计方法，其特征在于，将经过分割处理后的两个通道的局部区域特征图，进行形状先验自适应处理，利用transformer网络以模拟类别级实例观测点云与形状先验点云之间的区域级结构相似性，将区域级实例几何特征、区域级实例语义特征以及区域级先验几何特征分别作为多头注意力模块的查询、键和值进行计算，将区域级实例几何特征和区域级先验几何特征进行关联，计算出实例观测点云与形状先验点云在投影嵌入空间内的结构相似度，将结构相似度与区域级实例语义特征相乘，不断调整，获得区域级先验语义特征。
5.如权利要求4所述的基于区域级形状先验的类别级物体位姿估计方法，其特征在于，两个通道中的第一区域级的形状先验自适应模块和第二区域级的形...
【专利技术属性】
技术研发人员：马昕，孙甲浩，荣学文，宋锐，王超群，周乐来，田新诚，李贻斌，
申请(专利权)人：山东大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。