基于深度相位相关的异构三维观测配准方法、介质及设备技术

本发明专利技术公开了一种基于深度相位相关的异构三维观测配准方法、介质及设备。本发明专利技术将相位相关算法优化为全局收敛的可微分相位相关求解器，并将其与简单的特征提取网络相结合，从而构建了一个整体框架可微分且能够端到端训练的异构三维观测配准方法。本发明专利技术针对三维的物体、场景测量以及医疗图像数据均可以实现准确的三维观测配准，而且其配准表现高于现有基线模型。基线模型。基线模型。

【技术实现步骤摘要】
基于深度相位相关的异构三维观测配准方法、介质及设备


[0001]本专利技术属于计算机视觉以及深度学习领域，具体涉及一种本专利技术属于计算机视觉以及深度学习领域，具体涉及一种基于深度相位相关的异构三维观测配准方法、介质及设备。

技术介绍

[0002]异构观测配准是一种在视觉和机器人技术中至关重要的技术，其用于对存在角度、比例、视角等差异的两个观测对象进行配准。而且这种观测可以是图像、点云、网格模型等等。
[0003]在现有技术中，申请号为CN202110540496.1的专利技术专利公开了一种基于神经网络的异构图像位姿估计及配准方法、装置及介质。该方案将相位相关算法优化为为可微分，并将其嵌入到端到端学习网络框架中，构建了一种基于神经网络的异构图像位姿估计方法。该方法能够针对图像匹配的结果找到最优的特征提取器，从而准确实现异构图片的准确位姿估计和配准。但是该配准方法仅限用于二维图像中，无法实现三维观测对象的配准。
[0004]而对于三维观测的配准而言，特别是对同构和异构观测的无初值位姿配准任务，其自由度最高可达7个，远远高于二维图像的配准任务。虽然基于学习的方法证明了使用可微分求解器的较好前景，但它们要么依赖于启发式定义的对应关系，要么容易出现局部最优。因此，针对三维观测的配准，设计一套可以端到端训练的位姿配准方法，用以完成针对异构传感器的匹配，是现有技术中亟待解决的技术问题。

技术实现思路

[0005]本专利技术的目的在于解决现有技术中三维观测难以配准的问题，并提供一种基于深度相位相关的异构三维观测配准方法。
[0006]本专利技术所采用的具体技术方案如下：
[0007]第一方面，本专利技术提供了一种基于深度相位相关的异构三维观测配准方法，用于对三维且异构的第一目标观测和源观测进行配准，其包括：
[0008]S1、以预先经过训练的第一3D U
‑
Net网络和第二3D U
‑
Net网络作为两个特征提取器，分别以异构的第一目标观测和源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第一3D特征图和第二3D特征图；
[0009]S2、将S1中得到的第一3D特征图和第二3D特征图分别进行傅里叶变换后取各自的3D幅度谱；
[0010]S3、将S2中得到的两个3D幅度谱分别进行球坐标变换，使其从笛卡尔坐标系转换到球坐标系中成为球型表征；再将得到的两个球型表征分别沿其内半径由里向外进行积分，将每个球型表征中的所有表征信息映射到球面，从而得到两个球面表征；
[0011]S4：将S3中得到的两个球面表征进行相位相关求解，得到二者之间的旋转变换关系；
[0012]S5：将所述第一目标观测按照S4中得到的旋转变换关系进行旋转，从而得到与源观测之间仅保留平移变换和缩放变换的第二目标观测；
[0013]S6：以预先经过训练的第三3D U
‑
Net网络和第四3D U
‑
Net网络作为两个特征提取器，分别以S5中得到的第二目标观测和所述源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第三3D特征图和第四3D特征图；
[0014]S7：将S6中得到的S6中分别进行傅里叶变换后取各自的3D幅度谱；
[0015]S8：将S7得到的两个3D幅度谱各自沿Z轴累加，使得两个3D幅度谱分别被压缩成2D幅度谱；
[0016]S9：将S8得到的两个2D幅度谱进行对数极坐标变换，将二者从笛卡尔坐标系转换到对数极坐标系中，从而使两个2D幅度谱之间笛卡尔坐标系下的缩放变换被映射成对数极坐标系中x方向上的平移变换；
[0017]S10：将S9中两个坐标变换后的2D幅度谱进行相位相关求解，得到二者之间对数极坐标系下的平移变换关系，再按照S9中笛卡尔坐标系和对数极坐标系之间的映射关系重新转换，将对数极坐标系下的平移变换关系重新映射成笛卡尔坐标系下的缩放变换关系；
[0018]S11：将第一目标观测同时按照S4和S10中得到的旋转变换关系和缩放变换关系进行变换，进而得到与源观测之间仅保留平移变换的第三目标观测；
[0019]S12：以预先经过训练的第五3D U
‑
Net网络和第六3D U
‑
Net网络作为两个特征提取器，分别以S11中得到的第三目标观测和所述源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第五3D特征图和第六3D特征图；
[0020]S13：将S12得到的第五3D特征图和第六3D特征图进行相位相关求解，得到二者之间x方向上的平移变换关系；
[0021]S14：以预先经过训练的第七3D U
‑
Net网络和第八3D U
‑
Net网络作为两个特征提取器，分别以S11中得到的第三目标观测和所述源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第七3D特征图和第八3D特征图；
[0022]S15：将S14得到的第七3D特征图和第八3D特征图进行相位相关求解，得到二者之间y方向上的平移变换关系；
[0023]S16：以预先经过训练的第九3D U
‑
Net网络和第十3D U
‑
Net网络作为两个特征提取器，分别以S11中得到的第三目标观测和所述源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第九3D特征图和第十3D特征图；
[0024]S17：将S16得到的第七3D特征图和第八3D特征图进行相位相关求解，得到二者之间z方向上的平移变换关系；
[0025]S18、将第一目标观测同时按照S4得到的旋转变换关系、S10中得到的缩放变换关系以及S13、S15和S17中共同得到的平移变换关系进行变换，进而将第一目标观测配准至源观测。
[0026]作为上述第一方面的优选，所述配准方法中采用的10个3D U
‑
Net网络预先进行训练，训练的总损失函数为所述第一目标观测和源观测之间的旋转变换关系损失、缩放变换关系损失、x方向上的平移变换关系损失、y方向上的平移变换关系损失和z方向上的平移变换关系损失的加权和。
[0027]作为上述第一方面的优选，所述总损失函数中的五种损失的加权权值均为1。
[0028]作为上述第一方面的优选，所述总损失函数中的五种损失均采用L1损失。
[0029]作为上述第一方面的优选，所述配准方法中采用的10个3D U
‑
Net网络相互独立。
[0030]作为上述第一方面的优选，所述第一目标观测和源观测的观测类型为三维医学影像数据、三维场景测量数据或三维物体数据。
[0031]作为上述第一方面的优选，所述旋转变换关系包含三个自由度，分别为zyz欧拉角的三个旋转角度。
[0032]作为上述第一方面的优选，所述S13、S15和S17中，均通过相位相关求解同时得到xyz三个维度的平移变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度相位相关的异构三维观测配准方法，用于对三维且异构的第一目标观测和源观测进行配准，其特征在于，包括：S1、以预先经过训练的第一3D U
‑
Net网络和第二3D U
‑
Net网络作为两个特征提取器，分别以异构的第一目标观测和源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第一3D特征图和第二3D特征图；S2、将S1中得到的第一3D特征图和第二3D特征图分别进行傅里叶变换后取各自的3D幅度谱；S3、将S2中得到的两个3D幅度谱分别进行球坐标变换，使其从笛卡尔坐标系转换到球坐标系中成为球型表征；再将得到的两个球型表征分别沿其内半径由里向外进行积分，将每个球型表征中的所有表征信息映射到球面，从而得到两个球面表征；S4：将S3中得到的两个球面表征进行相位相关求解，得到二者之间的旋转变换关系；S5：将所述第一目标观测按照S4中得到的旋转变换关系进行旋转，从而得到与源观测之间仅保留平移变换和缩放变换的第二目标观测；S6：以预先经过训练的第三3D U
‑
Net网络和第四3D U
‑
Net网络作为两个特征提取器，分别以S5中得到的第二目标观测和所述源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第三3D特征图和第四3D特征图；S7：将S6中得到的S6中分别进行傅里叶变换后取各自的3D幅度谱；S8：将S7得到的两个3D幅度谱各自沿Z轴累加，使得两个3D幅度谱分别被压缩成2D幅度谱；S9：将S8得到的两个2D幅度谱进行对数极坐标变换，将二者从笛卡尔坐标系转换到对数极坐标系中，从而使两个2D幅度谱之间笛卡尔坐标系下的缩放变换被映射成对数极坐标系中x方向上的平移变换；S10：将S9中两个坐标变换后的2D幅度谱进行相位相关求解，得到二者之间对数极坐标系下的平移变换关系，再按照S9中笛卡尔坐标系和对数极坐标系之间的映射关系重新转换，将对数极坐标系下的平移变换关系重新映射成笛卡尔坐标系下的缩放变换关系；S11：将第一目标观测同时按照S4和S10中得到的旋转变换关系和缩放变换关系进行变换，进而得到与源观测之间仅保留平移变换的第三目标观测；S12：以预先经过训练的第五3D U
‑
Net网络和第六3D U
‑
Net网络作为两个特征提取器，分别以S11中得到的第三目标观测和所述源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第五3D特征图和第六3D特征图；S13：将S12得到的第五3D特征图和第六3D特征图进行相位相关求解，得到二者之间x方向上的平移变换关系；S14：以预先经过训练的第七3D U
‑

【专利技术属性】
技术研发人员：王越，陈泽希，杜浩哲，张浩东，熊蓉，
申请(专利权)人：浙江大学，
类型：发明
国别省市：