一种基于深度学习的多模态图像配准方法技术

本发明专利技术属于图像处理领域，公开了一种基于深度学习的多模态图像配准方法，用于解决传统的图像配准方法对不同成像模式的相机拍摄的复杂多模态图像配准时误差较大的难题，本发明专利技术的图像配准方法先将图像集A中的原图像放入语义分割网络，得到分割图像集B；接着将图像集B与图像集A中对应的图像逐像素点相乘，得到图像集C；随后在图像集C中选择一张图像作为固定图像，用图像的灰度值信息计算几何变换来得到形变图像，计算形变图像和参考图像之间的相似度，通过优化算法迭代出两张图像相似度最大的最优变换T，再将变换T应用在图像集A中完成图像的配准。本发明专利技术的方法可以实现对复杂的多模态图像进行配准，具有配准精度高，实时性的特点。点。点。

【技术实现步骤摘要】
一种基于深度学习的多模态图像配准方法


[0001]本专利技术涉及一种图像配准方法，具体涉及一种基于深度学习的多模态图像配准方法。

技术介绍

[0002]不同成像模式的照相机是在普通航空照相机的基础上发展而来的。不同成像模式的拍摄是指在可见光的基础上向红外光和紫外光等多个方向扩展，并通过各种滤光片或分光器与多种感光胶片的组合，使其同时分别接收同一目标在不同窄光谱带上所辐射或反射的信息，即可得到目标的几张不同光谱带的照片。不同成像模式的成像技术结合了空间成像系统和光谱探测系统等功能,可以同时从光谱维和空间维等不同维度获取被测目标的信息,因此近年来在信息获取与处理领域备受重视。
[0003]当我们用具有不同成像模式的相机来拍摄同一目标时，我们通常将携带着不同波段光信息的一组多模态图像进行融合，将所有的光信息结合在一起，这不仅仅是二维空间信息，同时也把光谱的辐射信息等信息也包含在内，从而在较宽的谱段范围内成像，从而对目标有一个更全面的认识和理解。但由于不同成像模式的镜头在拍摄配准主体时存在一定的夹角，导致在进行图像融合时图像无法对齐，融合结果较差，于是我们采用了图像配准的技术。
[0004]图像配准是将在同一场景由不同传感器、不同角度、不同时间获取的两张图像进行对齐的过程。传统图像配准方法主要分为基于特征的图像配准方法和基于灰度的图像配准方法。上述的两种图像配准算法通常不同的途径来计算最优变换，并配合相似性度量标准来寻找全局最优解以完成图像配准。
[0005]然而在面对复杂的多模态图像时，由于不同成像模式所拍摄的照片灰度值有较大的差异，在不同波段的光所拍摄的图像不仅会凸显了不同物体，比如一些与目标毫不相关的背景物体，而且即使对同一目标来说在多模态图像中灰度值也会相差甚远，导致现有的基于灰度的图像配准算法由于多模态图像中有多余的背景灰度值信息，导致在计算图像灰度值信息时加入了与配准主体无关的背景灰度值信息，无法正确计算两张图像之间的相似度并通过优化算法计算出最优变换T从而导致无法完成使两张图像进行对齐，最终无法使图像配准的结果达到预期要求。

技术实现思路

[0006]本专利技术的目的在于克服现有技术的不足，提供一种基于深度学习的多模态图像配准方法，所述图像配准方法可以实现对复杂的多模态图像进行配准，具有高精度、实时性的特点。
[0007]本专利技术解决上述技术问题的技术方案是：
[0008]一种基于深度学习的多模态图像配准方法，包括以下步骤：
[0009](S1)、使用不同成像模式的相机对配准主体进行拍摄，并将拍摄到的一组不同模
态的图像放入图像集A中；
[0010](S2)、将图像集A作为Net神经网络的输入，得到进行语义分割后的图像集B；
[0011](S3)、将图像集B中的每张图像与图像集A中对应的图像逐像素点相乘，得到配准图像集C；
[0012](S4)、在图像集C中选择一张图像作为固定图像，将其余图像作为形变图像，使用基于灰度的图像配准算法分别通过合适的优化算法计算出每张浮动图像与固定图像对齐的最佳变换T；
[0013](S5)、将各自分别得到的最佳变换T应用到图像集A中的图像得到配准后的图像。
[0014]优选的，在步骤(S2)中，Net神经网络的构建包括以下步骤：
[0015](S2
‑
1)、使用不同成像模式的相机对配准主体拍摄不同模态的N张照片，放入图像集Input中；
[0016](S2
‑
2)、对图像集Input中的图像做手动语义分割，分割结果为生成一张分辨率与待分割的图片一致的模板图片，模板图片中与待分割图片的目标对应位置的像素值为1，模板图片中与待分割图片的背景对应位置的像素值为0，放入图像集Label中；
[0017](S2
‑
3)、构建一个用于语义分割的端对端的神经网络，初始化神经网络的权重和偏置参数，将分割前的图像集Input作为输入，将分割后的图像集作为标签，计算神经网络的输出与标签之间的损失函数值，并将损失函数值的梯度做反向传播以更新网络模型的参数，直至损失函数值小于预先设定好的数值，则停止更新网络模型参数，得到一个训练完成的神经网络Net；
[0018]优选的，在步骤(S2
‑
1)中，不同成像模式的相机与配准主体之间的连线所构成的夹角小于或等于15度。
[0019]优选的，在步骤(S2
‑
1)中，不同成像模式的相机采集的图像数量N为6000张。
[0020]优选的，在步骤(S2
‑
1)中，所述的不同成像模式可包括短波红外成像、中波红外成像、长波红外成像、光谱成像以及偏振成像等。
[0021]优选的，在步骤(S2
‑
3)中，所述神经网络采用了端对端的神经网络，其中，所述的端对端的神经网络包含下采样、上采样和跳跃连接三个步骤。
[0022]优选的，所述的端对端神经网络模型是具有U型结构的神经网络结构Unet，其中包括下采样、上采样和跳跃连接三个步骤；另外在上采样的过程中加入了SE注意力机制层；所述的Unet神经网络的下采样步骤可通过2*2的最大池化层和卷积核大小为3*3的卷积层实现，上采样步骤可通过反卷积或插值实现，跳跃连接步骤可通过复制和裁剪来实现，SE注意力机制层是通过全局平均池化、全连接层和激活函数来实现。
[0023]优选的，所述的端对端的神经网络的损失函数可为一类可用于比较图像相似程度的损失函数如为MSE损失函数或交叉熵损失函数，与之对应的网络模型参数停止更新的设定条件为MSE损失函数值小于0.0006。
[0024]优选的，在步骤(S4)中，所述的选择一张图像作为固定图像，该图像不能是由中波红外相机和偏振相机所拍摄的图像。
[0025]优选的，在步骤(S4)中，所述的基于灰度的图像配准算法的计算相似度的方法包括但不限于互信息法，还可采用最小二乘法，傅里叶法，互相关法等，优化算法包括但不限于平均误差平方和算法，还可采用平均绝对差算法、误差平方和算法、序贯相似性检测算法
等。
[0026]本专利技术与现有技术相比具有以下的有益效果：
[0027]1、本专利技术的基于深度学习的多模态图像配准方法将语义分割神经网络与基于灰度的图像配准方法相结合，通过语义分割网络对图像中的多模态图像的背景进行滤除，以便于在计算灰度值信息时能消除背景图像灰度信息带来的干扰，通过优化算法成功找到最优变换，从而完成图像配准。由于消除了背景灰度值信息的影响，使得图像配准精度更高，从而使得计算出的最优变换T误差更小，进而有利于图像配准。
[0028]2、本专利技术的基于深度学习的多模态图像配准方法在对图像集A中的原图像语义分割后，得到分割后的图像集B；需要将图像集B中的图像与图像集A中一一对应的图像逐像素点相乘，得到配准图像集C，这样可以使得配准图像集C中的图像只含有与配准主体相关的全部灰度值信息(即筛除掉多模态图片背景中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多模态图像配准方法，其特征在于，包括以下步骤：(S1)、使用不同成像模式相机对配准主体进行拍摄，并将拍摄到的一组不同模态的图像放入图像集A中；(S2)、将图像集A作为Net神经网络的输入，得到进行语义分割后的图像集B；其中，所述的Net神经网络的构建包括以下步骤：(S2
‑
1)、使用不同成像模式的相机对配准主体拍摄不同模态的N张照片，放入图像集Input中；(S2
‑
2)、对图像集Input中的图像做手动语义分割，分割结果为生成一张分辨率与待分割的图片一致的模板图片，模板图片中与待分割图片的目标对应位置的像素值为1，模板图片中与待分割图片的背景对应位置的像素值为0，放入图像集Label中；(S2
‑
3)、构建一个用于语义分割的端对端的神经网络，初始化神经网络的权重和偏置参数，将分割前的图像集Input作为输入，将分割后的图像集作为标签，计算神经网络的输出与标签之间的损失函数值，并将损失函数值的梯度做反向传播以更新网络模型的参数，直至损失函数值小于0.0006，则停止更新网络模型参数，得到一个训练完成的神经网络Net；(S3)、将图像集B中的每张图像与图像集A中对应的图像逐像素点相乘，得到配准图像集C；(S4)、在图像集C中选择一张图像作为固定图像，将其余图像作为形变图像，使用基于灰度的图像配准算法分别通过合适的优化算法计算出每张浮动图像与固定图像对齐的最佳变换T；(S5)、将各自分别得到的最佳变换T应用到图像集A中的图像得到配准后的图像。2.根据权利要求1所述的用基于深度学习的多模态图像配准方法，其特征在于，在步骤(S2)中，在步骤(S2
‑
1)中，不同成像模式的相机与配准主体之间的连线所构成的夹角小于或等于15度。3.根据权利要求1所述的基于深度学习的多模态图像配准方法...

【专利技术属性】
技术研发人员：江文隽，吴计，邸江磊，钟丽云，秦玉文，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：