多模态图像获取装置及配准方法制造方法及图纸

本发明专利技术特别涉及一种多模态图像配准方法，包括如下步骤：S100、通过图像获取装置获取大豆样本的初始图像，初始图像包括RGB图像和高光谱图像；S200、对RGB图像和高光谱图像分别进行去噪得到去噪后的RGB校正图像和高光谱校正图像；S300、从高光谱校正图像中抽取三波段组成第一伪RGB图像；S400、将第一伪RGB图像和RGB校正图像进行预配准得到平移矩阵和变换矩阵；S500、利用平移矩阵和变换矩阵完成高光谱校正图像的配准。通过对RGB图像和高光谱图像的去噪处理，充分去除噪声，保证后续配准的准确度；然后利用手动对第一伪RGB图像和RGB校正图像进行配准，将配准的参数记录得到平移矩阵和变换矩阵，再利用这两个矩阵对高光谱校正图像进行配准，该配准方法操作简单、容易理解、易上手。手。手。

【技术实现步骤摘要】
多模态图像获取装置及配准方法


[0001]本专利技术涉及图像处理
，特别涉及一种多模态图像获取装置及配准方法。

技术介绍

[0002]在运输、储存过程中，大豆易破裂、霉变，对其准确检测有助于提升大豆品质与保障食品安全。高光谱成像(HSI)由于光谱信息丰富在籽粒检测中优势明显，但其空间分辨率低，难以保真获取籽粒的外部特征，限制了检测精度。针对该问题，提出融合HSI图和RGB图重构超分辨率HSI(SR
‑
HSI)图，进而用于大豆籽粒损伤的检测识别。目前，几乎所有的基于深度学习的图像融合任务中，数据集大多为公开数据集且不存在空间错位。但实际使用时，不同成像传感器之间具有差异性，例如：视场角AOV、焦距FoCal length、帧速Frame period、像面尺寸 Format这些参数都有所不同，会导致真实场景获得的多模态图像之间存在空间错位，从而导致后续图像融合效果差，分类效果不理想，使得真实多模态数据集获取难度较大，配准复杂。

技术实现思路

[0003]本专利技术的目的在于提供一种多模态图像配准方法，能够方便的对高光谱图像和RGB图像进行配准。
[0004]为实现以上目的，本专利技术采用的技术方案为：一种多模态图像配准方法，包括如下步骤：S100、通过图像获取装置获取大豆样本的初始图像，初始图像包括RGB图像和高光谱图像；S200、对RGB图像和高光谱图像分别进行去噪得到去噪后的RGB校正图像和高光谱校正图像；S300、从高光谱校正图像中抽取三波段组成第一伪RGB图像；S400、将第一伪 RGB图像和RGB校正图像进行预配准得到平移矩阵和变换矩阵；S500、利用平移矩阵和变换矩阵完成高光谱校正图像的配准。
[0005]与现有技术相比，本专利技术存在以下技术效果：通过对RGB图像和高光谱图像的去噪处理，充分去除噪声，保证后续配准的准确度；然后利用手动对第一伪RGB图像和RGB校正图像进行配准，将配准的参数记录得到平移矩阵和变换矩阵，再利用这两个矩阵对高光谱校正图像进行配准，该配准方法操作简单、容易理解、易上手。
附图说明
[0006]图1是本专利技术的配准流程图；
[0007]图2是高光谱图像和RGB图像有无配准两种情况下的互信息MI的对比图；
[0008]图3是高光谱图像和RGB图像有无配准两种情况下的结构相似指数 SSIM的对比图；
[0009]图4是图像获取装置的结构示意图。
具体实施方式
[0010]下面结合图1至图4，对本专利技术做进一步详细叙述。
[0011]参阅图1，一种多模态图像配准方法，包括如下步骤：S100、通过图像获取装置获取大豆样本的初始图像，初始图像包括RGB图像和高光谱图像；S200、对RGB图像和高光谱图像分别进行去噪得到去噪后的RGB 校正图像和高光谱校正图像；S300、从高光谱校正图像中抽取三波段组成第一伪RGB图像，我们一般是从高光谱图像中选择最接近现实颜色的三个波段，比如本实施例中选择的是180、160、34这三个序号对应的波段，即分别对应795.905nm、751.460nm、471.457nm；S400、将第一伪RGB图像和RGB校正图像进行预配准得到平移矩阵和变换矩阵；S500、利用平移矩阵和变换矩阵完成高光谱校正图像的配准。通过对RGB图像和高光谱图像的去噪处理，充分去除噪声，保证后续配准的准确度；然后利用手动对第一伪RGB图像和RGB校正图像进行配准，将配准的参数记录得到平移矩阵和变换矩阵，再利用这两个矩阵对高光谱校正图像进行配准，该配准方法操作简单、容易理解、易上手。
[0012]由于步骤S400是人工操作的，所以不同的人操作的精准度有所不同，故本专利技术中优选地，所述的步骤S500后，包括如下步骤：S600、计算配准后的高光谱校正图像和RGB校正图像之间的配准精度，若配准精度小于设定阈值，则返回步骤S400重新进行预配准；否则，配准完成。在配准完成后，我们通过计算配准精度，来判断配准效果，如果配准精度较低，我们就需要重新操作，这样才能保证最终配准结果的精确度。
[0013]参阅图4，进一步地，所述的步骤S100中，图像获取装置包括暗箱，暗箱顶部安装有高光谱成像仪1、工业相机2以及计算机3，使用支架将高光谱成像仪1和工业相机2固定放置在箱体上方，高光谱成像仪1 和工业相机2分别获取大豆样本的高光谱图像和RGB图像；暗箱内底板上设置有升降台4和置物台5，置物台5用于托撑大豆样本，升降台4 用于调节置物台5的高度；暗箱内设置有卤素灯6、调节块7以及支架 8，卤素灯6固定在调节块7上用于为大豆样本提供照明，调节块7和支架8共同作用用于调节卤素灯6的位置和角度；暗箱底部设置有轮胎 9，暗箱内部设置有蓄电池10用于为其他部件供电。
[0014]具体操作时，打开卤素灯6，样本放置在置物台5正中间，通过调整卤素灯6、支架8上的调节块7，通过计算机3获取图像软件查看光照是否均匀，调节升降台4，确保样本完全出现至高光谱成像仪1和工业相机2的镜头视野中，并且确保获取清晰的多模态图像。
[0015]打开计算机3上面的获取高光谱图像软件，打开LiveVideo选项调焦，在LiveVideo中选择合适的曝光时间，被测物前放置黑白条对焦板，调整焦距至黑白条纹边界明显。确定Exposure(曝光)值，将高光谱成像仪1镜头对准均匀光线照射的白板上，调整曝光时间，使其曲线顶峰位置在传感器最大值的60％
‑
80％之间，在Calibration标签下，采集暗电流与标准白板数据，将镜头盖盖住镜头，点击CollectDark Reference，会采集暗电流。将高光谱成像仪1镜头对准均匀光线照射的白板上，点击Collect White Reference，会采集白板。进行Calibration校正，采集样本图像，设置好仪器速度、初始位置、结束位置、点击Capture 采集高光谱图像。
[0016]打开计算机3上面的获取RGB图像软件MVS客户端，配置环境：网口相机通过MVS客户端使用前需确保PC和相机的IP地址处于同一个局域网，且PC的网口已开启巨帧，为确保相机的稳定运行，网口相机的 IP地址设置为静态IP。参数设置：主要有帧率、曝光、增益、伽马。对相机实时图像进行预览，点击抓拍，采集RGB图像。
[0017]高光谱成像仪1捕捉高光谱图像数据立方体，高光谱图像以*.BIL 格式存储，每个像素包含272个离散波长的反射光光谱，波长范围为 (398～1000)nm，工业相机2采集红(R)绿(G)蓝(B)3通道RGB图像，以*.Bmp格式存储，分辨率：3072*2048(像素)。当用户选择的是不同型号的仪器，或使用不同的软件，操作的过程或最后得到的高光谱图像和RGB图像参数会有所不同，以上具体操作过程仅供参考。
[0018]为了保证后续配准的准确性，我们需要对高光谱图像和RGB图像进行去噪处理，区分开前景和背景，具体步骤根据样本的不同以及图像种类的不同有所不同。
[0019]进一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态图像配准方法，其特征在于：包括如下步骤：S100、通过图像获取装置获取大豆样本的初始图像，初始图像包括RGB图像和高光谱图像；S200、对RGB图像和高光谱图像分别进行去噪得到去噪后的RGB校正图像和高光谱校正图像；S300、从高光谱校正图像中抽取三波段组成第一伪RGB图像；S400、将第一伪RGB图像和RGB校正图像进行预配准得到平移矩阵和变换矩阵；S500、利用平移矩阵和变换矩阵完成高光谱校正图像的配准。2.如权利要求1所述的多模态图像配准方法，其特征在于：所述的步骤S500后，包括如下步骤：S600、计算配准后的高光谱校正图像和RGB校正图像之间的配准精度，若配准精度小于设定阈值，则返回步骤S400重新进行预配准；否则，配准完成。3.如权利要求1所述的多模态图像配准方法，其特征在于：所述的步骤S200中，通过如下步骤对RGB图像进行去噪：S211、对RGB图像进行边缘检测得到第一边缘图像，具体包括：设置双阈值maxval和minval，如果像素值大于maxval则判断为强边缘，如果像素值小于minval则抛弃，如果像素值在两者之间则判断虚边缘；对于虚边缘，若该点与强边缘不相连，则抛弃，若该点与强边缘相连，则保留；S212、对第一边缘图像进行凸包处理得到二值化的第一掩膜图像，该图像中籽粒部分数值为1、背景部分数值为0；S213、将第一掩膜图像与RGB图像相乘后得到RGB校正图像。4.如权利要求1所述的多模态图像配准方法，其特征在于：所述的步骤S200中，对健康、破损的大豆样本，通过如下步骤对高光谱图像进行去噪：S221、从高光谱图像中抽取三波段组成第二伪RGB图像，并对第二伪RGB图像进行灰度化处理得到灰度图；S222、利用sobel算子对灰度图进行边缘检测得到第二边缘图像；S223、对第二边缘图像依次进行大律法ostu全局阈值划分和凸包处理得到二值化的第二掩膜图像；S224、将第二掩膜图像与高光谱图像相乘后得到高光谱校正图像。5.如权利要求1所述的多模态图像配准方法，其特征在于：所述的步骤S200中，对霉变大豆样本，通过如下步骤对高光谱图像进行去噪：S231、从高光谱图像中抽取三波段组成第二伪RGB图像，并将第二伪RGB图像从RGB颜色空间转换到HSV颜色空间；S232、对S通道依次进行大律法ostu全局阈值划分和凸包处理得到二值化的第三掩膜图像；S233、将第三掩膜图像与高光谱图像相乘后得到高光谱校正图像。6.如权利要求1所述的多...

【专利技术属性】
技术研发人员：郑玲，赵明月，翁士状，吕雯冰，黄林生，赵晋陵，张东彦，
申请(专利权)人：安徽大学，
类型：发明
国别省市：