【技术实现步骤摘要】
本专利技术涉及水稻表型图像配准的，尤其是指一种水稻表型的可见光图像-热红外图像匹配方法及系统。
技术介绍
1、精确获取水稻表型图像不仅可以提高农业生产效率，还可以有效确保粮食安全和质量。在这些任务中，无人机因其高效、精确和覆盖范围广而成为获取水稻表型数据的主要方法之一。在无人机遥感监测中，通常先将同个田块的无人机的可见光图像和热红外图像配准后，再进行图像分析得到农情信息。图像配准可以提高疾病识别和水稻常数反演的精度，同时增强图像信息，便于跟踪和监测。它具有广泛的应用前景和实用价值。然而，由于分辨率、光谱和视点的差异，以及田间水稻表型图像的复杂性，目前的配准方法往往难以成功地配准稻田可见光图像和热红外图像，急需解决。
技术实现思路
1、本专利技术的第一目的在于克服现有技术的缺点与不足，提供一种水稻表型的可见光图像-热红外图像匹配方法，可高效完成水稻可见光图像和热红外图像精确对齐，使得水稻图像能够有效完成后续图像拼接操作。
2、本专利技术的第二目的在于提供一种水稻表型的可见光图像-热红外图像匹配系统。
3、本专利技术的第一目的通过下述技术方案实现：一种水稻表型的可见光图像-热红外图像匹配方法，包括以下步骤：
4、s1、获取若干幅水稻的可见光图像及其对应的热红外图像；
5、s2、通过二值化与阈值匹配分别筛选出可见光图像的模糊区域a1和热红外图像的模糊区域a2，将两个模糊区域a1和a2置黑后相加得到区域a作为可见光图像和热红外图像的掩膜区域，
6、s3、采用互相关双流网络模型提取非掩膜区域的特征点及其对应的描述符，并根据特征点和描述符得到可见光图像和热红外图像上相匹配的特征点对，连接相匹配的特征点对，得到连接线；
7、s4、筛选出同时满足连接线长度阈值区间和连接线角度阈值区间的连接线；
8、s5、根据步骤s4得到的连接线在可见光图像上的所有特征点在图像上的位置和热红外图像上的所有特征点在图像上的位置生成单应矩阵，根据可见光图像和热红外图像的特征点通过单应矩阵后映射到可见光图像上的拟合点生成残差来筛选可见光图像接近正确位置的特征点，其中残差越大的拟合点最有可能是接近正确位置的点，此时，将可见光图像上的特征点与热红外图像上相对应的特征点相连，得到的连接线即为最终的匹配结果。
9、进一步，所述步骤s1包括以下步骤：
10、s101、在无人机地面站上，设定指定水稻田作为航拍区域，设定无人机航拍的航向重叠率和旁向重叠率，所述无人机地面站根据作业信息自动生成航线；
11、s102、所述无人机根据规划航线自主飞行，根据设定的重叠率自动采集水稻的可见光图像和热红外图像；
12、s103、所述无人机将采集到的水稻的可见光图像和热红外图像遥感数据实时上传至云台sd卡存储芯片；其中，可见光图像及其对应的热红外图像是成对上传的。
13、进一步，所述骤s2包括以下步骤：
14、s201、可见光图像和热红外图像的预处理，包括以下步骤：
15、s2011、将可见光图像和热红外图像的格式转换为灰度，可见光图像的垂直分辨率被调整为与热红外图像相同，水平分辨率根据原始图像比例进行调整；
16、s2012、采用对比度增强对调整比例后的可见光图像和热红外图像进行处理，使得可见光图像和热红外图像产生更清晰的轮廓和边缘，从而更方便检测和定位关键点；其中，对比度增强方法如下：
17、；
18、式中，input表示输入的可见光图像或是热红外图像，output表示输出的增强后的可见光图像或是热红外图像，和分别表示输入图像的最小和最大像素值，minmaxscale是用于控制对比度调整程度的缩放因子；
19、s202、将预处理后的可见光图像和热红外图像进行二值化和阈值匹配，二值化将大于设定值h的像素点置为256，将小于或等于设定值h 的像素点置为0，基于滑动窗口统计每个二值化后区域的像素平均值，每个区域的像素尺寸，长和宽都为10，移动步长为2个像素，设置区域轮廓阈值m，与区域轮廓平均值进行对比，将小于区域轮廓阈值m的区域作为模糊区域，将可见光图像的模糊区域a1和热红外图像的模糊区域a1置黑后相加，得到区域a，a即为可见光图像和热红外图像的掩膜区域，可见光图像和热红外图像未置黑区域为非掩膜区域；其中，可见光图像和热红外图像的掩膜区域和非掩膜区域大小一样。
20、进一步，在步骤s3，所述互相关双流网络模型包括两个对称的分支，每个分支包含9个网络层，分别有3个卷积层、3个修正线性单元relu函数、2个最大池化层和1个平均池化层；其中，第1个网络层为卷积层，采用长度为3、宽度为3、步长为2的卷积核，该网络层的输入是3×w×h的图像数据，输出是c1×w/2×h/2的特征数据，c1是卷积核通道数，w是图像宽度，h是图像高度；第2个网络层是修正线性单元relu函数；第3个网络层是步长为2的最大池化层，该网络层的输入是c1×w/2×h/2的特征数据，输出是c1×w/4×h/4的特征图c1；第4个网络层为卷积层，采用长度为3、宽度为3、步长为2的卷积核，该网络层的输入是c1×w/4×h/4的特征图c1，输出是c2×w/8×h/8的特征数据，c2是卷积核通道数；第5个网络层是修正线性单元relu函数；第6个网络层是步长为2的最大池化层，该网络层的输入是特征图c1，输出是c2×w/8×h/8的特征图c2；第7个网络层为卷积层，采用长度为3、宽度为3、步长为2的卷积核，该网络层的输入是c2×w/8×h/8的特征图c2，输出是c3×w/16×h/16的特征数据，c3是卷积核通道数；第8个网络层是修正线性单元relu函数；第9个网络层是步长为2的平均池化层，该网络层的输入是特征图c2，输出是c3×w/16×h/16的特征图c3；为获取可见光图像的特征与热红外图像的特征之间的相关信息，将可见光图像和热红外图像通过各自分支得到的特征图c3压缩为1×（2×c3×w/16×h/16）的一维数据，基于一维数据互相关性进行加权求和，进而转化为2×(w/16×h/16)的特征点和c3×(w/16×h/16)的描述符；其中，所述互相关双流网络模型的两端输入分别为尺寸相同和范围相同的可见光图像和热红外图像，可见光图像和热红外图像通过互相关双流网络模型后获得各自非掩膜区域的特征点及其对应的描述符。
21、进一步，在步骤s3，根据获得的特征点和描述符使用最近邻搜索算法，搜索出可见光图像和热红外图像上相匹配的特征点对，其中具有相似描述符的特征点即为相匹配的特征点对，所述描述符描述了特征点的特征向量，描述符的相似性用余弦相似度衡量，两个特征点的特征向量之间的夹角，其余弦相似度值越接近1，表示该两个特征点的描述符越相似；匹配时，首先在热红外图像的所有特征点中随机选出一个特征点作为基准特征点，然后在可见光图像的所有特征点中找到与该基准特征点相匹配的目标特征点本文档来自技高网...
【技术保护点】
1.一种水稻表型的可见光图像-热红外图像匹配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种水稻表型的可见光图像-热红外图像匹配方法，其特征在于，所述步骤S1包括以下步骤：
3.根据权利要求1所述的一种水稻表型的可见光图像-热红外图像匹配方法，其特征在于，所述骤S2包括以下步骤：
4.根据权利要求1所述的一种水稻表型的可见光图像-热红外图像匹配方法，其特征在于，在步骤S3，所述互相关双流网络模型包括两个对称的分支，每个分支包含9个网络层，分别有3个卷积层、3个修正线性单元ReLU函数、2个最大池化层和1个平均池化层；其中，第1个网络层为卷积层，采用长度为3、宽度为3、步长为2的卷积核，该网络层的输入是3×w×h的图像数据，输出是c1×w/2×h/2的特征数据，c1是卷积核通道数，w是图像宽度，h是图像高度；第2个网络层是修正线性单元ReLU函数；第3个网络层是步长为2的最大池化层，该网络层的输入是c1×w/2×h/2的特征数据，输出是c1×w/4×h/4的特征图C1；第4个网络层为卷积层，采用长度为3、宽度为3、步长为2的卷积核，
5.根据权利要求1所述的一种水稻表型的可见光图像-热红外图像匹配方法，其特征在于，在步骤S3，根据获得的特征点和描述符使用最近邻搜索算法，搜索出可见光图像和热红外图像上相匹配的特征点对，其中具有相似描述符的特征点即为相匹配的特征点对，所述描述符描述了特征点的特征向量，描述符的相似性用余弦相似度衡量，两个特征点的特征向量之间的夹角，其余弦相似度值越接近1，表示该两个特征点的描述符越相似；匹配时，首先在热红外图像的所有特征点中随机选出一个特征点作为基准特征点，然后在可见光图像的所有特征点中找到与该基准特征点相匹配的目标特征点以及距离该目标特征点最近的一个特征点作为目标邻近特征点，匹配方式用距离来衡量，将基准特征点与目标特征点的距离称为第一距离，将基准特征点与目标邻近特征点的距离称为第二距离，遍历可见光图像和热红外图像上相匹配的所有特征点对，计算所有相匹配的特征点对的第一距离平均值avg1和第二距离平均值avg2，得到差值avg=avg1-avg2；再对所有相匹配的特征点对进行筛选，每对特征点对的筛选条件为：第一距离＜（第二距离-avg），若满足第一距离＜（第二距离-avg）的条件，则保留相应的特征点对，筛选完毕后，连接保留下来的所有相匹配的特征点对，得到连接线。
6.根据权利要求1所述的一种水稻表型的可见光图像-热红外图像匹配方法，其特征在于，在步骤S4，计算所有连接线的长度与角度，为连接线的长度与角度设置阈值区间，筛选出同时满足连接线长度阈值区间和连接线角度阈值区间的连接线；其中，定义L为最长连接线长度减去最短连接线长度，长度阈值区间为所有连接线中最小连接线长度加上1/3L到所有连接线中最长连接线长度减去1/3L，定义D为所有连接线与水平线所成锐角的角度绝对值最大值减去所有连接线与水平线所成锐角的角度绝对值最小值，角度阈值区间为所有连接线中最小角度加上1/3D到所有连接线中最大角度减去1/3D。
7.根据权利要求1所述的一种水稻表型的可见光图像-热红外图像匹配方法，其特征在于，所述步骤S5包括以下步骤：
8.一种水稻表型的可见光图像-热红外图像匹配系统，其特征在于，用于实现权利要求1至7中任一项所述的水稻表型的可见光图像-热红外图像匹配方法，其包括：
...【技术特征摘要】
1.一种水稻表型的可见光图像-热红外图像匹配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种水稻表型的可见光图像-热红外图像匹配方法，其特征在于，所述步骤s1包括以下步骤：
3.根据权利要求1所述的一种水稻表型的可见光图像-热红外图像匹配方法，其特征在于，所述骤s2包括以下步骤：
4.根据权利要求1所述的一种水稻表型的可见光图像-热红外图像匹配方法，其特征在于，在步骤s3，所述互相关双流网络模型包括两个对称的分支，每个分支包含9个网络层，分别有3个卷积层、3个修正线性单元relu函数、2个最大池化层和1个平均池化层；其中，第1个网络层为卷积层，采用长度为3、宽度为3、步长为2的卷积核，该网络层的输入是3×w×h的图像数据，输出是c1×w/2×h/2的特征数据，c1是卷积核通道数，w是图像宽度，h是图像高度；第2个网络层是修正线性单元relu函数；第3个网络层是步长为2的最大池化层，该网络层的输入是c1×w/2×h/2的特征数据，输出是c1×w/4×h/4的特征图c1；第4个网络层为卷积层，采用长度为3、宽度为3、步长为2的卷积核，该网络层的输入是c1×w/4×h/4的特征图c1，输出是c2×w/8×h/8的特征数据，c2是卷积核通道数；第5个网络层是修正线性单元relu函数；第6个网络层是步长为2的最大池化层，该网络层的输入是特征图c1，输出是c2×w/8×h/8的特征图c2；第7个网络层为卷积层，采用长度为3、宽度为3、步长为2的卷积核，该网络层的输入是c2×w/8×h/8的特征图c2，输出是c3×w/16×h/16的特征数据，c3是卷积核通道数；第8个网络层是修正线性单元relu函数；第9个网络层是步长为2的平均池化层，该网络层的输入是特征图c2，输出是c3×w/16×h/16的特征图c3；为获取可见光图像的特征与热红外图像的特征之间的相关信息，将可见光图像和热红外图像通过各自分支得到的特征图c3压缩为1×（2×c3×w/16×h/16）的一维数据，基于一维数据互相关性进行加权求和，进而转化为2×(w/16×h/16)的特征点和c3×(w/16×h/16)的描述符；其中，所述互相关双流网络模型的两端输入分别为尺寸相同和范围相同的可见光图像和热红外图像，可见光图像和热红外图像通过互相关双流网络模...
【专利技术属性】
技术研发人员：徐嘉俊，唐宇，黄华盛，周子滨，张鹏，
申请(专利权)人：广东技术师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。