【技术实现步骤摘要】
所属的技术人员知道，本专利技术可以实现为系统、方法或计算机程序产品，因此，本专利技术可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本专利技术还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。尽管上面已经示出和描述了本专利技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本专利技术的限制，本领域的普通技术人员在本专利技术的范围内可以对上述实施例进行变化、修改、替换和变型。
技术介绍
1、双光谱一体机包括可见光相机和红外相机(具体可为远红外相机)，昼夜互补，还可以给出目标的温度信息，是车路协同、数字孪生系统的重要的组成部分，因此，需要将通过对可见光相机采集的可见光图像进行检测所得到的目标检测结果和通过对红外相机采集的可见光图像进行检测所得到的目标检测结果进行融合，现有的双光谱融合检测方案包括：前融合和特征融合，但前融合与特征融合，需要成对的可见光图像和红外图像作为输入，训练阶段也需要相当数量的图像对作为训练集，无法充分利用已有数据集。
技术实现思路
1、本专利技术所要解决的技术问题是针对现有技术的不足，具体提供了一种可见光图像与红外图像空间融合的目标检测方法和系统，具体如下：
2、1)第一方面，本专利技术提供一种可见光图像与红外图像空间融合的目标检测方法，具体技
3、对可见光相机和红外相机进行时间对齐后，利用可见光相机和红外相机，在同一时刻分别采集可见光图像和红外图像；
4、对红外图像进行目标检测，得到第一特征向量，并对可见光图像进行目标检测，得到第二特征向量；
5、利用可见光相机拍摄的可见光图像和红外相机拍的红外图像所满足的单应变换矩阵，将第二特征向量进行变换，得到第三特征向量；
6、将第一特征向量和第三特征向量进行合并，得到第四特征向量；
7、根据第四特征向量，得到融合后的目标列表。
8、本专利技术提供的一种可见光图像与红外图像空间融合的目标检测方法的有益效果如下：
9、利用单应变换矩阵将基于可见光图像得到的第二特征向量变换到红外图像所在空间，得到第三特征向量，然后将第一特征向量和第三特征向量进行合并，再进行处理，无需重新标注成对的可见光图像和红外图像，即可得到融合后的目标列表，融合过程更加简单快捷，效率高。
10、在上述方案的基础上，本专利技术的一种可见光图像与红外图像空间融合的目标检测方法还可以做如下改进。
11、进一步，根据第四特征向量，得到融合后的目标列表，包括：
12、利用极大值抑制算法，对第四特征向量进行处理，得到融合后的目标列表。
13、进一步，对红外图像进行目标检测和对可见光图像进行目标检测的过程包括：
14、利用训练好的第一yolo模型对红外图像进行目标检测；
15、利用训练好的第二yolo模型对可见光图像进行目标检测；
16、其中，训练好的第一yolo模型和训练好的第二yolo模型的网络结构相同。
17、进一步，可见光相机和红外相机为：双光谱一体机的可见光相机和红外相机。
18、2)第二方面，本专利技术还提供一种可见光图像与红外图像空间融合的目标检测方法，具体技术方案如下：
19、包括图像获取模块、目标检测模块、特征向量变换模块、特征向量合并模块和特征向量处理模块；
20、图像获取模块用于：对可见光相机和红外相机进行时间对齐后，利用可见光相机和红外相机，在同一时刻分别采集可见光图像和红外图像；
21、目标检测模块用于：对红外图像进行目标检测，得到第一特征向量，并对可见光图像进行目标检测，得到第二特征向量；
22、特征向量变换模块用于：利用可见光相机拍摄的可见光图像和红外相机拍的红外图像所满足的单应变换矩阵，将第二特征向量进行变换，得到第三特征向量；
23、特征向量合并模块用于：将第一特征向量和第三特征向量进行合并，得到第四特征向量；
24、特征向量处理模块用于：根据第四特征向量，得到融合后的目标列表。
25、在上述方案的基础上，本专利技术的一种可见光图像与红外图像空间融合的目标检测方法还可以做如下改进。
26、进一步，特征向量处理模块具体用于：利用极大值抑制算法，对第四特征向量进行处理，得到融合后的目标列表。
27、进一步，目标检测模块具体用于：
28、利用训练好的第一yolo模型对红外图像进行目标检测；
29、利用训练好的第二yolo模型对可见光图像进行目标检测；
30、其中，训练好的第一yolo模型和训练好的第二yolo模型的网络结构相同。
31、进一步，可见光相机和红外相机为：双光谱一体机的可见光相机和红外相机。
32、3)第三方面，本专利技术还提供一种电子设备，电子设备包括处理器，处理器与存储器耦合，存储器中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行，以使电子设备实现上述任一项可见光图像与红外图像空间融合的目标检测方法。
33、4)第四方面，本专利技术还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任一项可见光图像与红外图像空间融合的目标检测方法。
34、需要说明的是，本专利技术的第二方面至第四方面的技术方案及对应的可能的实现方式所取得的有益效果，可以参见上述对第一方面及其对应的可能的实现方式的技术效果，此处不再赘述。
本文档来自技高网...【技术保护点】
1.一种可见光图像与红外图像空间融合的目标检测方法，其特征在于，包括：
2.根据权利要求1所述的一种可见光图像与红外图像空间融合的目标检测方法，其特征在于，根据所述第四特征向量，得到融合后的目标列表，包括：
3.根据权利要求1或2所述的一种可见光图像与红外图像空间融合的目标检测方法，其特征在于，对红外图像进行目标检测和对所述可见光图像进行目标检测的过程包括：
4.根据权利要求1或2所述的一种可见光图像与红外图像空间融合的目标检测方法，其特征在于，所述可见光相机和所述红外相机为：双光谱一体机的可见光相机和所述红外相机。
5.一种可见光图像与红外图像空间融合的目标检测系统，其特征在于，包括图像获取模块、目标检测模块、特征向量变换模块、特征向量合并模块和特征向量处理模块；
6.根据权利要求5所述的一种可见光图像与红外图像空间融合的目标检测系统，其特征在于，所述特征向量处理模块具体用于：利用极大值抑制算法，对所述第四特征向量进行处理，得到所述融合后的目标列表。
7.根据权利要求5或6所述的一种可见光图像与红外图像空间
8.根据权利要求5或6所述的一种可见光图像与红外图像空间融合的目标检测系统，其特征在于，所述可见光相机和所述红外相机为：双光谱一体机的可见光相机和所述红外相机。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的一种可见光图像与红外图像空间融合的目标检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至4任一项所述的一种可见光图像与红外图像空间融合的目标检测方法。
...【技术特征摘要】
1.一种可见光图像与红外图像空间融合的目标检测方法，其特征在于，包括：
2.根据权利要求1所述的一种可见光图像与红外图像空间融合的目标检测方法，其特征在于，根据所述第四特征向量，得到融合后的目标列表，包括：
3.根据权利要求1或2所述的一种可见光图像与红外图像空间融合的目标检测方法，其特征在于，对红外图像进行目标检测和对所述可见光图像进行目标检测的过程包括：
4.根据权利要求1或2所述的一种可见光图像与红外图像空间融合的目标检测方法，其特征在于，所述可见光相机和所述红外相机为：双光谱一体机的可见光相机和所述红外相机。
5.一种可见光图像与红外图像空间融合的目标检测系统，其特征在于，包括图像获取模块、目标检测模块、特征向量变换模块、特征向量合并模块和特征向量处理模块；
6.根据权利要求5所述的一种可见光图像与红外图像空间融合的目标检测系统，其特征在于，所述...
【专利技术属性】
技术研发人员：吴柯维，何晓罡，王凤宇，延瑾瑜，朱小平，郭杨，张辉华，
申请(专利权)人：北京卓视智通科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。