一种多尺度跨模态相似性引导的弱监督人群计数系统及方法技术方案

技术编号：41665464 阅读：3 留言：0更新日期：2024-06-14 15:24

本发明专利技术公开一种多尺度跨模态相似性引导的弱监督人群计数系统及方法，涉及计算机视觉技术领域，包括以下步骤：获取待计数场景可见光图像和热红外图像；将可见光图像和热红外图像输入至多尺度跨模态相似性引导的弱监督人群计数系统，得到人群数量估计结果；其中多尺度跨模态相似性引导的弱监督人群计数系统包括依次相连的模态特异特征提取模块、多尺度上下文特征融合模块和人群计数预测模块以及参数优化模块。本发明专利技术能够有效解决人群外观尺度剧烈变化带来的计数误差偏大以及采用全监督方式进行参数优化所需大量精细标注信息要求问题，从而使得跨模态人群计数结果更为准确、方法更易实施应用。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及计算机视觉，尤其一种多尺度跨模态相似性引导的弱监督人群计数系统及方法。

技术介绍

1、人群计数研究作为智能监控系统的核心场景理解算法之一，近年来受到广泛的关注和研究。随着传感器技术的快速发展和在真实智能监控理解系统的大量应用，研究者提出采用深度传感器、热红外传感器等成像原理与可见光相机不同的其他传感器中获取场景信息，并形成用于人群计数任务的可见光-深度跨模态场景数据或可见光-热红外数据，也就是可见光-深度跨模态人群计数或可见光-热红外跨模态人群计数。虽然在可见光图像基础上引入热红外数据可以有效丰富场景源信息并提升对光线变化的鲁棒性，但人群计数中存在的人群外观尺度变化问题，直接影响了跨模态互补特征的提取和融合过程对于人群外观尺度变化问题，现有跨模态人群计数方法主要利用多个大尺寸方形卷积层提取多尺度人群特征，但使用大尺寸方形卷积层会带来更多不必要的参数并造成特征冗余。同时，现有跨模态人群计数任务主要采用像素级全监督框架，这一框架使得模型优化过程需要精细的基于像素级的点状标注或框型标注，极大增加方法对精细标注信息的需求进而使得方法实现过程耗时耗力。

技术实现思路

1、本专利技术需要解决的技术问题是提供一种多尺度跨模态相似性引导的弱监督人群计数系统及方法，能够有效解决已有方法应对人群外观尺度变换问题使用多个大尺寸方形卷积层提取多尺度特征过程引起的特征冗余和参数增加问题，并且较好避免因采用全监督过程要求精细标注过程的缺陷，从而使得跨模态人群计数更为准确和方法更易实施。

<p>2、为解决上述技术问题，本专利技术所采用的技术方案是：一种多尺度跨模态相似性引导的弱监督人群计数系统，包括依次相连的模态特异特征提取模块、多尺度上下文特征融合模块、人群计数预测模块和参数优化模块，其中模态特异特征提取模块包含可见光模态特异特征编码器和热红外模态特异特征编码器，参数优化模块包括模态相似监督单元和人群数量监督项。

3、本专利技术技术方案的进一步改进在于：模态特异特征提取模块的可见光模态特异特征编码器和热红外模态特异特征编码器结构相同，从输入至输出方向依次为2个卷积层、1个最大池化层、2个卷积层、1个最大池化层、4个卷积层、1个最大池化层、4个卷积层、1个最大池化层和4个卷积层，各卷积层卷积核尺寸均为3×3且所生成特征图通道数按从输入到输出方向依次为64、64、128、128、256、256、256、256、512、512、512、512、512、512、512和512，最大池化层的步长均为2。

4、本专利技术技术方案的进一步改进在于：多尺度上下文特征融合模块包括相连的第一可见光双分支对称卷积单元和第一可见光掩膜计算单元，相连的第一热红外双分支对称卷积单元和第一热红外掩膜计算单元，第一可见光双分支对称卷积单元和第一热红外掩膜计算单元上连接有第一空间注意力增强单元；

5、相连的第二可见光双分支对称卷积单元和第二可见光掩膜计算单元，相连的第二热红外双分支对称卷积单元和第二热红外掩膜计算单元，第二可见光双分支对称卷积单元和第二热红外掩膜计算单元上连接有第二空间注意力增强单元；

6、相连的第三可见光双分支对称卷积单元和第三可见光掩膜计算单元，相连的第三热红外双分支对称卷积单元和第三热红外掩膜计算单元，第三可见光双分支对称卷积单元和第三热红外掩膜计算单元上连接有第三空间注意力增强单元，和6个相乘操作、3个相加操作、1个通道链接操作。

7、本专利技术技术方案的进一步改进在于：多尺度上下文特征融合模块具体结构为：第一可见光双分支对称卷积单元包含并联的第一处理分支和第二处理分支以及1个相加操作，第一分支依次为1个卷积核尺寸为5×1的卷积层和1个卷积核尺寸为1×5的卷积层，第二分支依次为1个卷积核尺寸为1×5的卷积层和1个卷积核尺寸为5×1的卷积层，各卷积层所生成特征图通道数均为512，相加操作用于将第一和第二处理分支生成的特征图进行对应像素相加；

8、第二可见光双分支对称卷积单元包含并联的第一处理分支和第二处理分支以及1个相加操作，第一分支依次为1个卷积核尺寸为7×1的卷积层和1个卷积核尺寸为1×7的卷积层，第二分支依次为1个卷积核尺寸为1×7的卷积层和1个卷积核尺寸为7×1的卷积层，各卷积层所生成特征图通道数均为512，相加操作用于将第一和第二处理分支生成的特征图进行对应像素相加；

9、第三可见光双分支对称卷积单元包含并联的第一处理分支和第二处理分支以及1个相加操作，第一分支依次为1个卷积核尺寸为9×1的卷积层和1个卷积核尺寸为1×9的卷积层，第二分支依次为1个卷积核尺寸为1×9的卷积层和1个卷积核尺寸为9×1的卷积层，各卷积层所生成特征图通道数均为512，相加操作用于将第一和第二处理分支生成的特征图进行对应像素相加；

10、第一热红外双分支对称卷积单元结构与第一可见光双分支对称卷积单元结构相同；

11、第二热红外双分支对称卷积单元结构与第二可见光双分支对称卷积单元结构相同；

12、第三热红外双分支对称卷积单元结构与第三可见光双分支对称卷积单元结构相同；

13、第一可见光掩膜计算单元、第二可见光掩膜计算单元、第三可见光掩膜计算单元、第一热红外掩膜计算单元、第二热红外掩膜计算单元、第三热红外掩膜计算单元结构相同，均依次为1个卷积核尺寸为1×1的卷积层和1个sigmoid函数操作，其中卷积层所生成特征图通道数均为512；

14、第一空间注意力增强单元依次为并联的全局平均池化层和全局最大池化层以及1个卷积核尺寸为5×5的卷积层、1个sigmoid函数操作、1个相乘操作，其中卷积层所生成特征图通道数均为1；

15、第二空间注意力增强单元依次为并联的全局平均池化层和全局最大池化层以及1个卷积核尺寸为7×7的卷积层、1个sigmoid函数操作、1个相乘操作，其中卷积层所生成特征图通道数均为1；

16、第三空间注意力增强单元依次为并联的全局平均池化层和全局最大池化层以及1个卷积核尺寸为9×9的卷积层、1个sigmoid函数操作、1个相乘操作，其中卷积层所生成特征图通道数均为1。

17、本专利技术技术方案的进一步改进在于：人群计数预测模块依次包含1个卷积核尺寸为3×3且输出通道数为256的卷积层、1个relu激活函数、1个卷积核尺寸为3×3且输出通道数为128的卷积层、1个relu激活函数、1个卷积核尺寸为1×1且输出通道数为1的卷积层、1个特征图像素相加求和操作，其中特征图像素相加求和操作是指对特征图像素进行求和进而生成人群数量的操作；

18、参数优化模块包括模态相似监督单元和人群数量监督项，具体结构为：

19、模态相似监督单元包括模态相似解码器和模态相似监督项，模态相似解码器依次包含1个卷积核尺寸为3×3且输出通道数为256的卷积层、1个relu激活函数、1个卷积核尺寸为3×3且输出通道数为128的卷积层、1个relu激活函数、1个卷积核尺寸为1×1且输出通道数为1的卷积本文档来自技高网...

【技术保护点】

1.一种多尺度跨模态相似性引导的弱监督人群计数系统，其特征在于：包括依次相连的模态特异特征提取模块、多尺度上下文特征融合模块、人群计数预测模块和参数优化模块，其中模态特异特征提取模块包含可见光模态特异特征编码器和热红外模态特异特征编码器，参数优化模块包括模态相似监督单元和人群数量监督项。

2.根据权利要求1所述的一种多尺度跨模态相似性引导的弱监督人群计数系统，其特征在于：模态特异特征提取模块的可见光模态特异特征编码器和热红外模态特异特征编码器结构相同，从输入至输出方向依次为2个卷积层、1个最大池化层、2个卷积层、1个最大池化层、4个卷积层、1个最大池化层、4个卷积层、1个最大池化层和4个卷积层，各卷积层卷积核尺寸均为3×3且所生成特征图通道数按从输入到输出方向依次为64、64、128、128、256、256、256、256、512、512、512、512、512、512、512和512，最大池化层的步长均为2。

3.根据权利要求1所述的一种多尺度跨模态相似性引导的弱监督人群计数系统，其特征在于：多尺度上下文特征融合模块包括相连的第一可见光双分支对称卷积单元

4.根据权利要求3所述的一种多尺度跨模态相似性引导的弱监督人群计数系统，其特征在于：多尺度上下文特征融合模块具体结构为：第一可见光双分支对称卷积单元包含并联的第一处理分支和第二处理分支以及1个相加操作，第一分支依次为1个卷积核尺寸为5×1的卷积层和1个卷积核尺寸为1×5的卷积层，第二分支依次为1个卷积核尺寸为1×5的卷积层和1个卷积核尺寸为5×1的卷积层，各卷积层所生成特征图通道数均为512，相加操作用于将第一和第二处理分支生成的特征图进行对应像素相加；

5.根据权利要求1所述的一种多尺度跨模态相似性引导的弱监督人群计数系统，其特征在于：人群计数预测模块依次包含1个卷积核尺寸为3×3且输出通道数为256的卷积层、1个ReLU激活函数、1个卷积核尺寸为3×3且输出通道数为128的卷积层、1个ReLU激活函数、1个卷积核尺寸为1×1且输出通道数为1的卷积层、1个特征图像素相加求和操作，其中特征图像素相加求和操作是指对特征图像素进行求和进而生成人群数量的操作；

6.一种多尺度跨模态相似性引导的弱监督人群计数方法，应用于如权利要求1-5任一项权利要求所述的计数系统，其特征在于，具体步骤如下：

7.根据权利要求6所述的一种多尺度跨模态相似性引导的弱监督人群计数方法，其特征在于：步骤2具体如下：

8.根据权利要求7所述的一种多尺度跨模态相似性引导的弱监督人群计数方法，其特征在于：步骤2.7所述的将第一尺度可见光特征图和第一尺度热红外掩膜特征图输入第一空间注意力增强单元进行空间注意力计算，得到第一尺度跨模态融合特征图，具体过程如下：

9.根据权利要求6所述的一种多尺度跨模态相似性引导的弱监督人群计数方法，其特征在于：步骤4具体如下：

...

【技术特征摘要】

3.根据权利要求1所述的一种多尺度跨模态相似性引导的弱监督人群计数系统，其特征在于：多尺度上下文特征融合模块包括相连的第一可见光双分支对称卷积单元和第一可见光掩膜计算单元，相连的第一热红外双分支对称卷积单元和第一热红外掩膜计算单元，第一可见光双分支对称卷积单元和第一热红外掩膜计算单元上连接有第一空间注意力增强单元；

4.根据权利要求3所述的一种多尺度跨模态相似性引导的弱监督人群计数系统，其特征在于：多尺度上下文特征融合模块具体结构为：第一可见光双分支对称卷积单元包含并联的第一...

【专利技术属性】
技术研发人员：孔维航，杜亿茹，黄琳雅，王子琛，李贺，
申请(专利权)人：燕山大学，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人