【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，尤其是一种基于跨模态与多尺度感知的rgb-t人群计数方法。
技术介绍
1、在当今快速发展的城市环境中，人口密度的不断攀升使得人群计数技术在维护公共安全、优化城市规划和提升管理效率等方面扮演着越来越关键的角色。传统的人群计数技术，特别是那些使用单一处理流处理静态rgb图像的方法，在面对光照条件不佳的环境时，往往表现出显著的局限性。
2、为了克服这些挑战，研究者们开始探索跨模态人群计数方法，这些方法通过整合来自不同传感器或模态的数据，来增强系统的场景适应性和计数准确性。rgb-t人群计数是将rgb图像与热成像数据相结合。rgb图像提供了场景的彩色视觉信息，而热成像摄像头则捕获场景的热辐射分布，生成热力图像。热力图像反映了场景中物体的热量分布，因此在区分人体和其他物体方面非常有效，尤其是在光照不足的环境中rgb-t人群计数通过融合这两种不同模态的图像数据，能够提高在复杂光照条件和环境下的人群计数性能，尤其是在黑暗、雾或烟雾的环境中。尽管rgb-t人群计数方法在提升人群计数准确性和鲁棒性方面展现出了巨大的潜力。但在rgb-t人群计数领域有以下几个问题丞待解决：第一，现有方法在跨模态特征融合过程中忽视了对噪音信息的抑制和去除工作。第二，人群空间分布信息未被充分利用。以上问题显著影响了rgb-t人群计数方法的计数精度。
技术实现思路
1、本专利技术需要解决的技术问题是提供一种基于跨模态与多尺度感知的rgb-t人群计数方法，能够在不同模态间有效共享特征并
2、为解决上述技术问题，本专利技术所采用的技术方案是：
3、一种基于跨模态与多尺度感知的rgb-t人群计数方法，包括以下步骤：
4、步骤1，将成对的rgb和热度图像输入由swin transformer组成的双流网络中，提取各个模态的特定特征图；
5、步骤2，将由swin transformer组成的双流网络的后3个阶段提取的rgb模态和热度模态的特定特征图分别输入跨模态特征融合模块，实现在保持各个模态间共享特征的同时有效去噪，得到跨模态特征融合模块输出的跨模态融合特征图；
6、步骤3，多尺度特征汇聚模块接收来自跨模态特征融合模块的跨模态融合特征图，通过空间上下文感知图卷积单元建模各个尺度的人群空间结构，随后整合不同尺度的特征图；
7、步骤4，将多尺度特征汇聚模块输出的多尺度融合特征图送入回归头，经过一系列的处理，回归得到预测密度图；
8、步骤5，将所得的预测密度图逐像素相加，得到预测总人数。
9、本专利技术技术方案的进一步改进在于：在步骤1中，将成对的rgb图像和热度图像分别输入由swin transformer组成的双流网络的各个分支当中，提取得到各个阶段的rgb模态和热度模态的特定特征图，所述由swin transformer组成的双流网络分为4个阶段。
10、本专利技术技术方案的进一步改进在于：在步骤2中，具体过程如下：
11、s2.1，将由swin transformer组成的双流网络的后3个阶段提取的rgb模态和热度模态的特定特征图分别经过自适应最大池化层和全连接层处理，从每个模态的特征图中提取最关键的，抑制噪音信息，得到rgb模态和热度模态的去噪特征图；
12、s2.2，将rgb模态和热度模态的去噪特征图相加后经过dropout处理，紧接着进行全连接操作，得到跨模态共享特征图；
13、s2.3，将跨模态共享特征图经过sigmoid激活函数处理，转换成跨模态共享权重图；
14、s2.4，将跨模态共享权重图与rgb模态和热度模态的原始输入特征图进行逐元素相乘，得到跨模态rgb特征图和跨模态热度特征图；
15、s2.5，将跨模态rgb特征图和跨模态热度特征图通过残差结构进一步筛选，去除任何残留的噪声，得到去噪跨模态rgb特征图和去噪跨模态热度特征图；
16、s2.6，将去噪跨模态rgb特征图和去噪跨模态热度特征图相加，得到跨模态融合特征图。
17、本专利技术技术方案的进一步改进在于：在步骤2中，跨模态特征融合模块对rgb模态和热度模态的特定特征图的融合过程表示为：
18、
19、ff,i＝ef,i·frgb,i+frgb,i+ef,i·ft,i+ft,i (4)
20、式中，i＝2,3,4分别由swin transformer组成的双流网络的后3个阶段连接的跨模态特征融合模块；amp()表示自适应最大池化；和
21、分别表示对单一模态特征的全连接和对跨模态融合特征的全连接；relu()表示修正线性单元；drop()表示dropout；sig()代表sigmoid激活函数。
22、本专利技术技术方案的进一步改进在于：在步骤3中，具体过程如下：
23、s3.1，将各个尺度的跨模态融合特征图分别经过上采样操作统一到相同的尺寸，随后利用3×3卷积来对齐各个尺度特征图的通道数，得到各个尺度的对齐特征图；
24、s3.2，将各个尺度的对齐特征图分别经过批归一化处理，随后应用relu激活函数，得到各个尺度的待建模特征图；
25、s3.3，将各个尺度的待建模特征图输入到空间上下文感知图卷积单元，建模不同尺度下的人群空间结构，得到各个尺度的建模特征图；
26、s3.4，将各个尺度的建模特征图相加，得到多尺度融合特征图。
27、本专利技术技术方案的进一步改进在于：在步骤3.3中，具体过程如下：
28、s3.3.1，将待建模特征图经过1×1卷积处理压缩通道数，随后在高度维度上取平均，得到降维特征图；
29、s3.3.2，将降维特征图进行维度扩展处理，分别在最后一个维度之后和最后一个维度之前进行维度扩展，得到两个升维特征图；
30、s3.3.3，将两个升维特征图经过双边差值运算，得到差分特征图；
31、s3.3.4，将差分特征图进行tanh激活函数处理，随后经过1×1卷积增加通道数，得到建模权重图；
32、s3.3.5，将建模权重图与原输入待建模特征图经过爱因斯坦求和操作处理，得到含有丰富人群结构信息的建模特征图。
33、本专利技术技术方案的进一步改进在于：在步骤3.3中，空间上下文感知图卷积单元的建模过程表示为：
34、
35、式中，表示核大小为1×1的卷积；avgh(·)表示在高度维度上取平均；ε1(·)和ε2(·)分别表示在最后一个维度之后和最后一个维度之前进行维度扩展；表示tanh激活函数；表示爱因斯坦求和操作；||表示连接操作；表示第j个通道的待建模特征图；xi:,j表示第j个通道的建模权重图。
36、本专利技术技术方案的进一步改进在于：在步骤3.4中，多尺度特征汇聚模块对各本文档来自技高网...
【技术保护点】
1.一种基于跨模态与多尺度感知的RGB-T人群计数方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于跨模态与多尺度感知的RGB-T人群计数方法，其特征在于，在步骤1中，将成对的RGB图像和热度图像分别输入由Swin Transformer组成的双流网络的各个分支当中，提取得到各个阶段的RGB模态和热度模态的特定特征图，所述由SwinTransformer组成的双流网络分为4个阶段。
3.根据权利要求1所述的一种基于跨模态与多尺度感知的RGB-T人群计数方法，其特征在于，在步骤2中，具体过程如下：
4.根据权利要求1所述的一种基于跨模态与多尺度感知的RGB-T人群计数方法，其特征在于，在步骤2中，跨模态特征融合模块对RGB模态和热度模态的特定特征图的融合过程表示为：
5.根据权利要求1所述的一种基于跨模态与多尺度感知的RGB-T人群计数方法，其特征在于，在步骤3中，具体过程如下：
6.根据权利要求5所述的一种基于跨模态与多尺度感知的RGB-T人群计数方法，其特征在于，在步骤3.3中，具体过程如下：
<...【技术特征摘要】
1.一种基于跨模态与多尺度感知的rgb-t人群计数方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于跨模态与多尺度感知的rgb-t人群计数方法，其特征在于，在步骤1中，将成对的rgb图像和热度图像分别输入由swin transformer组成的双流网络的各个分支当中，提取得到各个阶段的rgb模态和热度模态的特定特征图，所述由swintransformer组成的双流网络分为4个阶段。
3.根据权利要求1所述的一种基于跨模态与多尺度感知的rgb-t人群计数方法，其特征在于，在步骤2中，具体过程如下：
4.根据权利要求1所述的一种基于跨模态与多尺度感知的rgb-t人群计数方法，其特征在于，在步骤2中，跨模态特征融合模块对rgb模态和热度模态的特定特征图的融合过程表示为：
5.根据权利要求1所述的一种基于跨模态与多尺度感知的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。