【技术实现步骤摘要】
本专利技术涉及图像处理、模式识别，具体涉及一种基于轻型交叉模态transformer的rgb-d显著目标检测方法、系统、设备及介质。
技术介绍
1、显著性目标检测旨在定位定场景中最吸引人注意的目标或区域。它已广泛应用于许多领域，例如，图像裁剪、图像分割和人员重新识别等。是当前计算机视觉领域的一项热门的研究课题。近年来，随着深度相机的发展和普及，深度图像已经被成功应用于各类计算机视觉任务，这也为显著性目标检测技术提供了新思路。通过引入深度图像，不仅能使计算机更加全面地模拟人类视觉系统，而且深度图像所提供的结构、位置等补充信息也可以为低对比度、复杂背景等困难场景的检测提供新的解决方案。
2、申请号为[202110760504.3]的专利申请，公开了“一种rgb-d图像显著目标检测方法”，包括以下步骤：提取rgb和depth图像特征，同时实施融合形成rgbd融合特征，将其划分为高层rgbd融合特征及低层rgbd融合特征；利用三个transformer增强所述高层rgbd融合特征，形成高层rgbd增强特征；三流解码所述高层rgbd增强特征，通过与低层rgbd融合特征的结合，形成rgbd细化特征；融合所述rgbd细化特征形成显著图；利用transformer增强高层特征，准确获取显著物体的位置信息，并利用三流融合，融入低层特征，细化显著物体轮廓细节；通过卷积神经网络和transformer的结合、全局和局部的优化，产生精度高的显著图。由于现有的rgb-d显著目标检测模型大多为基于transformer的rgb-d sod模型，
技术实现思路
1、为了克服上述现有技术的缺点，本专利技术的目的在于提供一种基于轻型交叉模态transformer的rgb-d显著目标检测方法、系统、设备及介质，通过结合了包含具有轻量级通道交叉注意力块lccab的融合模块cefm，以及包含具有轻量级空间交叉注意力块lscab的双向多级特征交互模块bi-mfim，能够有效且低成本的捕获跨模态互补信息，补偿参数减少引起的性能下降，具有参数少，计算效率高、耗能少的特点。
2、为了实现上述目的，本专利技术采用的技术方案是：
3、一种基于轻型交叉模态transformer的rgb-d显著目标检测方法，包括以下步骤：
4、步骤1，将可见光图象输入到第一特征提取网络得到第一、二、三级单模态可见光特征，将深度图像输入到第二特征提取网络得到第一、二、三级单模态深度特征；
5、步骤2，将步骤1得到的第一、二、三级单模态可见光特征以及第一、二、三级单模态深度特征输入到第一轻量级的通道交叉注意力块lccab中，得到增强的第三级单模态可见光特征；将步骤1得到的第一、二、三级单模态可见光特征以及第一、二、三级单模态深度特征输入到第二个轻量级的通道交叉注意力块lccab中，得到增强的第三级单模态深度特征；将得到的第三级增强的单模态可见光特征以及第三级增强的单模态深度特征输入到加法器，得到第三级跨模态特征；
6、步骤3，将步骤2得到的第三级跨模态特征输入第三特征提取网络得到的第四级跨模态特征以及第五级跨模态特征，将第三、四、五跨模态特征输入到双向多级特征交互模块bi-mfim，得到最终融合特征；
7、步骤4，将步骤3得到的最终融合特征、步骤1得到的第一、二级单模可见光特征态特征以及第一、二级单模深度特征态特征输入到目标掩码解码器中，得到目标掩码，也就是得到基于轻型交叉模态transformer的rgb-d显著目标检测结果。
8、所述步骤1中的第一单模态可见光特征以及第一单模态深度特征表示为：所述的第二单模态可见光特征以及第二单模态深度特征表示为：所述的第三单模态可见光特征以及第三单模态深度特征表示为：其中，m∈r,d表示不同的模式。
9、所述步骤2中，第一轻量级的通道交叉注意力块lccab用于使第三级单模态可见光特征能够从第三单模态深度特征中提取判别互补信息；第二个轻量级的通道交叉注意力块lccab用于使第三单模态深度特征从第三单模态可见光特征中提取判别互补信息，表示为：
10、
11、
12、
13、其中，为增强的第三级单模态rgb特征，为增强的第三级深度特征，为第三级单模态rgb特征，为第三级单模态深度特征，为第三级跨模态特征。
14、所述步骤2中的第一轻量级的通道交叉注意力块lccab以及第二个轻量级的通道交叉注意力块lccab中，可见光特征大小为c×hw，c表示特征通道的数量，w表示宽度，h表示高度；将可见光特征送入到第一线性层中，得到对应的查询特征且c1比c小；深度特征大小为c×hw，c表示特征通道的数量，w表示宽度，h表示高度，将深度特征送入到第二线性层中，得到对应的关键特征kc∈rc×hw，表示为：
15、
16、
17、
18、
19、其中，linear(*，αq)表示两个线性函数及其对应的参数αq，linear(*，αk)表示两个线性函数及其对应的参数αk，linear(*，αw)表示两个线性函数及其对应的参数αw，reshape(*)表示重塑特征大小，表示第三级单模态rgb特征，表示第三级单模态深度特征，qc表示对应的查询特征，kc表示对应的关键特征，wc∈rc×1×1表示和特征之间建立的相互作用，sigmoid(*)表示sigmoid函数，表示特征通过从特征中基于权重wc提取判别互补信息后的增强特征。
20、所述步骤3中的双向多级特征交互模块bi-mfim中，较高维度的特征逐渐从其较低维度的特征中提取互补信息，而较低维度的特征逐渐从其较高维度的特征中提取一些互补信息；将步骤2得到的第三级跨模态特征输入到第三特征提取网络得到的第四级跨模态特征以及第五级跨模态特征所述的第四特征表示为：所述的第五特征表示为：将第三、四、五级跨模态特征输入到调整层也就是aj层，调整层包含1×1卷积层以及插值层，表示为：
21、
22、其中，表示输入的增强的跨模态特征，表示输入的跨模态特征，aj(*，ααj,i)表示aj层和其参数；
23、第五级跨模态特征通过双向多级特征交互模块bi-mfim中的第一轻量级空间交叉注意力块lscab从第四级跨模态特征中提取判别互补信息，表示为：
24、
25、其中，表示与的增强型跨模态特征，lscab(*)表示提出的lscab块；
26、双向多级特征交互模块bi-mfim中的第二轻量级空间交叉注意力块lscab从第三级跨模态特征中提取判别互补信息，表示为：
27、
28、其中，表示与的增强型跨模态特征；
29、同时，双向多级特征交互模块bi-mfim中第一轻量级空间交叉注意力块lsc本文档来自技高网...
【技术保护点】
1.一种基于轻型交叉模态Transformer的RGB-D显著目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于轻型交叉模态Transformer的RGB-D显著目标检测方法，其特征在于，所述步骤1中的第一单模态可见光特征以及第一单模态深度特征表示为：所述的第二单模态可见光特征以及第二单模态深度特征表示为：所述的第三单模态可见光特征以及第三单模态深度特征表示为：其中，m∈R,D表示不同的模式。
3.根据权利要求1所述的一种基于轻型交叉模态Transformer的RGB-D显著目标检测方法，其特征在于，所述步骤2中，第一轻量级的通道交叉注意力块LCCAB用于使第三级单模态可见光特征能够从第三单模态深度特征中提取判别互补信息；第二个轻量级的通道交叉注意力块LCCAB用于使第三单模态深度特征从第三单模态可见光特征中提取判别互补信息，表示为：
4.根据权利要求1所述的一种基于轻型交叉模态Transformer的RGB-D显著目标检测方法，其特征在于，所述步骤2中的第一轻量级的通道交叉注意力块LCCAB以及第二个轻量级的通道交叉注
5.根据权利要求1所述的一种基于轻型交叉模态Transformer的RGB-D显著目标检测方法，其特征在于，所述步骤3中的双向多级特征交互模块Bi-MFIM中，较高维度的特征逐渐从其较低维度的特征中提取互补信息，而较低维度的特征也逐渐从其较高维度的特征中提取一些互补信息；将步骤2得到的第三级跨模态特征输入到第三特征提取网络得到的第四级跨模态特征以及第五级跨模态特征所述的第四特征表示为：所述的第五特征表示为：将第三、四、五级跨模态特征输入到调整层也就是AJ层，调整层包含1×1卷积层以及插值层，表示为：
6.根据权利要求5所述的一种基于轻型交叉模态Transformer的RGB-D显著目标检测方法，其特征在于，所述的第一轻量级空间交叉注意力块LSCAB、第二轻量级空间交叉注意力块LSCAB、第三轻量级空间交叉注意力块LSCAB以及第四轻量级空间交叉注意力块LSCAB，假设其具有相同的特征大小，为RC×H×W，C是特征通道，W是宽度，H是高度；将特征送入到第一至第四轻量级空间交叉注意力块LSCAB的池化层中，得到空间大小为RC×H1×W1的特征再将该特征大小重塑H1W1×C，将重塑后的特征送入第一线性层得到对应的查询特征Qs∈RH1W1×C；特征大小被重塑为HW×C，并送入第二线性层得到对应的关键特征Ks∈RHW×C，表示为：
7.根据权利要求1所述的一种基于轻型交叉模态Transformer的RGB-D显著目标检测方法，其特征在于，所述步骤4中，将步骤3得到的最终融合特征、与步骤1得到的第一、二级单模可见光特征态特征以及第一、二级单模深度特征态特征也就是和融合，融合的特征将进一步输入到卷积层，得到基于轻型交叉模态Transformer的RGB-D显著目标检测结果，表示为：
8.一种基于轻型交叉模态Transformer的RGB-D显著目标检测系统，其特征在于，包括：
9.一种基于轻型交叉模态Transformer的RGB-D显著目标检测设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现权利要求1-7所述的一种基于轻型交叉模态Transformer的RGB-D显著目标检测方法。
...【技术特征摘要】
1.一种基于轻型交叉模态transformer的rgb-d显著目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于轻型交叉模态transformer的rgb-d显著目标检测方法，其特征在于，所述步骤1中的第一单模态可见光特征以及第一单模态深度特征表示为：所述的第二单模态可见光特征以及第二单模态深度特征表示为：所述的第三单模态可见光特征以及第三单模态深度特征表示为：其中，m∈r,d表示不同的模式。
3.根据权利要求1所述的一种基于轻型交叉模态transformer的rgb-d显著目标检测方法，其特征在于，所述步骤2中，第一轻量级的通道交叉注意力块lccab用于使第三级单模态可见光特征能够从第三单模态深度特征中提取判别互补信息；第二个轻量级的通道交叉注意力块lccab用于使第三单模态深度特征从第三单模态可见光特征中提取判别互补信息，表示为：
4.根据权利要求1所述的一种基于轻型交叉模态transformer的rgb-d显著目标检测方法，其特征在于，所述步骤2中的第一轻量级的通道交叉注意力块lccab以及第二个轻量级的通道交叉注意力块lccab中，可见光特征大小为c×hw，c表示特征通道的数量，w表示宽度，h表示高度；将可见光特征送入到第一线性层中，得到对应的查询特征且c1比c小；深度特征大小为c×hw，c表示特征通道的数量，w表示宽度，h表示高度，将深度特征送入到第二线性层中，得到对应的关键特征kc∈rc×hw，表示为：
5.根据权利要求1所述的一种基于轻型交叉模态transformer的rgb-d显著目标检测方法，其特征在于，所述步骤3中的双向多级特征交互模块bi-mfim中，较高维度的特征逐渐从其较低维度的特征中提取互补信息，而较低维度的特征也逐渐从其较高维度的特征中提取一些互补信息；将步骤2得到的第三级跨模态特征输入到第三特征提取网络...
【专利技术属性】
技术研发人员：黄年昌，寇欣雨，赵晓伟，张强，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。