【技术实现步骤摘要】
本专利技术属于计算机视觉领域，具体的说是一种基于事件信号驱动的低光视频目标分割方法。
技术介绍
1、视频目标分割技术在计算机视觉领域占据了一个核心的研究地位，它的主要任务是在视频序列中准确地标识和追踪一个或多个目标对象。这项技术的应用范围极为广泛，覆盖了从自动驾驶系统的环境感知、城市安全的视频监控系统，到提供创新交互方式的视频编辑软件等众多领域。随着深度学习技术的快速发展和应用，视频目标分割技术已经实现了质的飞跃，特别是在处理高清晰度视频输入时，现有的方法不仅能够以更高的精度分割目标对象，还能够更稳定地追踪目标对象的运动轨迹。
2、然而，尽管在标准照明条件下取得了显著成就，视频目标分割技术在低光照条件下的应用仍然面临着重大挑战。在这种环境下，视频画面通常会遭受到严重的质量退化，例如，噪点的显著增多、场景细节的大量丢失以及颜色信息的严重失真等问题，都会直接影响到分割算法的准确性和追踪算法的稳定性。更为关键的是，大多数现行的视频目标分割技术高度依赖于清晰、高质量的视频输入作为前提，而这一条件在夜间监控或低照明的自动驾驶等实际应用场景中往往难以满足。这种对高质量视频输入的依赖性，极大地限制了视频目标分割技术在低光照环境下的应用潜力和实际效果。
技术实现思路
1、本专利技术是为了解决上述现有技术存在的不足之处，提出一种基于事件信号驱动的低光视频目标分割方法，旨在利用事件数据的高动态特性以及捕捉物体的高速运动特性，从而能提高视频目标分割技术在低光下的鲁棒性以及运动物体分割能力，并
2、本专利技术为达到上述专利技术目的，采用如下技术方案：
3、本专利技术一种基于事件信号驱动的低光视频目标分割方法的特点在于，是按如下步骤进行：
4、步骤1、获取低光场景下的视频图像集i，目标掩码集合y和对应的事件序列e：
5、步骤2、构建低光视频目标分割神经网络，包括：多模态编码器和事件引导记忆匹配模块：
6、步骤2.1、所述多模态编码器用于对i和e进行特征提取，得到混合特征；
7、步骤2.2、所述事件引导记忆匹配模块用于对混合特征进行处理，得到预测的目标掩码；
8、步骤3、基于预测的目标掩码和目标掩码集合y构建总损失函数；
9、步骤4、利用梯度下降法对低光视频目标分割神经网络进行训练，并计算所述总损失函数l以更新网络参数，当训练迭代次数达到设定的次数或总损失函数l收敛时停止训练，从而得到最优低光视频目标分割神经网络，用于对低光视频图像进行处理，以获得对应的预测掩码。
10、本专利技术所述的一种基于事件信号驱动的低光视频目标分割方法的特点也在于，所述步骤1是按如下步骤进行：
11、步骤1.1.1、获取低光场景的视频图像集i＝{i1,i2,...,it,...,it}以及对应的正常光场景的视频图像集n＝{n1,n2,...,nt,...,nt}，其中，it表示第t个时刻的低光图像，nt表示第t个时刻的正常光图像；t表示图像的帧数；
12、步骤1.1.2通过标注工具对正常光场景的视频图像集进行目标掩码的标注，得到低光场景和正常光场景的视频图像集的目标掩码集合y＝{y1,y2,...,yt,...,yt}，其中，yt表示第t个时刻的低光图像it和正常光图像nt的目标掩码；
13、步骤1.1.3获取低光场景的视频图像集i的事件序列，记为e＝{e0，1,e1，2,...,et-1,t,...,et-1,t}，其中，et-1,t表示第t-1时刻低光图像it-1到第t时刻低光图像it所对应的低光事件。
14、所述步骤2.1中的多模态编码器包括：图像编码器，事件编码器，自适应跨模态融合模块；
15、步骤2.1.1、所述图像编码器是由m层残差模块和n层下采样模块构成；
16、所述第t个时刻的低光图像it输入所述图像编码器中进行特征提取，获得it的多尺度图像特征ftimg；
17、步骤2.1.2、所述事件编码器是由m层残差模块和n层下采样模块构成；
18、第t-1时刻到第t时刻的低光事件et-1,t输入所述事件编码器中进行特征提取，获得et-1,t的多尺度事件特征ftevt；
19、步骤2.1.3、所述自适应跨模态融合模块将多尺度图像特征ftimg和多尺度事件特征ftevt在通道维度上进行拼接后，再通过卷积和平均池化处理，从而得到第t个时刻的多尺度混合特征ftcat；
20、ftcat分别与多尺度图像特征ftimg和多尺度事件特征ftevt进行点乘后，得到第t个时刻筛选后的多尺度图像特征和事件特征
21、所述筛选后的多尺度事件特征依次经过通道注意力操作和通过空间注意力操作后，得到第t个时刻的多尺度事件注意力特征将多尺度事件注意力特征和筛选后的多尺度图像特征进行求和，得到第t个时刻融合事件信息的多尺度图像特征
22、对融合事件信息的多尺度图像特征和筛选后多尺度事件特征进行卷积求和后，得到第t个时刻的混合特征ft。
23、所述步骤2.2中的事件引导记忆匹配模块包括：记忆存储模块，事件引导模块，注意力匹配模块，掩码解码器；
24、步骤2.2.1所述记忆存储模块对第t个时刻的混合特征ft进行线性变换后，得到第t个时刻的键kt和值vt；定义第t个时刻的掩码记为当t＝1时，初始化
25、步骤2.2.2所述事件引导模块在通道维度对和ftevt进行合并后，再通过不同卷积核大小和池化进行多尺度信息提取，得到第t个时刻的筛选信号set，set分别与ftevt和进行点乘并进行求和，最终输出第t个时刻强化后的引导信号gt；
26、步骤2.2.3所述注意力匹配模块利用式(1)得到第t个时刻过滤后的键kt′：
27、kt′＝kt·gt (1)
28、利用式(2)得到第t+1个时刻的注意力矩阵at+1：
29、
30、式(2)中，qt+1表示ft+1经过线性变换后的查询值，dk表示qt+1和kt′的通道维度，softmax表示激活函数；tr表示矩阵转置；
31、利用式(3)得到第t+1个时刻的匹配结果rt+1：
32、rt+1＝at+1(gt+vt) (3)
33、步骤2.2.4所述掩码解码器是由卷积层和上采样层构成；
34、将匹配结果rt+1和混合特征ft+1进行通道合并后，输入所述掩码解码器中进行处理，并输出第t+1个时刻预测的目标掩码maskt+1。
35、所述步骤3是按如下步骤进行：
36、步骤3.1利用式(4)构建第t个时刻交叉熵损失函数
37、
38、步骤3.2利用式(5)构建第t个时刻的软杰卡尔损失函数
39、
40、步骤3.3利用式(6)构建第t个时刻的总损失函数l：
41、...
【技术保护点】
1.一种基于事件信号驱动的低光视频目标分割方法，其特征在于，是按如下步骤进行：
2.根据权利要求1所述的一种基于事件信号驱动的低光视频目标分割方法，其特征在于，所述步骤1是按如下步骤进行：
3.根据权利要求2所述的一种基于事件信号驱动的低光视频目标分割方法，其特征在于，所述步骤2.1中的多模态编码器包括：图像编码器，事件编码器，自适应跨模态融合模块；
4.根据权利要求3所述的一种基于事件信号驱动的低光视频目标分割方法，其特征在于，所述步骤2.2中的事件引导记忆匹配模块包括：记忆存储模块，事件引导模块，注意力匹配模块，掩码解码器；
5.根据权利要求4所述的一种基于事件信号驱动的低光视频目标分割方法，其特征在于，所述步骤3是按如下步骤进行：
6.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1-5中任一所述低光视频目标分割方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
7.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机
...【技术特征摘要】
1.一种基于事件信号驱动的低光视频目标分割方法，其特征在于，是按如下步骤进行：
2.根据权利要求1所述的一种基于事件信号驱动的低光视频目标分割方法，其特征在于，所述步骤1是按如下步骤进行：
3.根据权利要求2所述的一种基于事件信号驱动的低光视频目标分割方法，其特征在于，所述步骤2.1中的多模态编码器包括：图像编码器，事件编码器，自适应跨模态融合模块；
4.根据权利要求3所述的一种基于事件信号驱动的低光视频目标分割方法，其特征在于，所述步骤2.2中的事件引导记忆匹配模块包括：记忆存储模块，事件引...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。