【技术实现步骤摘要】
本专利技术属于卫星图像处理，尤其涉及一种帧间像素级信息补偿的卫星视频盲超分辨率系统及方法。
技术介绍
1、在遥感成像过程中，卫星平台的抖动和大气散射往往会在卫星视频中产生不可估计的模糊，使得卫星视频的空间分辨率降低。因此，卫星视频的质量不可避免地受到污染，从而导致后续在目标跟踪、变化检测等领域应用的性能下降。基于此，面向卫星遥感场景下的视频盲超分辨率技术受到了广泛关注。然而，在遥感场景下实现视频高质量超分辨率是一个具有挑战性的问题：一方面，相比于自然视频，卫星视频具有更复杂的背景且缺乏足够的纹理和细节信息，使得对于视频帧间信息的提取效果差；另一方面，缺乏应用于退化卫星视频中精细的像素级补偿策略，难以实现对退化视频中模糊像素的精细补偿。
2、作为计算机视觉领域的主流方法，深度学习技术在卫星视频盲超分辨率领域同样扮演了重要的角色。近年来，面向自然场景下的盲超分方法已经实现了很大的突破，如usrnet、ikc、adatarget等多种卷积神经网络被相继提出。然而，由于卫星视频具有数据量大、所含信息丰富和图像内容复杂等特点，直接将这些算法应用于卫星视频超分辨率任务中效果较差。因此，研究人员针对卫星视频下的盲超分辨率方法开展了一系列研究。
3、liu等人在论文《deep joint estimation network for satellite videosuper-resolution with multiple degradations》中提出了一种深度联合估计网络，以并行的方式将模糊核估计和超分辨率过程结合
技术实现思路
1、有鉴于此，本专利技术创造旨在提供一种帧间像素级信息补偿的卫星视频盲超分辨率系统及方法，以特征挖掘融合模块在像素级别实现帧间局部和全局信息的提取并得到干净的中间特征；为了使中间特征能够更好地感知模糊特征，设计一种模糊补偿模块调节中间特征，进而逐步实现对模糊像素的精细补偿。本专利技术分别从局部和全局的像素级信息补偿出发，能够更好地实现对帧间信息的提取和利用，从而实现卫星视频的高质量超分辨率。
2、为达到上述目的，本专利技术创造的技术方案是这样实现的：
3、一种帧间像素级信息补偿的卫星视频盲超分辨率系统，包括预处理模块、特征挖掘融合模块、模糊补偿模块和图像重建模块；其中，预处理模块对输入的视频帧序列进行模糊估计和帧对齐，帧对齐后的对齐特征输入到特征挖掘融合模块中进行注意力特征的提取，模糊估计产生的模糊特征与注意力特征拼接得到融合特征；融合特征输入模糊补偿模块中进行模糊补偿，得到模糊补偿特征；模糊补偿特征输入图像重建模块中得到重建特征，重建特征与视频帧序列中的目标帧的双线性插值的结果对应元素相加，得到目标帧对应的高分辨率视频帧。
4、进一步的，预处理模块包括并行的模糊估计子模块和帧对齐子模块；其中，视频帧序列中的目标帧经模糊估计子模块处理后得到模糊特征；视频帧序列经帧对齐子模块处理后得到对齐特征。
5、进一步的，模糊估计子模块由第一全连接层和第二全连接层组成，第一全连接层后接relu激活函数，第二全连接层后接softmax函数；视频帧序列中的目标帧依次经过第一全连接层和第二全连接层后得到模糊特征。
6、进一步的，帧对齐子模块的数量等于视频帧序列中的视频帧的数量减1，且帧对齐子模块与视频帧序列中除目标帧之外的其他视频帧一一对应；在每个帧对齐子模块中，与该帧对齐子模块对应的视频帧和视频帧序列中的目标帧经残差操作提取特征后，分别得到第一特征和第二特征；将第一特征和第二特征拼接融合得到第一融合特征；第一融合特征同时经过不少于3个的不同卷积核的卷积层的卷积处理得到三个特征；再将三个特征拼接融合后得到第二融合特征；第一融合特征与第二融合特征对应元素相加，得到目标帧与同时输入的视频帧之间的偏离量；将偏离量与第二特征同时输入可变性卷积层中，得到目标帧与同时输入的视频帧共同的初步对齐特征；将所有帧对齐子模块输出的初步对齐特征拼接融合后，得到对齐特征。
7、进一步的，特征挖掘融合模块包括混合注意力子模块和窗口自注意力子模块，对齐特征同时输入混合注意力子模块和窗口自注意力子模块中；其中，对齐特征经窗口自注意力子模块处理后，得到自注意力特征；对齐特征经混合注意力子模块处理后，得到混合注意力特征；自注意力特征与混合注意力特征进行对应元素相加后得到注意力特征。
8、进一步的，混合注意力子模块中，对对齐特征进行高效通道注意力操作得到通道注意力权重；将对齐特征与通道注意力权重对应元素相乘后，得到通道注意力特征；对通道注意力特征进行空间注意力操作得到空间注意力权重；将通道注意力特征与空间注意力权重对应元素相乘后，得到混合注意力特征。
9、进一步的，在模糊补偿模块中，
10、对融合特征同时进行最大池化操作和平均池化操作，再将两种池化操作后的特征进行拼接融合得到第一池化特征；
11、对第一池化特征同时进行最大池化操作和平均池化操作，再将两种池化操作后的特征进行拼接融合得到第二池化特征；
12、将第二池化特征进行上采样操作，并将上采样后的特征与第一池化特征对应元素相加；再对相加后的特征进行双三次插值的上采样操作得到初级模糊补偿特征；
13、对初级模糊补偿特征做sigmoid激活操作，并将sigmoid激活操作的结果与融合特征对应元素相乘，得到次级模糊补偿特征；
14、将融合特征经混合注意力子模块处理后的特征与次级模糊补偿特征与对应元素相乘后，得到模糊补偿特征。
15、进一步的，图像重建模块包括卷积层和亚像素卷积层；其中，模糊补偿特征依次经卷积层和亚像素卷积层的处理后得到重建特征，重建特征与视频帧序列中的目标帧的双线性插值的结果对应元素相加，得到目标帧对应的高分辨率视频帧。
16、一种帧间像素级信息补偿的卫星视频盲超分辨率方法，具体包括以下步骤：
17、s1：获取视频数据，对视频数据进行预处理，本文档来自技高网...
【技术保护点】
1.一种帧间像素级信息补偿的卫星视频盲超分辨率系统，其特征在于：包括预处理模块、特征挖掘融合模块、模糊补偿模块和图像重建模块；其中，所述预处理模块对输入的视频帧序列进行模糊估计和帧对齐，帧对齐后的对齐特征输入到所述特征挖掘融合模块中进行注意力特征的提取，模糊估计产生的模糊特征与所述注意力特征拼接得到融合特征；所述融合特征输入所述模糊补偿模块中进行模糊补偿，得到模糊补偿特征；所述模糊补偿特征输入所述图像重建模块中得到重建特征，所述重建特征与所述视频帧序列中的目标帧的双线性插值的结果对应元素相加，得到目标帧对应的高分辨率视频帧。
2.根据权利要求1所述的帧间像素级信息补偿的卫星视频盲超分辨率系统，其特征在于：所述预处理模块包括并行的模糊估计子模块和帧对齐子模块；其中，所述视频帧序列中的目标帧经所述模糊估计子模块处理后得到所述模糊特征；所述视频帧序列经所述帧对齐子模块处理后得到所述对齐特征。
3.根据权利要求2所述的帧间像素级信息补偿的卫星视频盲超分辨率系统，其特征在于：所述模糊估计子模块由第一全连接层和第二全连接层组成，所述第一全连接层后接ReLU激活函数，所
4.根据权利要求2所述的帧间像素级信息补偿的卫星视频盲超分辨率系统，其特征在于：所述帧对齐子模块的数量等于所述视频帧序列中的视频帧的数量减1，且帧对齐子模块与所述视频帧序列中除目标帧之外的其他视频帧一一对应；在每个帧对齐子模块中，与该帧对齐子模块对应的视频帧和所述视频帧序列中的目标帧经残差操作提取特征后，分别得到第一特征和第二特征；将所述第一特征和所述第二特征拼接融合得到第一融合特征；所述第一融合特征同时经过不少于3个的不同卷积核的卷积层的卷积处理得到三个特征；再将三个特征拼接融合后得到第二融合特征；所述第一融合特征与所述第二融合特征对应元素相加，得到所述目标帧与同时输入的视频帧之间的偏离量；将所述偏离量与所述第二特征同时输入可变性卷积层中，得到所述目标帧与同时输入的视频帧共同的初步对齐特征；将所有帧对齐子模块输出的初步对齐特征拼接融合后，得到所述对齐特征。
5.根据权利要求1所述的帧间像素级信息补偿的卫星视频盲超分辨率系统，其特征在于：所述特征挖掘融合模块包括混合注意力子模块和窗口自注意力子模块，所述对齐特征同时输入所述混合注意力子模块和所述窗口自注意力子模块中；其中，所述对齐特征经所述窗口自注意力子模块处理后，得到自注意力特征；所述对齐特征经所述混合注意力子模块处理后，得到混合注意力特征；所述自注意力特征与所述混合注意力特征进行对应元素相加后得到所述注意力特征。
6.根据权利要求5所述的帧间像素级信息补偿的卫星视频盲超分辨率系统，其特征在于：所述混合注意力子模块中，对所述对齐特征进行高效通道注意力操作得到通道注意力权重；将所述对齐特征与所述通道注意力权重对应元素相乘后，得到通道注意力特征；对所述通道注意力特征进行空间注意力操作得到空间注意力权重；将所述通道注意力特征与所述空间注意力权重对应元素相乘后，得到所述混合注意力特征。
7.根据权利要求5所述的帧间像素级信息补偿的卫星视频盲超分辨率系统，其特征在于：在所述模糊补偿模块中，
8.根据权利要求1所述的帧间像素级信息补偿的卫星视频盲超分辨率系统，其特征在于：所述图像重建模块包括卷积层和亚像素卷积层；其中，所述模糊补偿特征依次经所述卷积层和所述亚像素卷积层的处理后得到所述重建特征，所述重建特征与视频帧序列中的目标帧的双线性插值的结果对应元素相加，得到目标帧对应的高分辨率视频帧。
9.一种帧间像素级信息补偿的卫星视频盲超分辨率方法，其特征在于：具体包括以下步骤：
10.根据权利要求9所述的帧间像素级信息补偿的卫星视频盲超分辨率方法，其特征在于：在所述步骤S1中，对所述视频数据进行预处理具体包括：
...【技术特征摘要】
1.一种帧间像素级信息补偿的卫星视频盲超分辨率系统，其特征在于：包括预处理模块、特征挖掘融合模块、模糊补偿模块和图像重建模块；其中，所述预处理模块对输入的视频帧序列进行模糊估计和帧对齐，帧对齐后的对齐特征输入到所述特征挖掘融合模块中进行注意力特征的提取，模糊估计产生的模糊特征与所述注意力特征拼接得到融合特征；所述融合特征输入所述模糊补偿模块中进行模糊补偿，得到模糊补偿特征；所述模糊补偿特征输入所述图像重建模块中得到重建特征，所述重建特征与所述视频帧序列中的目标帧的双线性插值的结果对应元素相加，得到目标帧对应的高分辨率视频帧。
2.根据权利要求1所述的帧间像素级信息补偿的卫星视频盲超分辨率系统，其特征在于：所述预处理模块包括并行的模糊估计子模块和帧对齐子模块；其中，所述视频帧序列中的目标帧经所述模糊估计子模块处理后得到所述模糊特征；所述视频帧序列经所述帧对齐子模块处理后得到所述对齐特征。
3.根据权利要求2所述的帧间像素级信息补偿的卫星视频盲超分辨率系统，其特征在于：所述模糊估计子模块由第一全连接层和第二全连接层组成，所述第一全连接层后接relu激活函数，所述第二全连接层后接softmax函数；所述视频帧序列中的目标帧依次经过所述第一全连接层和所述第二全连接层后得到所述模糊特征。
4.根据权利要求2所述的帧间像素级信息补偿的卫星视频盲超分辨率系统，其特征在于：所述帧对齐子模块的数量等于所述视频帧序列中的视频帧的数量减1，且帧对齐子模块与所述视频帧序列中除目标帧之外的其他视频帧一一对应；在每个帧对齐子模块中，与该帧对齐子模块对应的视频帧和所述视频帧序列中的目标帧经残差操作提取特征后，分别得到第一特征和第二特征；将所述第一特征和所述第二特征拼接融合得到第一融合特征；所述第一融合特征同时经过不少于3个的不同卷积核的卷积层的卷积处理得到三个特征；再将三个特征拼接融合后得到第二融合特征；所述第一融合特征与所述第二融合特征对应元素相加，得到所述...
【专利技术属性】
技术研发人员：孙海江，常宏亮，刘巧元，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。