一种针对不稳定卫星网络的抗丢失图像编码方法技术

技术编号：43792866 阅读：0 留言：0更新日期：2024-12-24 16:24

本发明专利技术提供了一种针对不稳定卫星网络的抗丢失图像编码方法，包括以下步骤：步骤1，建立端到端的图像编解码网络；步骤2，在编码时，对编码器从图像中提取出来的潜在特征进行空间通道重排列，重排后的潜在特征再输入超先验编码器进行分布建模；步骤3，将组合特征输入解码器进行解码获得重建图像；步骤4,在图像编解码网络训练过程中，采用多种双尾部丢弃策略、通道随机遮盖策略并引入吉尔伯特‑艾略特丢包模型；步骤5，分组打包发送压缩后的超先验和潜在特征。本发明专利技术方法在实际网络评估中都具有良好的通用性，可防止渐进传输过程中的像素错误或颜色偏差。此外，本发明专利技术方法引入了可接受的计算复杂度，使其适用于现实应用。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及图像编码领域，特别涉及一种针对不稳定卫星网络的抗丢失图像编码方法。

技术介绍

1、与基于互联网或近地轨道卫星传输相比，地球静止轨道卫星通信具有明显的优势，包括信号覆盖范围广和全天候同步。这些优点使其特别适合导航、偏远地区通信和短突发数据服务，因为它不易受到恶劣环境的影响。然而，地球静止轨道卫星通信往往存在可用带宽极低、数据包传输间隔过大、丢包严重等问题，给应急图像传输带来了巨大挑战。

2、在过去的几十年里，图像压缩技术一直致力于在带宽限制下降低比特率消耗。从传统的基于规则的图像编码标准，如 jpeg、bpg和 webp到最近学习的图像压缩方法，在增强压缩性能方面取得了实质性进展。鉴于网络延迟较高，渐进式编码，也称为可扩展编码技术已被开发出来，允许使用接收到的数据包进行图像预览。这些算法将图像编码为单个可扩展比特流，随着接收到更完整的数据包，提高了重建图像的质量。然而，目前很少有人考虑丢包对重建结果的影响，特别是在基于学习的方法中。

3、考虑到传输系统中通常部署的编码器-解码器对，编码器尝试消除输入图像中的冗余，创建紧凑的表示形式，封装用于在接收器处重建的基本信息。该信息分布在各种数据包中，没有任何预期的冗余或保护机制。当发生丢包时，存储的信息将永久丢失，无法在解码过程中恢复。当解码器接收到不完整的数据时，解码器将面临重建困难，因为丢失的数据包会导致解码器无法适应的特征分布变化。这种不可预测的数据包丢失不仅会导致重建质量下降，还会导致严重的解码错误，例如像素错误或颜色偏差。

<p>技术实现思路

1、专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种针对不稳定卫星网络的抗丢失图像编码方法，包括以下步骤：

2、步骤1，建立端到端的图像编解码网络，所述图像编解码网络包括编码端和解码端，所述编码端包括编码器和超先验编码器，所述解码端包括解码器和超先验解码器；给定输入图像经过编码器获得紧凑的潜在特征，潜在特征输入超先验编码器获取超先验，熵编码量化后的潜在特征和超先验为二进制码流，熵解码二进制码流后先将量化后的超先验输入超先验解码器，获得的输出与潜在特征输入解码器完成解码；

3、步骤2，在编码时，对编码器从图像中提取出来的潜在特征进行空间通道重排列，重排后的潜在特征再输入超先验编码器进行分布建模；

4、步骤3，解码器使用掩码标注潜在特征，使用卷积神经网络聚合潜在特征和掩码获取组合特征，将组合特征输入解码器进行解码获得重建图像；

5、步骤4, 在图像编解码网络训练过程中，采用多种双尾部丢弃策略、通道随机遮盖策略并引入吉尔伯特-艾略特丢包模型；

6、步骤5，分组打包发送压缩后的超先验和潜在特征，在分组时额外判断当前通道序号是否是4的倍数，如果是则将当前通道划分到下一个包发送，如果不是则不做额外操作。

7、步骤2包括：编码器网络致力于消除输入图像中的冗余，在空间通道维度上具有紧凑的表示。潜在特征的不同通道独立地包含亮度、颜色或边缘等信息，这些信息可能彼此无关。在本专利技术中使用的逐通道传输的情况下，如果在与其他通道不相关的通道中发生丢包，则可能会导致重建结果出现不可逆的退化。因此，从编码器的角度来看，每个通道都有相关的对应通道以进行错误控制至关重要。在编码时，对潜在特征进行空间通道重排，将潜在特征划分为长为2、宽为2且有4个通道的小立方体，在每个立方体内，将立方体左上角的数据都按照从左往右从上到下的顺序放到原来立方体的第1个通道，以此类推，右上角、左下角、右下角的数据分别重排到原来立方体的第2、3、4个通道，将所有小立方体都完成重排后经过量化得到重新排列的潜在特征。该过程将每个原始通道的特征分布到4个新通道，从而增强通道间的相关性。当不发生丢包时，在解码器侧再次重排回去不会改变解码器的输入特征。如果任何一个通道丢失，仍然可以使用剩余的3个通道重建其信息，从而有效地最大限度地减少不可恢复的错误。

8、步骤3中，使用二进制掩码来标注重新排列的潜在特征，其中c=192为潜在特征的通道数，是重新排列后的潜在特征的掩码；如果第i个重新排列后的潜在特征的掩码表示已收到第i个重新排列的潜在特征，如果表示丢包，未收到第i个重新排列的潜在特征，，通过如下公式导出接收到的不完整特征：

9、，

10、其中⊙代表逐元素乘法，表示解码器丢包后接收到的剩余重排后的潜在特征；

11、空间通道重排回去后，获得重排回去的潜在特征的原始排列及相应的损失掩码。

12、步骤3中，部署两个卷积层，每个卷积层后接上gelu（高斯误差线性单元）激活函数，来对损失掩码进行建模，聚合以丢包为条件的不完整特征，将该损失掩码与重排回去的潜在特征连接以获得组合特征，再使用1个卷积层和1个gelu激活函数用于特征融合，并将融合后的特征输入到解码器中。通过对掩码进行显式建模，解码器可以根据特定的丢包情况聚合特征，从而更有效地适应丢包引起的特征分布变化；此时，损失函数l为：

13、，

14、其中表示量化后的重新排列的潜在特征的码率，表示量化后的超先验的码率，表示掩码条件聚合操作，表示解码器，表示输入图像x和解码器的输出之间的重建损失，是用于权衡码率和重建损失的重要性的权重参数。

15、步骤4中，在图像编解码网络训练的过程中，对潜在特征和超先验的尾部变量进行置零让图像编解码网络获得渐进式编码的能力，同时对非尾部的潜在特征再次通过置零部分通道的数据即通道随机遮盖对丢包进行模拟，基于吉尔伯特-艾略特模型来选择置零的通道位置。本专利技术引入吉尔伯特-艾略特模型，一种二态马尔可夫方法，来模拟现实世界的网络环境。该模型广泛用于表征有损连接的网络中的错误模式，并分析错误检测和纠正技术的性能。在真实的传输环境中，当执行通道级渐进编码时，丢包情况很难模拟，但通常会呈现持续的周期。这意味着如果一个信道丢失，则丢失后续信道的概率也会增加。吉尔伯特-艾略特模型可以轻松适应此类模拟，而随机掩码则不能，这会显着降低其在实际网络环境中的丢失恢复能力。另一方面，考虑到在训练过程中不进行分组化，在传输过程中根据比特率约束对信道进行分组和传输。因此，丢失同一组内多个通道的概率显着增加。该场景与吉尔伯特-艾略特模型的假设一致，更好地反映了可能发生的潜在丢包情况。

16、步骤5中，将压缩后的超先验作为一个包发送，对潜在特征进行分组打包：首先分别对潜在特征中每个通道进行压缩得到估计的信息量，然后按照通道索引的顺序组合潜在特征通道中的数据，当添加当前通道数据导致当前数据包大小超过数据包最大限制时，将当前通道之前的通道数据视为一个数据包，在实际传输过程中，可能与估计的信息内容存在轻微偏差，如果所述数据包中通道数据的实际压缩大小仍然超过数据包最大限制，将当前数据包分成两个数据包进行传输；最后检查当前数据包中最后一个通道的索引是否能够被4整除，如果是，将当前数据包的最后一个通道数据移动到下一个数据包，如果不是则不做额外操作。这本文档来自技高网...

【技术保护点】

1.一种针对不稳定卫星网络的抗丢失图像编码方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，步骤2包括：在编码时，对潜在特征进行空间通道重排，将潜在特征划分为长为2、宽为2且有4个通道的小立方体，在每个立方体内，将立方体左上角的数据都按照从左往右从上到下的顺序放到原来立方体的第1个通道，以此类推，右上角、左下角、右下角的数据分别重排到原来立方体的第2、3、4个通道，将所有小立方体都完成重排后经过量化得到重新排列的潜在特征。

3.根据权利要求2所述的方法，其特征在于，步骤3中，使用二进制掩码来标注重新排列的潜在特征，其中C为潜在特征的通道数，是重新排列后的潜在特征的掩码；如果第i个重新排列后的潜在特征的掩码表示已收到第i个重新排列的潜在特征，如果表示丢包，未收到第i个重新排列的潜在特征，，通过如下公式导出接收到的不完整特征：

4.根据权利要求3所述的方法，其特征在于，步骤3中，部署两个卷积层，每个卷积层后接上GELU激活函数，来对损失掩码进行建模，聚合以丢包为条件的不完整特征，将该损失掩码与重排回去的潜在特征连接以获得

5.根据权利要求4所述的方法，其特征在于，步骤4中，在图像编解码网络训练的过程中，对潜在特征和超先验的尾部变量进行置零让图像编解码网络获得渐进式编码的能力，同时对非尾部的潜在特征再次通过置零部分通道的数据即通道随机遮盖对丢包进行模拟，基于吉尔伯特-艾略特模型来选择置零的通道位置。

6.根据权利要求5所述的方法，其特征在于，步骤5中，将压缩后的超先验作为一个包发送，对潜在特征进行分组打包：首先分别对潜在特征中每个通道进行压缩得到估计的信息量，然后按照通道索引的顺序组合潜在特征通道中的数据，当添加当前通道数据导致当前数据包大小超过数据包最大限制时，将当前通道之前的通道数据视为一个数据包，在实际传输过程中，如果所述数据包中通道数据的实际压缩大小仍然超过数据包最大限制，将当前数据包分成两个数据包进行传输；最后检查当前数据包中最后一个通道的索引是否能够被4整除，如果是，将当前数据包的最后一个通道数据移动到下一个数据包，如果不是则不做额外操作。

7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述的方法的步骤。

8.一种存储介质，其特征在于，存储有计算机程序或指令，当所述计算机程序或指令在计算机上运行时，执行如权利要求1至6中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种针对不稳定卫星网络的抗丢失图像编码方法，其特征在于，包括以下步骤：

3.根据权利要求2所述的方法，其特征在于，步骤3中，使用二进制掩码来标注重新排列的潜在特征，其中c为潜在特征的通道数，是重新排列后的潜在特征的掩码；如果第i个重新排列后的潜在特征的掩码表示已收到第i个重新排列的潜在特征，如果表示丢包，未收到第i个重新排列的潜在特征，，通过如下公式导出接收到的不完整特征：

4.根据权利要求3所述的方法，其特征在于，步骤3中，部署两个卷积层，每个卷积层后接上gelu激活函数，来对损失掩码进行建模，聚合以丢包为条件的不完整特征，将该损失掩码与重排回去的潜在特征连接以获得组合特征，再使用1个卷积层和1个gelu激活函数用于特征融合，并将融合后的特征输入到解码器中；此时，损失函数l为：

5.根据权利要求4所述的方法，其特征...

【专利技术属性】
技术研发人员：陆明，沙宏伟，董沐晨，罗权友，陈浩，马展，
申请(专利权)人：南京大学，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人