【技术实现步骤摘要】
本专利技术涉及图像压缩的，尤其涉及一种自适应纬度感知变换编码的360°图像压缩方法，以及一种自适应纬度感知变换编码的360°图像压缩装置。
技术介绍
1、360°图像，也称为全景图像、全方位图像或球面图像，与仅覆盖有限平面的2d图像不同，它覆盖了视角为360°×180°的场景。观察者就像站在360°图像拍摄的中心位置一样，可以从不同的角度观看图像。近年来，随着虚拟现实(virtual reality,vr)的快速发展，作为vr载体的360°图像提供了一种沉浸式的体验，变得越来越流行。这导致了360°图像数量的大幅增加，并且这些图像为了确保质量需要较高的分辨率。数量庞大和超高分辨率的360°图像给存储和传输带了巨大的压力，因此，迫切需要开发一种高效的360°图像压缩技术来缓解这种压力。
2、在过去的十年中，360°图像被以各种格式表示，并随后使用hevc和vvc等传统编解码进行压缩。通常，360°图像被表示为等矩形投影(equirectangular projection,erp)格式图像，由于erp图像便于后续处理，称为最广泛使用的格式。然而，erp图像由于过采样，从赤道到两极会逐渐出现失真。一些方法已经被提出以缓解这些问题，包括采样密度校正方法，重投影方法，以及感知压缩方法。然而，这些方法取得的成功有限。此外，这些传统编解码使用非线性变换编码，使得难以实现最佳的率失真性能。
3、近年来，由于深度神经网络强大的学习能力，基于传统编解码架构的平面图像压缩(通常包括变换、量化和熵建模这三个步骤)在端到端的方式
技术实现思路
1、为克服现有技术的缺陷，本专利技术要解决的技术问题是提供了一种自适应纬度感知变换编码的360°图像压缩方法，其码率节省上有显著优势，能够有效解决erp图像的失真冗余问题。
2、本专利技术的技术方案是：这种自适应纬度感知变换编码的360°图像压缩方法，包括以下步骤：
3、(1)设计自适应纬度感知模块：先选择四个适当尺寸的矩形卷积核5×11、3×9、5×7、7×7来捕捉不同纬度区域的失真冗余，采用膨胀率为(2,5)、(1,4)、(2,3)和(3,3)的3×3卷积核来实现矩形卷积核的效果，并使用深度卷积进行特征提取；
4、(2)构建多尺度门控卷积神经网络：首先将归一化后的特征按通道分为三个大小相等的特征，然后将它们输入三个并行分支中的深度卷积网络，这些卷积核的大小分别为3×3、5×5、7×7，用于探索多尺度表示；然后将多尺度提取的特征表示进行拼接，并通过卷积进行通道融合；最后对融合后的特征应用gelu函数作为门控机制，并与原始特征进行按元素相乘；
5、(3)变换调制重要性特征激活图引导的空间特征：首先使用重要性特征激活网络，该网络包括三个残差块和一个sigmoid激活函数，以生成重要性特征激活图m；然后，使用m作为空间特征变换的外部条件，为潜在表示y的每个元素生成仿射参数α和β，y被量化为
6、另一方面y被传送到熵模型网络，以学习潜在表示的概率分布参数μ和σ；
7、(4)构建学习的360°图像压缩整体框架：为了训练稳定，在每个模块前嵌入了层归一化，通过卷积下采样和转置上采样，将alab渐进式地插入到分析变换和合成变换中，分析变换逐渐并自适应地感知不同纬度的失真冗余，而合成变换逐步促进原始失真erp图像的生成；
8、潜在表示y被建模为高斯分布，为了对y分布的均值μ和方差σ进行很好的估计，利用超先验和上下文模型所构成的熵模型进行估计；基于分析变换，合成变换和熵模型，构建学习的360°图像压缩整体框架，
9、用于端到端的训练。
10、本专利技术设计了自适应纬度失真感知模块来感知不同纬度的失真和冗余，多尺度门控卷积神经网络来抑制自适应纬度感知模块带来的特征冗余并提取多尺度丰富的上下文信息，结合自适应纬度感知模块和多尺度卷积门控神经网络，构建自适应纬度感知块，设计了重要性特征激活图引导的空间特征变换来对隐变量进行调制将码率分配给重要区域，通过所设计的模块和已有的熵模型，构建整个学习的360°图像压缩框架，因此该方法码率节省上有显著优势，能够有效解决erp图像的失真冗余问题。
11、还提供了一种自适应纬度感知变换编码的360°图像压缩装置，该装置包括：
12、自适应纬度感知模块，其配置来先选择四个适当尺寸的矩形卷积核5
13、×11、3×9、5×7、7×7来捕捉不同纬度区域的失真冗余，采用膨胀率为(2,5)、(1,4)、(2,3)和(3,3)的3×3卷积核来实现矩形卷积核的效果，并使用深度卷积进行特征提取；
14、多尺度门控卷积神经网络模块，其配置来首先将归一化后的特征按通道分为三个大小相等的特征，然后将它们输入三个并行分支中的深度卷积网络，这些卷积核的大小分别为3×3、5×5、7×7，用于探索多尺度表示；然后将多尺度提取的特征表示进行拼接，并通过卷积进行通道融合；最后对融合后的特征应用gelu函数作为门控机制，并与原始特征进行按元素相乘；
15、变换调制模块，其配置来首先使用重要性特征激活网络，该网络包括三个残差块和一个sigmoid激活函数，以生成重要性特征激活图m；
16、然后，使用m作为空间特征变换的外部条件，为潜在表示y的每个元素生成仿射参数α和β，y被量化为另一方面y被传送到熵模型网络，以学习潜在表示的概率分布参数μ和σ；
17、学习的360°图像压缩整体框架：其配置来为了训练稳定，在每个模块前嵌入了层归一化，通过卷积下采样和转置上采样，将alab渐进式地插入到分析变换和合成变换中，分析变换逐渐并自适应地感知不同纬度的失真冗余，而合成变换逐步促进原始失真erp图像的生成；
18、潜在表示y被建模为高斯分布，为了对y分布的均值μ和方差σ进行很好的估计，利用超先验和上下文模型所构成的熵模型进行估计；基于分析变换，合成变换和熵模型，构建学习的360°图像本文档来自技高网...
【技术保护点】
1.自适应纬度感知变换编码的360°图像压缩方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的自适应纬度感知变换编码的360°图像压缩方法，其特征在于：所述步骤(1)中，
3.根据权利要求2所述的自适应纬度感知变换编码的360°图像压缩方法，其特征在于：所述步骤(1)中，纬度自适应选择机制包括：
4.根据权利要求3所述的自适应纬度感知变换编码的360°图像压缩方法，其特征在于：所述步骤(2)中，卷积核用于探索多尺度表示：
5.根据权利要求3所述的自适应纬度感知变换编码的360°图像压缩方法，其特征在于：所述步骤(3)中，使用m作为空间特征变换的外部条件，为潜在表示y的每个元素生成仿射参数α和β，这一过程表示如下：
6.自适应纬度感知变换编码的360°图像压缩装置，其特征在于：该装置包括：
7.根据权利要求6所述的自适应纬度感知变换编码的360°图像压缩装置，其特征在于：所述自适应纬度感知模块中，
8.根据权利要求7所述的自适应纬度感知变换编码的360°图像压缩装置，其特征在于：所述自
9.根据权利要求8所述的自适应纬度感知变换编码的360°图像压缩装置，其特征在于：所述多尺度门控卷积神经网络模块中，卷积核用于探索多尺度表示：
10.根据权利要求9所述的自适应纬度感知变换编码的360°图像压缩装置，其特征在于：所述变换调制模块中，使用m作为空间特征变换的外部条件，为潜在表示y的每个元素生成仿射参数α和β，这一过程表示如下：
...【技术特征摘要】
1.自适应纬度感知变换编码的360°图像压缩方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的自适应纬度感知变换编码的360°图像压缩方法，其特征在于：所述步骤(1)中，
3.根据权利要求2所述的自适应纬度感知变换编码的360°图像压缩方法，其特征在于：所述步骤(1)中，纬度自适应选择机制包括：
4.根据权利要求3所述的自适应纬度感知变换编码的360°图像压缩方法，其特征在于：所述步骤(2)中，卷积核用于探索多尺度表示：
5.根据权利要求3所述的自适应纬度感知变换编码的360°图像压缩方法，其特征在于：所述步骤(3)中，使用m作为空间特征变换的外部条件，为潜在表示y的每个元素生成仿射参数α和β，这一过程表示如下：
6.自适...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。