基于混合语义的双流图像重建系统及方法技术方案

本发明专利技术提供一种基于混合语义的双流图像重建系统及方法，所述系统包括低级特征提取模块、高级语义特征提取模块、混合特征流模块、低级特征流模块、重建模块；设计混合特征流支路和低级特征流支路搭建重建网络，采用双特征流网络设计可以保证语义信息和结构信息更好地用于图像重建，其中混合特征流支路输出混合语义信息特征图，低级特征流支路输出结构信息特征图；低级特征流支路采用可变形卷积模块提取特征，利用可变形卷积可以自适应改变感受野，从而捕获一些重要的信息；为了加强特征的传播和重用，采用特征融合技术concat()操作和add()操作；本发明专利技术方法可以重建出质量较好的图像，且重建的图像会保留完整的结构信息和语义信息。信息。信息。

【技术实现步骤摘要】
基于混合语义的双流图像重建系统及方法


[0001]本专利技术涉及图像重建领域，具体涉及一种基于混合语义的双流图像重建系统及方法。

技术介绍

[0002]在互联网高速发展的今天，每天都会涌现海量的数据，其中图像数据占据了互联网数据的很大一部分，每天都有海量的图像数据产生和传输，网络传输压力越来越大。既能节省存储空间又能减轻网络传输压力的图像重建方法对人们的生活和工作具有重要的意义。根据任务或者生成结果的不同，广义的图像重建包括去噪、去模糊、图像恢复、图像修复、图像超分、图像压缩和图像翻译等。
[0003]基于块的传统图像压缩方法(如JPEG)编码过程包括变换、量化和编码，解码过程进行相应的反变换，包括解码、反量化和反变换过程，解码过程即图像的重建过程，主要通过减少像素级冗余来提高编码效率，是一种基于像素的图像压缩技术。近年来，随着计算力的提升和深度学习强大的非线性表达能力，卷积神经网络在计算机视觉任务(图像分类、图像分割和目标检测等)上取得了重大突破。目前基于卷积神经网络CNN的图像重建方法主要分为三类：1)使用超先验网络和自编码器结构的图像重建(参见文献：Ball
é
,Minnen D,Singh S, et al.Variational image compression with a scale hyperprior[J].2018)；2)使用特征提取和卷积网络进行端到端的图像重建(参见文献：Agustsson E,Tschannen M,Mentzer F,et al. Generative Adversarial Networks for Extreme Learned Image Compression[C]//2019IEEE/CVFInternational Conference on Computer Vision(ICCV).IEEE,2019.)；3)使用特征和生成对抗网络GAN网络的图像重建(参见文献：Isola P,Zhu J Y,Zhou T,et al.Image
‑
to
‑
ImageTranslation with Conditional Adversarial Networks[J].IEEE,2016.)。方法1)中使用自编码器进行特征提取得到潜在特征点，然后通过超先验网络对潜在特征点进行结构层次的信息捕获，还要对潜在特征点进行自适应建模，将熵解码结果输入到主解码端得到最终的重建图片，整个网络的参数优化依旧使用整体的率失真函数L＝λ*D+R。方法2)中使用编码器(特征提取)、生成器和多尺度的判别器来联合训练一个生成模型来进行图像重建，具体过程为源图像和语义分割图送入编码器进行特征提取得到潜在特征，潜在特征量化得到量化特征，将量化特征送入生成器得到重建图像。其中生成器可以输入语义分割图来保留用户特定区域的细节，训练使用对抗性损失，以获取全局语义信息。方法3)中基于条件生成对抗网络CGAN，通过添加条件信息来指导图像的重建，使用边缘特征、语义标签图等而作为条件信息。
[0004]但传统图像压缩方法以像素块为单位，在进行压缩时会丢失全局语义信息，尤其在低比特率时往往会导致解码图像出现严重的失真，如块伪影和边缘模糊。方法1)中使用超先验架构，对每个特征点进行建模，而没有使用视觉特征。方法2)中在自然图像上既可以获得较高的压缩率又可以重建出令人满意的图像，但在重建和判别时需要使用语义分割图，而获取图像的准确语义分割往往是很困难的，尤其是背景较为复杂的图像。方法3)中同
样存在获取语义分割标签困难，重建图像质量不清晰、图像模糊的问题。

技术实现思路

[0005]基于上述问题，本专利技术提供的一种基于混合语义的双流图像重建系统，包括：低级特征提取模块、高级语义特征提取模块、混合特征流模块、低级特征流模块、重建模块；
[0006]所述低级特征提取模块用于根据边缘检测算法提取图像的边缘特征作为低级特征；
[0007]所述高级语义特征提取模块用于根据变分自编码器和重参数化方法提取图像的高级语义特征；
[0008]所述低级特征流模块用于根据低级特征重建图像特征x
′
out
；
[0009]所述混合特征流模块用于根据低级特征和高级语义特征重建图像特征x
nout
；
[0010]所述重建模块用于根据特征x
′
out
、x
nout
重建图像。
[0011]所述低级特征提取模块中边缘检测算法使用PiDiNet网络；
[0012]所述高级语义特征提取模块中变分自编码器采用152层的残差网络(简称ResNet
‑
152) 网络构建；
[0013]所述低级特征流模块采用可变形卷积块构建；
[0014]所述混合特征流模块包括可变形卷积、全连接层和渐进式块G
i
，可变形卷积的卷积核大小为3*3；渐进式块G
i
采用带注意力机制的残差网络块(简称SE
‑
ResNet块)构建；
[0015]所述重建模块包括特征融合concat()操作、3*3卷积和To RGB模块，To RGB模块包括一个3*3的二维卷积和谱范数正则化操作。
[0016]所述渐进式块G
i
的主干网络是Bottleneck残差块，其中Bottleneck残差块是由1*1卷积、 3*3卷积和1*1卷积三个卷积层构成，使用LeakyRelu()激活函数进行激活。
[0017]本专利技术提供的一种基于混合语义的双流图像重建方法，基于所述的基于混合语义的双流图像重建系统实现，所述方法包括：
[0018]步骤1：获取图像X，对图像X进行预处理得到像素为N*N的待重建图像x；
[0019]步骤2：将待重建图像x送入低级特征提取模块，提取图像的低级特征l；
[0020]步骤3：将待重建图像x送入高级语义特征提取模块，提取图像的高级语义特征h；
[0021]步骤4：将步骤2提取到的低级特征l和步骤3提取到的高级语义特征h送入混合特征流模块，提取用于重建图像的特征x
nout
；
[0022]步骤5：将步骤2提取到的低级特征l送入低级特征流模块，提取用于重建图像的特征x
′
out
；
[0023]步骤6：将特征x
nout
和x
′
out
送入重建模块，输出重建图像
[0024]所述步骤3包括：
[0025]步骤3.1：将待重建图像x输入到ResNet
‑
152主干网络提取特征；
[0026]步骤3.2：将步骤3.1得到的特征经过一个256维的全连接层，经过一个n
z
维的全连接层，得到高级语义特征h的均值μ和对数方差log
e
σ2；
[0027]步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合语义的双流图像重建系统，其特征在于，包括：低级特征提取模块、高级语义特征提取模块、混合特征流模块、低级特征流模块、重建模块；所述低级特征提取模块用于根据边缘检测算法提取图像的边缘特征作为低级特征；所述高级语义特征提取模块用于根据变分自编码器和重参数化方法提取图像的高级语义特征；所述低级特征流模块用于根据低级特征重建图像特征x
′
out
；所述混合特征流模块用于根据低级特征和高级语义特征重建图像特征x
nout
；所述重建模块用于根据特征x
′
out
、x
nout
重建图像。2.根据权利要求1所述的一种基于混合语义的双流图像重建系统，其特征在于，所述低级特征提取模块中边缘检测算法使用PiDiNet网络；所述高级语义特征提取模块中变分自编码器采用ResNet
‑
152网络构建；所述低级特征流模块采用可变形卷积块构建；所述混合特征流模块包括可变形卷积、全连接层和渐进式块G
i
，可变形卷积的卷积核大小为3*3；渐进式块G
i
采用SE
‑
ResNet块构建；所述重建模块包括特征融合concat()操作、3*3卷积和To RGB模块，To RGB模块包括一个3*3的二维卷积和谱范数正则化操作。3.根据权利要求1所述的一种基于混合语义的双流图像重建系统，其特征在于，所述渐进式块G
i
的主干网络是Bottleneck残差块，其中Bottleneck残差块是由1*1卷积、3*3卷积和1*1卷积三个卷积层构成，使用LeakyRelu()激活函数进行激活。4.一种基于混合语义的双流图像重建方法，基于权利要求1～2任意一项所述的基于混合语义的双流图像重建系统实现，其特征在于，所述方法包括：步骤1：获取图像X，对图像X进行预处理得到像素为N*N的待重建图像x；步骤2：将待重建图像x送入低级特征提取模块，提取图像的低级特征l；步骤3：将待重建图像x送入高级语义特征提取模块，提取图像的高级语义特征h；步骤4：将步骤2提取到的低级特征l和步骤3提取到的高级语义特征h送入混合特征流模块，提取用于重建图像的特征x
nout
；步骤5：将步骤2提取到的低级特征l送入低级特征流模块，提取用于重建图像的特征x
′
out
；步骤6：将特征x
nout
和x
′
out
送入重建模块，输出重建图像5.根据权利要求4所述的一种基于混合语义的双流图像重建方法，其特征在于，所述步骤3包括：步骤3.1：将待重建图像x输入到ResNet
‑
152主干网络提取特征；步骤3.2：将步骤3.1得到的特征经过一个256维的全连接层，经过一个n
z
维的全连接层，得到高级语义特征h的均值μ和对数方差log
e
σ2；步骤3.3：将均...

【专利技术属性】
技术研发人员：雷为民，梁辉，赵莹月，张伟，陈新怡，
申请(专利权)人：东北大学，
类型：发明
国别省市：