一种人脸图像压缩方法和系统技术方案

本申请实施例公开了一种图像压缩方法和系统，所述方法包括：从原始人脸图像输入风格编码器和内容编码器，以提取风格特征和结构特征；分别进行概率估计和熵编码，得到风格特征对应的风格编码比特流和结构特征对应的结构编码比特流，输入解码器和多任务分析网络；解码器对所述风格编码比特流和结构编码比特流的图像进行重建，输出重建图；多任务分析网络对所述风格编码比特流和结构编码比特流进行语义理解分析，输出图像的语义信息。在极高压缩效率的情况下，保持重建图像的高主观视觉评价质量，并且节省解码时间与资源开销。并且节省解码时间与资源开销。并且节省解码时间与资源开销。

【技术实现步骤摘要】
一种人脸图像压缩方法和系统


[0001]本申请实施例涉及数字信号处理
，具体涉及一种人脸图像压缩方法和系统。

技术介绍

[0002]基于神经网络的图像/视频压缩方法近年来发展迅速，其压缩重建图像质量已经在PSNR、MS
‑
SSIM等客观指标上超过新一代视频编码标准VVC。基于生成模型的压缩框架可以在不影响直接反应人眼观看效果的相关评价指标的前提下，极大限度地提升了压缩比。
[0003]目前在各种研究中，基于神经网络的端到端图像编码面临两大问题：一是对于输入的原始图像信号表示机理有限，缺乏对目前广泛应用的计算机视觉处理任务的支持；二是信号接收端资源有限，不足以支撑参数量庞大的神经网络模型。

技术实现思路

[0004]为此，本申请实施例提供一种图像压缩方法和系统，在极高压缩效率的情况下，保持重建图像的高主观视觉评价质量，并且节省解码时间与资源开销。
[0005]为了实现上述目的，本申请实施例提供如下技术方案：
[0006]根据本申请实施例的第一方面，提供了一种人脸图像压缩方法，所述方法包括：
[0007]从原始人脸图像输入风格编码器和内容编码器，以提取风格特征和结构特征；
[0008]分别进行概率估计和熵编码，得到风格特征对应的风格编码比特流和结构特征对应的结构编码比特流，输入解码器和多任务分析网络；
[0009]解码器对所述风格编码比特流和结构编码比特流的图像进行重建，输出重建图；多任务分析网络对所述风格编码比特流和结构编码比特流进行语义理解分析，输出图像的语义信息。
[0010]可选地，分别进行概率估计和熵编码，得到风格特征对应的风格编码比特流和结构特征对应的结构编码比特流，包括：
[0011]分别将风格特征和结构特征进行量化，得到量化后的风格特征和结构特征；
[0012]分别根据概率估计模型计算的概率估计结果将量化后的风格特征和结构特征进行熵编码，得到风格特征对应的风格编码比特流和结构特征对应的结构编码比特流。
[0013]可选地，解码器对所述风格编码比特流和结构编码比特流的图像进行重建，输出重建图，包括：
[0014]通过解码器中的融合模块将风格编码比特流和结构编码比特流进行融合，通过多层感知MLP处理，以学习残差块中卷积层的均值和方差；
[0015]通过解码器中的生成器对融合后的编码比特流执行图像压缩任务，得到压缩后的重建图像；
[0016]通过所述判别器对所述压缩后的重建图像进行判别，得到损失优化函数；根据损失优化函数训练所述生成器。
[0017]可选地，所述损失优化函数按照如下公式：
[0018][0019][0020]其中，D为判别器，E为内容编码器和风格编码器，G为生成器，P为概率估计模型，x为原始人脸图像，为重建图像，为量化后的风格特征和结构特征，p为概率估计结果，λ、β为超参数。
[0021]可选地，所述多任务分析网络对所述风格编码比特流和结构编码比特流进行语义理解分析，输出图像的语义信息，包括：
[0022]将风格编码比特流和结构编码比特流输入所述多任务分析网络中，通过融合模块对编码比特流进行融合，再根据多任务分析损失函数对多任务分析网络进行训练，得到对应的任务结果，作为图像的语义信息的输出。
[0023]可选地，所述多任务分析损失函数L
multi
按照如下公式计算：
[0024]L
multi
＝λ
cls
l
cls
+λ
seg
l
seg
[0025]其中，l
cls
、l
seg
分别是分类任务与分割任务的损失函数，λ
cls
、λ
seg
是对应的权重超参数。
[0026]可选地，所述方法还包括：通过对所述多任务分析损失函数的优化，训练所述多任务分析模型中的参数，以获得全局最优解；其中多任务分析模型的训练中应用的总损失函数按照如下公式：
[0027]L＝L
EGP
+L
D
+γL
multi
[0028]其中，γ为超参数。
[0029]根据本申请实施例的第二方面，提供了一种人脸图像压缩系统，所述系统包括：
[0030]特征提取模块，用于从原始人脸图像输入风格编码器和内容编码器，以提取风格特征和结构特征；
[0031]编码模块，用于分别进行概率估计和熵编码，得到风格特征对应的风格编码比特流和结构特征对应的结构编码比特流，输入解码器和多任务分析网络；
[0032]压缩解码模块，用于解码器对所述风格编码比特流和结构编码比特流的图像进行重建，输出重建图；
[0033]多任务分析模块，用于多任务分析网络对所述风格编码比特流和结构编码比特流进行语义理解分析，输出图像的语义信息。
[0034]根据本申请实施例的第三方面，提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行以实现上述第一方面所述的方法。
[0035]根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现上述第一方面所述的方法。
[0036]综上所述，本申请实施例提供了一种图像压缩方法和系统，通过从原始人脸图像输入风格编码器和内容编码器，以提取风格特征和结构特征；分别进行概率估计和熵编码，
得到风格特征对应的风格编码比特流和结构特征对应的结构编码比特流，输入解码器和多任务分析网络；解码器对所述风格编码比特流和结构编码比特流的图像进行重建，输出重建图；多任务分析网络对所述风格编码比特流和结构编码比特流进行语义理解分析，输出图像的语义信息。在极高压缩效率的情况下，保持重建图像的高主观视觉评价质量，并且节省解码时间与资源开销。
附图说明
[0037]为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0038]本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
能涵盖的范围内。
[0039]图1为本申请实施例提供的一种人脸图像压缩方法流程示意图；
[0040]图2为本申请实施例提供的技术方案流程图；
[0041]图3为本申请实施例提供的多任务分析网络结构图；...

【技术保护点】

【技术特征摘要】
1.一种人脸图像压缩方法，其特征在于，所述方法包括：从原始人脸图像输入风格编码器和内容编码器，以提取风格特征和结构特征；分别进行概率估计和熵编码，得到风格特征对应的风格编码比特流和结构特征对应的结构编码比特流，输入解码器和多任务分析网络；解码器对所述风格编码比特流和结构编码比特流的图像进行重建，输出重建图；多任务分析网络对所述风格编码比特流和结构编码比特流进行语义理解分析，输出图像的语义信息。2.如权利要求1所述的方法，其特征在于，所述分别进行概率估计和熵编码，得到风格特征对应的风格编码比特流和结构特征对应的结构编码比特流，包括：分别将风格特征和结构特征进行量化，得到量化后的风格特征和结构特征；分别根据概率估计模型计算的概率估计结果将量化后的风格特征和结构特征进行熵编码，得到风格特征对应的风格编码比特流和结构特征对应的结构编码比特流。3.如权利要求1所述的方法，其特征在于，所述解码器对所述风格编码比特流和结构编码比特流的图像进行重建，包括：通过解码器中的融合模块将风格编码比特流和结构编码比特流进行融合，通过多层感知MLP处理，以学习残差块中卷积层的均值和方差；通过解码器中的生成器对融合后的编码比特流执行图像压缩任务，得到压缩后的重建图像；通过判别器对所述压缩后的重建图像进行判别，得到损失优化函数；根据损失优化函数训练所述生成器。4.如权利要求3所述的方法，其特征在于，所述损失优化函数按照如下公式：4.如权利要求3所述的方法，其特征在于，所述损失优化函数按照如下公式：其中，D为判别器，E为内容编码器和风格编码器，G为生成器，P为概率估计模型，x为原始人脸图像，为重建图像，为量化后的风格特征和结构特征，p为概率估计结果，λ、β为超参数。5.如权利要求1所述的方法，其特征在于，所述多任务分析网络对所述风格编码比特流和结构编码比特流进行语义理解分析，输出图像的语义信息，包括：将风格编码比特流和结构编码比特流输入所述多任务分析网络中，通过融合模块对编码比特流进行融合，再根据多任务分析损失函数对多任务分析网络进行训练，得到对应的任务结果，...

【专利技术属性】
技术研发人员：贾川民，张悦枫，马思伟，王苫社，
申请(专利权)人：北京大学，
类型：发明
国别省市：