一种基于块掩膜的语义结构化图像编解码方法及系统技术方案

本发明专利技术公开了一种基于块掩膜的语义结构化图像编解码方法及系统，引入块掩膜的方式对图像进行划分，相较而言更加灵活多变，拥有更强的可操控性和可拓展性，相较于原有的语义结构化编码方法，本发明专利技术能够在利用语义结构化图像编码技术编码对象重叠甚至密集场景的图像时，保持编码效率和提高灵活性。保持编码效率和提高灵活性。保持编码效率和提高灵活性。

【技术实现步骤摘要】
一种基于块掩膜的语义结构化图像编解码方法及系统


[0001]本专利技术涉及图像压缩编码
，尤其涉及一种基于块掩膜的语义结构化图像编解码方法及系统。

技术介绍

[0002]现有图像压缩技术主要针对面向人眼视觉的图像压缩，而随着深度学习的快速发展，机器智能分析人物逐渐在人类社会生产生活的各个领域发挥重要作用。传统的面向人眼的压缩方法需要将图像所有的信息进行压缩传输，在智能任务分析端需要对整幅图像进行解码得到完整图像再送入后续的智能任务分析模型。为了更加高效地支持人机混合智能应用，已有方法提出了图像语义结构化码流的概念，例如，方案一：授权公告号为CN110225341B的中国专利技术专利《一种任务驱动的码流结构化图像编码方法》，其中引入目标检测的区域决策网络和对齐模块，基于压缩特征提取对象存在区域的边界框，依据边界框对特征进行空间层面的分割。被分割后的特征将按顺序分别进行熵编码形成结构化码流。
[0003]然而，在诸多实际应用场景例如自动驾驶、智慧城市中，往往存在待处理的图像中包含重叠甚至密集的对象。方案一在处理这一类图像时，往往采用直接基于检测结果对图像或者压缩特征进行空间层面的分割，该操作会导致重叠区域的重复编码，在重叠面积过大或者对象密集的情况下将严重影响编码效率。
[0004]方案二：公开号为CN112929662A的中国专利技术专利申请《解决码流结构化图像编码方法中对象重叠问题的编码方法》，采取了对存在重叠的对象取其外接矩形后将其编码后作为一整段码流置于结构化码流中。该解决方案的问题在于不同对象的外接矩形框也有可能包含大量非目标矩形框以内的背景信息，降低了针对特定智能任务的编码效率。

技术实现思路

[0005]本专利技术的目的是提供一种基于块掩膜的语义结构化图像编解码方法及系统，通过块掩膜的方式来对图像进行语义结构化编码，使得语义结构化图像编码在图像中对象重叠乃至密集时保持了高效性和灵活性。
[0006]本专利技术的目的是通过以下技术方案实现的：
[0007]一种基于块掩膜的语义结构化图像编解码方法，包括：
[0008]编码部分：对输入图像进行目标检测，获得目标检测结果与实例分割结果，并结合预定义的块尺寸信息生成块掩膜，通过所述块掩膜来区分目标物体所属组别；使用深度图像编码器的变换操作得到输入图像的图像特征，将所述图像特征进行超先验变换与量化，获得量化超先验特征，将所述量化超先验特征进行超先验反变换获得整体的概率分布，以及将输入图像的尺寸信息、量化超先验特征、目标检测结果、块尺寸信息以及块掩膜分别进行熵编码，再拼接获得码流头信息；以及，将所述图像特征进行量化，获得量化图像特征，再结合块掩膜将量化图像特征在空间维度上进行分组，每一分组为一个组别的特征，称为组别特征，结合所述整体的概率分布对所有组别特征分别进行熵编码，根据任务设定选出所
有指定组别，将所有指定组别对应的熵编码流组合形成码流的纹理部分；所述码流头信息与所述码流的纹理部分构成语义结构化码流；
[0009]解码部分：对语义结构化码流中的码流头信息进行解码，获得输入图像的尺寸信息、量化超先验特征、目标检测结果、块尺寸信息以及块掩膜；对所述量化超先验特征进行超先验反变换，获得整体的概率分布；从纹理部分取出每一指定组别对应的码流，结合所述整体的概率分布，进行熵解码获得每一指定组别对应的组别特征，再结合块掩膜将所有指定组别对应的组别特征共同重组为重组量化图像特征；结合输入图像的尺寸信息与重组量化图像特征，通过深度图像解码器的反变换操作获得重建图像。
[0010]一种基于块掩膜的语义结构化图像编解码系统，包括：
[0011]编码单元，用于执行编码部分，所述编码部分包括：对输入图像进行目标检测，获得目标检测结果与实例分割结果，并结合预定义的块尺寸信息生成块掩膜，通过所述块掩膜来区分目标物体所属组别；使用深度图像编码器的变换操作得到输入图像的图像特征，将所述图像特征进行超先验变换与量化，获得量化超先验特征，将所述量化超先验特征进行超先验反变换获得整体的概率分布，以及将输入图像的尺寸信息、量化超先验特征、目标检测结果、块尺寸信息以及块掩膜分别进行熵编码，再拼接获得码流头信息；以及，将所述图像特征进行量化，获得量化图像特征，再结合块掩膜将量化图像特征在空间维度上进行分组，每一分组为一个组别的特征，称为组别特征，结合所述整体的概率分布对所有组别特征分别进行熵编码，根据任务设定选出所有指定组别，将所有指定组别对应的熵编码流组合形成码流的纹理部分；所述码流头信息与所述码流的纹理部分构成语义结构化码流；
[0012]解码单元，用于执行解码部分，所述解码部分包括：对语义结构化码流中的码流头信息进行解码，获得输入图像的尺寸信息、量化超先验特征、目标检测结果、块尺寸信息以及块掩膜；对所述量化超先验特征进行超先验反变换，获得整体的概率分布；从纹理部分取出每一指定组别对应的码流，结合所述整体的概率分布，进行熵解码获得每一指定组别对应的组别特征，再结合块掩膜将所有指定组别对应的组别特征共同重组为重组量化图像特征；结合输入图像的尺寸信息与重组量化图像特征，通过深度图像解码器的反变换操作获得重建图像。
[0013]一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
[0014]其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
[0015]一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
[0016]由上述本专利技术提供的技术方案可以看出，引入块掩膜的方式对图像进行划分，相较而言更加灵活多变，拥有更强的可操控性和可拓展性，相较于原有的语义结构化编码方法(即前述方案一与方案二)，本专利技术能够在利用语义结构化图像编码技术编码对象重叠甚至密集场景的图像时，保持编码效率和提高灵活性。
附图说明
[0017]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本
领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0018]图1为本专利技术实施例提供的一种基于块掩膜的语义结构化图像编解码方法的框架图；
[0019]图2为本专利技术实施例提供的对输入图像进行智能分析并生成对应块掩膜的示意图；
[0020]图3为本专利技术实施例提供的输入图像与目标检测及实例分割结果的示意图；
[0021]图4为本专利技术实施例提供的将重叠的目标根据目标检测结果拼接作为一组的示意图；
[0022]图5为本专利技术实施例提供的将重叠的目标根据实例分割结果拼接作为一组的示意图；
[0023]图6为本专利技术实施例提供的将重叠的目标根据实例分割结果分成不同组的示意图；
[0024]图7为本专利技术实施例提供的一种基于块掩膜的语义结构化图像编解码系统的示意图；
[0025]图8为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于块掩膜的语义结构化图像编解码方法，其特征在于，包括：编码部分：对输入图像进行目标检测，获得目标检测结果与实例分割结果，并结合预定义的块尺寸信息生成块掩膜，通过所述块掩膜来区分目标物体所属组别；使用深度图像编码器的变换操作得到输入图像的图像特征，将所述图像特征进行超先验变换与量化，获得量化超先验特征，将所述量化超先验特征进行超先验反变换获得整体的概率分布，以及将输入图像的尺寸信息、量化超先验特征、目标检测结果、块尺寸信息以及块掩膜分别进行熵编码，再拼接获得码流头信息；以及，将所述图像特征进行量化，获得量化图像特征，再结合块掩膜将量化图像特征在空间维度上进行分组，每一分组为一个组别的特征，称为组别特征，结合所述整体的概率分布对所有组别特征分别进行熵编码，根据任务设定选出所有指定组别，将所有指定组别对应的熵编码流组合形成码流的纹理部分；所述码流头信息与所述码流的纹理部分构成语义结构化码流；解码部分：对语义结构化码流中的码流头信息进行解码，获得输入图像的尺寸信息、量化超先验特征、目标检测结果、块尺寸信息以及块掩膜；对所述量化超先验特征进行超先验反变换，获得整体的概率分布；从纹理部分取出每一指定组别对应的码流，结合所述整体的概率分布，进行熵解码获得每一指定组别对应的组别特征，再结合块掩膜将所有指定组别对应的组别特征共同重组为重组量化图像特征；结合输入图像的尺寸信息与重组量化图像特征，通过深度图像解码器的反变换操作获得重建图像。2.根据权利要求1所述的一种变码率语义结构化图像编解码方法，其特征在于，所述对输入图像进行目标检测，获得目标检测结果与实例分割结果，并结合预定义的块尺寸信息生成块掩膜包括：将输入图像尺寸记为H
×
W
×
C，其中，H和W分别代表输入图像的高度和宽度，C为通道数目；预定义的块尺寸信息记为B，它表示图像块边长，图像块的尺寸为B
×
B；结合目标检测结果、实例分割结果与预定义的块尺寸信息生成块掩膜m，块掩膜m尺寸为的灰度图像，每一像素的值为0
‑
255的整数，块掩膜中每个像素的值代表其对应的图像块所隶属的组别。3.根据权利要求1或2所述的一种变码率语义结构化图像编解码方法，其特征在于，所述目标检测结果包括：目标物体的数目、每一个目标物体的位置以及类别；每一目标物体的位置包括：目标物体的左上角坐标的横轴位置、左上角坐标的纵轴位置、高度与宽度。4.根据权利要求3所述的一种变码率语义结构化图像编解码方法，其特征在于，对目标检测结果分别进行熵编码是指对目标物体的数目，...

【专利技术属性】
技术研发人员：陈志波，冯若愚，金鑫，孙思萌，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：