【技术实现步骤摘要】
本专利技术涉及数字图像的压缩，特别是涉及基于深度学习的图像集的压缩。
技术介绍
1、手持相机和移动电话的广泛使用，使得拍摄和分享照片比以往任何时候都更方便，也导致近年来拍摄和分享的数字图像大量增加。这一趋势导致了图像集的数量的爆炸性增长，为其存储、备份和维护带来了巨大的挑战。因此，开发高效的图像集压缩算法是一个迫切的需求。
2、目前流行的压缩方案，是进行单个图像的压缩。然而，这种方法只减少了图像内的冗余，目的是为了达到每个单独的图像的紧凑表示。可是，在图像集压缩的情况下，存在的冗余度远不止图像内部的冗余度，这表明图像集中的不同图像在多个粒度上具有相似性。这种共享信息可以通过去除图像间的冗余来进一步利用。这促使人们通过开发伪视频编码方法来制定压缩策略，因为集合中的一系列图像可以形成伪视频。然而，传统的基于视频的解决方案，依赖于现有的压缩方案，这些方案通常被设计为通过信号级别的比较来消除时间上的冗余。可是，这种策略可能不适合图像集，因为图像集中的图像不是以与和视频相同的方式获取的(例如，图像集中的图像是从具有不同背景、相机视角和设置的不同场景中捕获的)。因此，传统采用信号级别的冗余去除的方法效率低且繁琐。
技术实现思路
1、本专利技术在一方面提供了一种用于数字图像集压缩的计算机实现的方法，该图像集包括多个原始图像。该方法包括以下步骤：将多个原始图像的每一个都分解为三个部分：公共知识、唯一掩膜和唯一纹理；以及将公共知识、唯一掩膜和唯一纹理中的每一项分别压缩成为比特流。其中公共
2、优选地，公共知识从多个原始图像中的主参考图像中提取。
3、更优选地，主参考图像通过以下步骤而确定：为多个原始图像中的每一个确定唯一掩膜；将多个原始图像中的每一个和与之对应的唯一掩膜相乘，以获得多个对象图像；基于从多个对象图像中提取的特征的相似性，建立有向图；使用最小生成树算法处理所述有向图；以及将生成树中具有最大边数的节点作为主参考图像。
4、在一个示范性实施方式中，对所述公共知识进行压缩的步骤，还包括使用经过训练的可逆神经模块，在空间级别上将公共知识与多个图像对齐以消除公共知识中的冗余。
5、在一个示范性实施方式中，上述的分解步骤还包括通过u2-net显著性检测方法和alpha matting技术来从多个原始图像的每一个中提取唯一掩膜。
6、在一个示范性实施方式中，上述的压缩步骤还包括：将多个原始图像的唯一掩膜按照预定顺序形成为伪掩膜视频；以及使用视频编解码器对伪掩膜视频进行压缩，以实现对唯一掩膜的压缩。
7、优选地，预定顺序为深度优先搜索顺序。
8、在一个示范性实施方式中，上述的压缩步骤还包括在给定公共知识和唯一掩膜的条件下，对唯一纹理进行压缩。
9、优选地，对唯一纹理进行压缩的步骤，还包括：使用经过训练的可逆神经模块，在空间级别上将公共知识与多个图像对齐以消除公共知识中的冗余；使用对齐的公共知识以及多个图像中的每一个的唯一掩膜，对多个图像中的每一个进行感兴趣区域的纹理强化；以及对多个图像中的每一个进行可逆激活变换。
10、优选地，对齐步骤为从粗糙到精细的对齐。
11、更优选地，对齐步骤包括对多个图像中的每一个执行单应性变换；以及对多个图像中的每一个执行渐进式光流估计。
12、在一个示范性实施方式中，可逆神经模块通过使用训练对来进行训练；该训练对包括训练图像集中的一个原始对象图像，以及同一训练图像集中的另一个解码对象图像。
13、在另一方面，本专利技术提供了一种计算机实现的方法，用于从包括公共知识流、唯一掩膜流和唯一纹理流的多个比特流重建数字图像集。该方法包括以下步骤：从公共知识流解码出公共知识；从唯一掩膜流解码出对应于数字图像集中的多个图像的多个唯一掩膜；从唯一纹理流解码出对应于数字图像集中的多个图像的多个唯一纹理；和使用公共知识、多个唯一掩膜和多个唯一纹理重建数字图像集。
14、优选地，解码多个唯一纹理的步骤还包括在给定已解码的公共知识和唯一掩膜的条件下，对唯一纹理进行解码。
15、优选地，上述方法还包括使用后处理模型，利用对齐的公共知识作为指导来增强已重建的数字图像集的感知质量。
16、在一个示范性实施方式中，增强已重建的数字图像集的感知质量的步骤，还包括：使用经过训练的可逆神经模块，在空间级别上将已解码的公共知识与已重建的数字图像集中的多个图像对齐以消除公共知识中的冗余；将对齐的公共知识映射到与多个图像的空间信息一致的映射图像；使用卷积层提取映射图像的特征；以及将特征输入到极化自注意力模块中。
17、优选地，对齐步骤为从粗糙到精细的对齐。
18、更优选地，对齐步骤包括：对多个图像中的每一个执行单应性变换；以及对多个图像中的每一个执行渐进式光流估计。
19、在一个示范性实施方式中，后处理模型基于restormer模型。
20、在另一方面，本专利技术提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行上述用于数字图像集压缩的计算机实现的方法。
21、在另一方面，本专利技术提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行上述用于从包括公共知识流、唯一掩膜流和唯一纹理流的多个比特流重建数字图像集的方法。
22、因此，本专利技术的实施例提出了在知识级别上消除图像集合中的冗余的方案，其中知识表征了图像之间的高层次关系和相关性，具体而言是将图像集合中的每个图像分解为三个组成部分：公共知识、唯一掩膜和唯一纹理。所有图像共享的公共知识用于减少图像之间的冗余。对于每个图像而言，提取出唯一掩膜，形成视频序列，随后通过基于特征的最小生成树和深度优先搜索算法的视频编解码器进行压缩。在给定公共知识和唯一掩膜的条件下，对唯一纹理进行压缩。本专利技术具有高效性、灵活性和可扩展性，能够有效地消除图像之间的集合冗余(即使图像之间只存在低相关性也是如此)以及单个图像内部的冗余。实验结果表明，本专利技术的实施例提出的方案在信号质量、感知质量和下游任务的高精确度方面取得了更好的表现。
23、上述
技术实现思路
既不是为了定义本申请要求保护的专利技术(这是由权利要求书记载的)，也不是为了以任何方式限制本专利技术的范围。
【技术保护点】
1.一种用于数字图像集压缩的计算机实现的方法，所述图像集包括多个原始图像；其特征在于，该方法包括以下步骤：
2.如权利要求1所述的方法，其中所述公共知识从所述多个原始图像中的主参考图像中提取。
3.如权利要求2所述的方法，其中所述主参考图像通过以下步骤而确定：
4.如权利要求1所述的方法，其中所述对所述公共知识进行压缩的步骤，还包括：
5.如权利要求1所述的方法，其中所述分解步骤还包括：通过U2-Net显著性检测方法和alpha matting技术来从所述多个原始图像的每一个中提取所述唯一掩膜。
6.如权利要求1所述的方法，其中所述压缩步骤还包括：
7.如权利要求6所述的方法，其中所述预定顺序为深度优先搜索顺序。
8.如权利要求1所述的方法，其中所述压缩步骤还包括：在给定所述公共知识和所述唯一掩膜的条件下，对所述唯一纹理进行压缩。
9.如权利要求8所述的方法，其中所述对所述唯一纹理进行压缩的步骤，还包括：
10.如权利要求4或9所述的方法，其中所述对齐步骤为从粗糙到精细的对
11.如权利要求9所述的方法，其中所述对齐步骤还包括：
12.如权利要求9所述的方法，其中所述可逆神经模块通过使用训练对来进行训练；该训练对包括训练图像集中的一个原始对象图像，以及同一训练图像集中的另一个解码对象图像。
13.一种计算机实现的方法，用于从包括公共知识流、唯一掩膜流和唯一纹理流的多个比特流重建数字图像集；该方法包括以下步骤：
14.根据权利要求13所述的方法，其中所述解码所述多个唯一纹理的步骤，还包括：在给定已解码的所述公共知识和所述唯一掩膜的条件下，对所述唯一纹理进行解码。
15.根据权利要求13所述的方法，还包括使用后处理模型，利用对齐的所述公共知识作为指导来增强己重建的所述数字图像集的感知质量。
16.根据权利要求15所述的方法，其中所述增强已重建的所述数字图像集的感知质量的步骤，还包括：
17.如权利要求16所述的方法，其中所述对齐步骤为从粗糙到精细的对齐。
18.如权利要求17所述的方法，其中所述对齐步骤包括：
19.如权利要求15所述的方法，其中所述后处理模型基于Restormer模型。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行权利要求1所述的方法。
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行权利要求13所述的方法。
...【技术特征摘要】
1.一种用于数字图像集压缩的计算机实现的方法，所述图像集包括多个原始图像；其特征在于，该方法包括以下步骤：
2.如权利要求1所述的方法，其中所述公共知识从所述多个原始图像中的主参考图像中提取。
3.如权利要求2所述的方法，其中所述主参考图像通过以下步骤而确定：
4.如权利要求1所述的方法，其中所述对所述公共知识进行压缩的步骤，还包括：
5.如权利要求1所述的方法，其中所述分解步骤还包括：通过u2-net显著性检测方法和alpha matting技术来从所述多个原始图像的每一个中提取所述唯一掩膜。
6.如权利要求1所述的方法，其中所述压缩步骤还包括：
7.如权利要求6所述的方法，其中所述预定顺序为深度优先搜索顺序。
8.如权利要求1所述的方法，其中所述压缩步骤还包括：在给定所述公共知识和所述唯一掩膜的条件下，对所述唯一纹理进行压缩。
9.如权利要求8所述的方法，其中所述对所述唯一纹理进行压缩的步骤，还包括：
10.如权利要求4或9所述的方法，其中所述对齐步骤为从粗糙到精细的对齐。
11.如权利要求9所述的方法，其中所述对齐步骤还包括：
12.如权利要求9所述的方法，其中所述可逆神经模块通过使用训练对来进行训练；该训练对包括训练图像集中的一个原始对象图像，以及...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。