一种基于张量网络的熵编码、熵解码方法及图像压缩方法技术

本发明专利技术提供一种基于张量网络的熵编码、熵解码方法及图像压缩方法、系统、装置，包括：采用格雷码将图像的离散特征划分为多个二进制位平面；采用特征映射将二进制位平面映射到对应的希尔伯特空间内，生成位平面的向量化特征；基于张量网络的熵编码模型，对位平面的向量化特征分别进行概率估计及编码，生成位平面特征二进制码流；合并所有的位平面特征二进制码流，得到特征二进制码流。采用张量网络建模特征概率分布，能够在不引入任何先验假设的条件下，准确计算特征的联合概率，相比于现有熵模型的设计进一步提升了压缩结构的灵活性和可扩展性。可扩展性。可扩展性。

【技术实现步骤摘要】
一种基于张量网络的熵编码、熵解码方法及图像压缩方法


[0001]本专利技术涉及图像处理领域，具体地，涉及一种基于张量网络的熵编码、熵解码方法及图像压缩方法、系统、装置。

技术介绍

[0002]随着深度学习的快速发展，端到端图像压缩方法利用深度神经网络，对传统图像压缩中的各模块进行联合优化，从而实现优越的压缩性能。由于联合优化相比于传统图像压缩方法需要对码率进行额外的约束，而熵模型建模的准确性会极大影响码率的大小，因此熵模型模块的设计成为了端到端图像压缩中的一个重要课题。
[0003]经过对现有技术的文献检索发现，J.Ball
é
等人在2017年的International Conference on Learning Representation会议上发表的“End
‑
to
‑
end Optimized Image Compression”一文中提出一种可以完全分解的熵模型用于端到端图像压缩中的特征编码，即该熵模型需要先验假设特征的元素之间满足相互独立，并且特征的元素分别服从一种人为设计的分布。J.Ball
é
等人在2018年的International Conference on Learning Representation会议上发表的“Variational Image CompressionWith a Scale Hyperprior”一文中提出一种超先验熵模型，相比于完全分解的熵模型，它不再假设特征的元素之间相互独立，而是将特征间的相关性编码为旁瓣信息进行传输，使其满足条件独立性，其中超先验熵模型需要先验假设特征服从某种高斯尺度混合模型，超先验部分假设元素之间相互独立。后来的许多端到端图像压缩工作均基于超先验熵模型的基础上进行改进，例如Minnen等人在2018年的Conference andWorkshop onNeural Information Processing Systems会议上发表的“JointAutoregressive andHierarchical Priors for Learned Image Compression”一文中提出将超先验熵模型与基于上下文的自回归模型结合，进一步提升了端到端图像压缩的率失真性能。然而，由于特征的联合分布概率空间过大，直接对其进行估计非常困难，因此现有的熵模型的设计均存在基于高斯分布的先验独立性以及自回归模型的因果条件概率等人为假设，导致对图像特征的联合概率的估计不准确，从而存在局限性。

技术实现思路

[0004]针对现有技术中的局限性，本专利技术提供一种于张量网络的熵编码、熵解码及图像压缩方法。
[0005]本专利技术的第一方面，提供一种基于张量网络的熵编码方法，包括：
[0006]采用格雷码将图像的离散特征划分为L个二进制位平面，其中L为预设的正整数，所述图像的离散特征为图像的像素值或图像经过变换、量化后获得的量化变换系数；
[0007]采用特征映射将所述二进制位平面映射到对应的希尔伯特空间内，生成位平面的向量化特征；
[0008]基于张量网络的熵编码模型，对所述位平面的向量化特征依次进行概率估计及编
码，生成位平面特征二进制码流；
[0009]合并所有的位平面特征二进制码流，得到特征二进制码流。
[0010]优选地，所述采用特征映射将所有二进制位平面映射到对应的希尔伯特空间内，生成位平面的向量化特征，包括：
[0011]采用局部特征映射，将位平面的每个元素映射到二维希尔伯特空间，所述局部特征映射，具体函数形式为其中x
i
∈{0,1}，i＝1,2,
…
,N，为位平面的第i个元素；
[0012]对位平面中所有所述二维希尔伯特空间进行张量积运算，得到位平面的向量化特征
[0013]优选地，所述基于张量网络的熵编码模型，包括：
[0014]L个独立的基于张量网络的位平面熵编码子模型；
[0015]每个所述位平面熵编码子模型采用四叉树结构，对所述位平面的向量化特征进行联合概率建模。
[0016]优选地，所述基于张量网络的熵编码模型，对位平面的向量化特征依次进行概率估计及编码，生成位平面特征二进制码流，包括：
[0017]根据所述基于张量网络的位平面熵编码子模型对所述位平面的向量化特征进行概率估计，获得估计概率；
[0018]根据待编码的位平面的向量化特征，结合所述估计概率，利用基于张量网络的熵编码模型建立隐式码表，进行二进制算术编码；
[0019]得到所述位平面特征二进制码流。
[0020]优选地，所述对位平面的向量化特征进行概率估计，获得估计概率，包括：
[0021]将所述位平面的向量化特征与位平面熵编码子模型进行缩并操作，所得标量的平方为未归一化的概率值，所述缩并操作，对张量中任意一对维数相同的索引按爱因斯坦求和约定进行求和，一次缩并操作可以得到一个与原张量相比低两阶的新张量；
[0022]将位平面熵编码子模型与本身的共轭转置进行缩并操作，得到归一化系数；
[0023]利用所述未归一化的概率值和所述归一化系数，计算获得所述位平面的向量化特征的真实联合概率P(Φ(x))。
[0024]优选地，所述利用基于张量网络的熵编码模型建立隐式码表，进行二进制算术编码，包括：
[0025]将所需计算的向量化边际数据点与位平面熵编码子模型对应位置的索引进行缩并操作，得到条件概率张量，将条件概率张量与自身的共轭转置缩并掉除所需计算的边际数据点以外的索引，利用所述归一化系数可得到位平面内一系列的边际概率P(φ(x1)＝φ(0)),P(φ(x1),φ(x2)＝φ(0)),
…
,P(φ(x1),φ(x2),
…
,φ(x
N
)＝φ(0))。
[0026]根据待编码的位平面的向量化特征，将所述一系列边际概率按待编码特征的实际值进行相加，得到累积分布概率，具体形式为：
[0027]F(Φ(x))＝P(φ(x1)＝φ(0))*l
φ(1)
(φ(x1))+P(φ(x1),φ(x2)＝φ(0))*l
φ(1)
(φ(x2))+
…
+P(φ(x1),φ(x2),
…
,φ(x
N
)＝φ(0))*l
φ(1)
(φ
(
xN))
[0028]上述公式中，“＝”表示赋值，为示性函数。
[0029]利用累积分布概率F(Φ(x))及联合概率P(Φ(x))，可对位平面的向量化特征进行二进制算术编码。
[0030]本专利技术的第二方面，提供一种基于张量网络的熵解码方法，用于对应解码上述方法得到的编码，包括：
[0031]分解特征二进制码流，得到各位平面二进制码流；
[0032]利用位平面熵编码子模型及所述各位平面二进制码本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于张量网络的熵编码方法，其特征在于，包括：采用格雷码将图像的离散特征划分为L个二进制位平面，其中L为预设的正整数，采用特征映射将所述二进制位平面映射到对应的希尔伯特空间内，生成位平面的向量化特征；基于张量网络的熵编码模型，对所述位平面的向量化特征依次进行概率估计及编码，生成位平面特征二进制码流；合并所有的所述位平面特征二进制码流，得到特征二进制码流。2.根据权利要求1所述的基于张量网络的熵编码方法，其特征在于，所述采用特征映射将所有二进制位平面映射到对应的希尔伯特空间内，生成位平面的向量化特征，包括：采用局部特征映射，将所述二进制位平面的每个元素映射到二维希尔伯特空间，所述局部特征映射的函数形式为其中x
i
∈{0,1}，i＝1,2,
…
,N，为所述二进制位平面的第i个元素；对所述二进制位平面中所有所述二维希尔伯特空间进行张量积运算，得到位平面的向量化特征3.根据权利要求1所述的基于张量网络的熵编码方法，其特征在于，所述基于张量网络的熵编码模型，包括：L个独立的基于张量网络的位平面熵编码子模型；每个所述位平面熵编码子模型采用四叉树结构，对所述位平面的向量化特征进行联合概率建模。4.根据权利要求3所述的基于张量网络的熵编码方法，其特征在于，所述基于张量网络的熵编码模型，对位平面的向量化特征依次进行概率估计及编码，生成位平面特征二进制码流，包括：根据所述基于张量网络的位平面熵编码子模型对所述位平面的向量化特征进行概率估计，获得估计概率；根据待编码的位平面的向量化特征，结合所述估计概率，利用基于张量网络的熵编码模型建立隐式码表，进行二进制算术编码；得到所述位平面特征二进制码流。5.根据权利要求4所述的基于张量网络的熵编码方法，其特征在于，所述对位平面的向量化特征进行概率估计，获得估计概率，包括：将所述位平面的向量化特征与位平面熵编码子模型进行缩并操作，所得标量的平方为未归一化的概率值；将所述位平面熵编码子模型与本身的共轭转置进行缩并操作，得到归一化系数；利用所述未归一化的概率值和所述归一化系数，计算获得所述位平面的向量化特征的真实联合概率P(Φ(x))。6.根据权利要求5所述的基于张量网络的熵编码方法，其特征在于，所述利用基于张量网络的熵编码模型建立隐式码表，进行二进制算术编码，包括：将所需计算的向量化边际数据点与所述位平面熵编码子模型对应位置的索引进行缩并操作，得到条件概率张量，将条件概率张量与自身的共轭转置缩并掉除所需计算的边际
数据点以外的索引，利用所述归一化系数可得到位平面内一系列的边际概率P(φ(x1)＝φ(0)),P(φ(x1),φ(x2)＝φ(0)),
…
,P(φ(x1),φ(x2),
…
,φ(x
N
)＝φ(0))；根据待编码的位平面的向量化特征，将所述一系列边际概率按待编码特征的实际值进行相加，得到累积分布概率，具体形式为：F(Φ(x))＝P(φ(x1)＝φ(0))*l
φ(1)
(φ(x1))+P(φ(x1),φ(x2)＝φ(0))*l<...

【专利技术属性】
技术研发人员：戴文睿，范小萱，费文，李劭辉，李成林，邹君妮，熊红凯，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：