【技术实现步骤摘要】
本专利技术属于图像压缩，具体涉及一种目标距离自适应的图像压缩方法及图像解压方法。
技术介绍
1、近年来，基于深度学习方法的图像压缩方法的发展为图像压缩领域提供了新的解决方向。在一些场景下，例如无人机电力巡检，需要通过无线信号传输大量的无人机拍摄图像，用于后续的数据存储与对电塔、电线等设备的分析。
2、传统压缩算法由于压缩率不高，会导致在传输压缩后的图像时仍需要消耗较长的传输时间以及较高的传输费用，在存储压缩后图像时需要占用较大的存储空间。
3、现有的基于深度学习的图像压缩方法虽然压缩率相比传统方法所提升，但是其设计初衷是为了通用的图像压缩场景，因此没有针对很多实际应用场景进行优化。例如，在无人机巡检场景或者拍摄特定物体的场景中，现有深度学习图像压缩方法要将大量存储空间消耗在存储与近距离目标无关的远距离背景环境上。
技术实现思路
1、鉴于以上存在的问题，本专利技术提供一种目标距离自适应的图像压缩方法及图像解压方法。
2、为解决上述技术问题，本专利技术采用如下的技术方案：
3、本专利技术一方面提供一种目标距离自适应的图像压缩方法，包括训练过程和推理过程，所述训练过程进一步包括深度信息提取、数据预处理和模型训练，
4、s101，所述深度信息提取以包含近距离目标的图像作为输入，利用深度估计网络，从图像中提取出各像素对应的深度值，输出的结果为一张单通道的，分辨率与输入图像相同的包含深度数值的深度图；
5、s102，所述数
6、s103，所述模型训练进行图像压缩网络的训练，以切割好的图像块作为输入，经过神经网络处理后，输出相应的重建图像块；计算输入图像块与重建图像块的相似度，并以对应的深度图块作为权重值，得到相应的率-失真损失；训练过程以该损失为目标优化，从而得到训练好的网络权重；
7、s104，推理过程进行图像压缩，以一张待压缩的图像作为图像编码器及超先验编解码器的输入，输出相应的特征张量以及用于熵编码的概率估计结果，再将该特征张量与概率估计结果输入到相应的熵编码器中编码，得到用于存储与传输的码流。
8、一种可能的实施方式中，所述s101具体包括：对于一张训练集图像x，设维度为[hx,wx,3]，分别对应x的高、宽、通道数，输入到该深度估计网络中，输出与训练集图像对应的深度张量d，d是一个三维张量，其维度为[hx,wx,1]，d中的值是一个浮点数，每个值代表了深度估计网络估计出的训练集图像x中每个像素的深度；
9、对每张训练集图像都进行如上深度信息提取后，深度信息提取阶段结束。
10、一种可能的实施方式中，所述s102具体包括：需要将训练集中的图像x与d切成若干相同大小的块，块的中心点由随机采样指定，采样时保证块的边界始终在图像x的范围内，每张图像所选取的块的数量n与预设的训练周期数max_epoch保持一致；
11、对于图像x的一个块xi，其中心点在x上的坐标为(ai,bi)，那么也同样有x对应的深度图上的块di，其中心点在d上的坐标同样为(ai,bi)，即对于一张训练集图像x，经过数据预处理后，得到了n个<xi,di>的图像-深度数据对；
12、对每张训练集图像都进行如上预处理后，数据预处理阶段结束。
13、一种可能的实施方式中，所述s103中，在图像压缩网络训练阶段，将数据预处理阶段得到的图像-深度数据对输入一个使用通用的数据集预训练过的图像压缩网络；在前向传播阶段，将图像块xi输入图像编码器获得其对应的特征yi，再将yi输入超先验编码器，获得超先验特征zi；超先验特征zi首先输入到量化模块，将zi四舍五入得到整数特征再输入到超先验解码器中，获得与yi大小相同的两个特征meansi和scalei；yi和meansi输入到量化模块，得到量化后的特征
14、
15、其中round表示四舍五入操作；随后，被输入到图像解码器中，获得重建的图像块
16、率-失真损失即损失函数l则包括失真distortion损失ld和率rate损失lr，失真distortion损失ld使用像素上的均方误差mse或多尺度结构一致性损失ms-ssim计算，具体来说：
17、
18、或
19、率rate损失lr用于约束编码长度，该损失使用scalei和meansi来对和码率进行估计，最终的损失函数l的计算方法为：
20、l＝λld+lr
21、其中，λ是用于调节两项损失之间权重的参数，由深度块di决定，且与xi和di同形状。
22、一种可能的实施方式中，λ的决定方式为：λ根据深度张量d的范围选择一个阈值t，并设定两个不同的λ1与λ2，且λ1>λ+，此时，λ中第j个值λj的决定方式为：
23、
24、即，λ中第j个位置的值λj由di中的第j个值是否小于阈值t来决定，当dij小于t时，λj的值为λ1，反之则为λ2。
25、一种可能的实施方式中，λ的决定方式为：设定两个不同的λ3与λ4，且λ3>λ4，并将d归一化到[0,1]中，归一化后的张量计算方式为:
26、
27、那么λ的决定方式为：
28、
29、即距离越近，λ的取值越接近λ3，反之则越接近λ4；由于λ越大，损失函数l就越倾向于失真损失，因此网络经过训练，会倾向于对深度较小的部分分配更多的码流，从而实现目标距离自适应的图像压缩网络。
30、一种可能的实施方式中，s104具体包括：
31、在图像压缩阶段，训练好的图像压缩网络输入一张待压缩图像x，待压缩图像被图像编码器编码成特征y，特征y被超先验编码器编码成z，z输入到量化模块，输出全整数的特征将输入到熵编码器中，获得第一段用于保存与传输的码流zs；
32、同时也被输入到超先验解码器中，输出了与y的同形状的均值means与标准差scale，计算yint＝round(y-means)，并将yint与标准差对应的累积分布输入到熵编码器，得到第二段用于保存与传输的码流ys。
33、本专利技术又一方面提供一种图像解压方法，用于解压如上任一所述得到的压缩码流，包括s201，图像解压，所述图像解压过程中，以一串图像压缩过程输出的码流作为输入，利用熵解码器与超先验解码器还原出相应的图像特征，再使用图像解码器将图像特征转换为解压后的图像。
34、一种可能的实施方式中，进一步包括s202，细节生成网络的训练和s203，细节生成，进一步地，s202中细节生成网络的训练过程以图像压缩网络的输出作为输入，经过神经网络处理后，输出相应的图像块计算图像压缩网络输入的图像块xi与细节生成网络的输出的相似度以及对抗损失，并以对应的深度块di作为权重值，得到本文档来自技高网...
【技术保护点】
1.一种目标距离自适应的图像压缩方法，其特征在于，包括训练过程和推理过程，所述训练过程进一步包括深度信息提取、数据预处理和模型训练，
2.如权利要求1所述的目标距离自适应的图像压缩方法，其特征在于，所述S101具体包括：对于一张训练集图像x，设维度为[hx,wx,3]，分别对应x的高、宽、通道数，输入到该深度估计网络中，输出与训练集图像对应的深度张量d，d是一个三维张量，其维度为[hx,wx,1]，d中的值是一个浮点数，每个值代表了深度估计网络估计出的训练集图像x中每个像素的深度；
3.如权利要求2所述的目标距离自适应的图像压缩方法，其特征在于，所述S102具体包括：需要将训练集中的图像x与d切成若干相同大小的块，块的中心点由随机采样指定，采样时保证块的边界始终在图像x的范围内，每张图像所选取的块的数量N与预设的训练周期数max_epoch保持一致；
4.如权利要求3所述的目标距离自适应的图像压缩方法，其特征在于，所述S103中，在图像压缩网络训练阶段，将数据预处理阶段得到的图像-深度数据对输入一个使用通用的数据集预训练过的图像压缩网络；在前向
5.如权利要求4所述的目标距离自适应的图像压缩方法，其特征在于，λ的决定方式为：λ根据深度张量d的范围选择一个阈值t，并设定两个不同的λ1与λ2，且λ1>λ2，此时，λ中第j个值λj的决定方式为：
6.如权利要求4所述的目标距离自适应的图像压缩方法，其特征在于，λ的决定方式为：设定两个不同的λ3与λ4，且λ3>λ4，并将d归一化到[0,1]中，归一化后的张量计算方式为:
7.如权利要求1所述的目标距离自适应的图像压缩方法，其特征在于，S104具体包括：
8.一种图像解压方法，其特征在于，用于解压如权利要求1至7任一所述得到的压缩码流，包括S201，图像解压，所述图像解压过程中，以一串图像压缩过程输出的码流作为输入，利用熵解码器与超先验解码器还原出相应的图像特征，再使用图像解码器将图像特征转换为解压后的图像。
9.如权利要求8所述的图像解压方法，其特征在于，进一步包括S202，细节生成网络的训练和S203，细节生成，
10.如权利要求8或9任一所述的图像解压方法，其特征在于，所述S201具体包括：首先将码流Zs输入到熵解码器中，还原出特征再将输入到超先验解码器中，输出与Y的同形状的均值means与标准差scale；利用标准差对应的累计分布，将码流Ys解码回Yint，并通过得到特征将输入到图像解码器中，得到解压后的图像
11.如权利要求10所述的图像解压方法，其特征在于，S202具体包括：在细节生成网络训练阶段，将训练好的图像压缩网络的输出与对应的输入xi和深度di作为输入，将输入到细节生成网络中，输出一张生成后的图像再将输入xi与生成图像分别输入到细节鉴别网络中，输出两个对应0到1之间的数值Dreal和Dfake；
...【技术特征摘要】
1.一种目标距离自适应的图像压缩方法，其特征在于，包括训练过程和推理过程，所述训练过程进一步包括深度信息提取、数据预处理和模型训练，
2.如权利要求1所述的目标距离自适应的图像压缩方法，其特征在于，所述s101具体包括：对于一张训练集图像x，设维度为[hx,wx,3]，分别对应x的高、宽、通道数，输入到该深度估计网络中，输出与训练集图像对应的深度张量d，d是一个三维张量，其维度为[hx,wx,1]，d中的值是一个浮点数，每个值代表了深度估计网络估计出的训练集图像x中每个像素的深度；
3.如权利要求2所述的目标距离自适应的图像压缩方法，其特征在于，所述s102具体包括：需要将训练集中的图像x与d切成若干相同大小的块，块的中心点由随机采样指定，采样时保证块的边界始终在图像x的范围内，每张图像所选取的块的数量n与预设的训练周期数max_epoch保持一致；
4.如权利要求3所述的目标距离自适应的图像压缩方法，其特征在于，所述s103中，在图像压缩网络训练阶段，将数据预处理阶段得到的图像-深度数据对输入一个使用通用的数据集预训练过的图像压缩网络；在前向传播阶段，将图像块xi输入图像编码器获得其对应的特征yi，再将yi输入超先验编码器，获得超先验特征zi；超先验特征zi首先输入到量化模块，将zi四舍五入得到整数特征再输入到超先验解码器中，获得与yi大小相同的两个特征meansi和scalei；yi和meansi输入到量化模块，得到量化后的特征
5.如权利要求4所述的目标距离自适应的图像压缩方法，其特征在于，λ的决定方式为：λ根据深度张量d的范围选择一个...
【专利技术属性】
技术研发人员：王昊然，谢亚光，陈梅丽，
申请(专利权)人：杭州当虹科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。