一种图像处理的方法技术

本发明专利技术主要公开了一种图像处理的方法包括：获取4:2:0色度格式图像，4:2:0色度格式图像是通过编码器对原始4:4:4色度格式图像编码并经过通信信道传输后获得的；将4:2:0色度格式图像解码为第一图像，将第一图像输入至目的神经网络模型，获取目的神经网络模型输出的第二图像，第二图像的分辨率与第一图像的分辨率相同，第二图像的色度比第一图像的色度更接近于原始4:4:4色度格式图像的色度；将第二图像发送给显示设备。既保证了在传输图像的过程中占用的带宽较少，又同时提升了采样图像经过编解码器后在显示输出设备上的呈现效果，提升图像通过显示设备进行显示时的显示画面质量以及清晰度。及清晰度。及清晰度。

【技术实现步骤摘要】
一种图像处理的方法


[0001]本专利技术涉及电子信息
，特别涉及一种图像处理的方法。

技术介绍

[0002]YCbCr是DVD、摄像机、数字电视等消费类视频产品中常用的色彩编码方案,其中Y为颜色的亮度(luma)成分、而Cb和Cr则为蓝色和红色的浓度偏移量成份。人眼通常对Y分量更为敏感，故多数图像压缩方法通常将Cb、Cr分量进行压缩处理，以达到在保证图像质量的前提下压缩图像的目的。
[0003]YCbCr主要的采样格式有YCbCr 4:2:0和 YCbCr 4:4:4。其中，YCbCr 4:4:4采样格式的三个信道采样率相同，在生成的图像中，每个像素的三个信道分量信息完整，图像质量很好；而YCbCr 4:2:0采样格式指每四个像素采样四个亮度信道信息和两个色度信道信息，图像质量较差。
[0004]应用于图像编解码器时， YCbCr 4:2:0采样格式的图像传输时占用带宽低，因此具有较高的性价比，但其在采样过程中丢失了部分图像信息，造成图像质量下降等问题，尤其在红色、蓝色纯色以及红蓝相间的背景图中质量下降更明显。而YCbCr 4:4:4采样格式的图像质量虽然很高，但是所需带宽较高，且用于此采样格式的编解码器所需的硬件平台价格高昂。

技术实现思路

[0005]为解决前述的至少一个技术问题，本公开在第一方面提出了一种图像处理的方法，包括：获取4:2:0色度格式图像，4:2:0色度格式图像是通过编码器对原始4:4:4色度格式图像编码并经过通信信道传输后获得的；将4:2:0色度格式图像解码为第一图像，将第一图像输入至目的神经网络模型，获取目的神经网络模型输出的第二图像，第二图像的分辨率与第一图像的分辨率相同，第二图像的色度比第一图像的色度更接近于原始4:4:4色度格式图像的色度；将第二图像发送给显示设备。
[0006]优选的，目的神经网络模型的获取方法包括：构建图像的训练样本，图像的训练样本包括原始4:4:4色度格式图像集和对应的4:2:0色度格式图像集， 原始4:4:4色度格式图像集中各图像的分辨率和4:2:0色度格式图像集中对应的图像的分辨率相同，4:2:0色度格式图像集是通过编解码器对原始4:4:4色度格式图像集的每一个图像经过编码、通信信道传输、解码后获得的；将图像的训练样本输入至深度学习网络模型中进行训练，获得目的神经网络模型。
[0007]优选的，图像的训练样本包括训练数据集和测试数据集，“将图像的训练样本输入至深度学习网络模型中进行训练，获得目的神经网络模型”包括:将训练数据集输入至深度学习网络模型中进行训练，获得训练后的深度学习网络模型；将测试数据集输入至训练后的深度学习网络模型进行验证，获得验证后的深度学习网络模型；对验证后的深度学习网络模型进行压缩，获得目的神经网络模型。
[0008]优选的，“将训练数据集输入至深度学习网络模型中进行训练，获得训练后的深度学习网络模型”包括：将训练数据集中的4:2:0色度格式图像输入至深度学习网络模型中，经过两分支处理，其中一分支进行特征提取，获取特征图，另一分支进行卷积运算获得卷积结果；将特征图与卷积结果进行串联运算，并经过1x1卷积运算获得输出图像；计算输出图像与训练数据集中配对的原始4:4:4色度格式图像的差异值，根据差异值更新深度学习网络模型的参数，直到差异值小于给定阈值时，获得训练后的深度学习网络模型。
[0009]优选的，“将测试数据集输入至训练后的深度学习网络模型进行验证，获得验证后的深度学习网络模型”包括：将测试数据集中的4:2:0色度格式图像输入至训练后的深度学习网络模型中，输出参考图像； 计算参考图像与配对的原始4:4:4色度格式图像的平均指标，验证训练后的深度学习网络模型。
[0010]优选的，“对验证后的深度学习网络模型进行压缩，获得目的神经网络模型”包括：通过结构重参数化将分支的卷积层压缩为单个3x3的卷积运算；加载验证后的深度学习网络模型，并利用QAT量化感知训练进行模型量化，获得量化压缩后的深度学习网络模型；将量化压缩后的深度学习网络模型转换为RKNN模型，获得目的神经网络模型。
[0011]优选的，原始4:4:4色度格式图像集的获取方式包括：成像设备捕获、视频截取帧、合成图像；原始4:4:4色度格式图像集包括：风景图像、人物图像、人脸图像、动物图像、文本图像、工业图像，其中文本图像和工业图像通过数据扩充方法进行数据增广，数据扩充方法包括图像合成、拼接、色彩反转、图像尺寸调整。
[0012]本公开在第二方面提出了一种图像处理的装置，包括：获取模块，用于获取4:2:0色度格式图像，4:2:0色度格式图像是通过编码器对原始4:4:4色度格式图像编码并经过通信信道传输后获得的；解码模块，用于将4:2:0色度格式图像解码为第一图像，将第一图像输入至目的神经网络模型，获取目的神经网络模型输出的第二图像，第二图像的分辨率与第一图像的分辨率相同，第二图像的色度比第一图像的色度更接近于原始4:4:4色度格式图像的色度；发送模块，用于将第二图像发送给显示设备。
[0013]本公开在第三方面提出了 一种图像解码设备，包括处理电路，用于执行如上述中任一所述的方法。
[0014]本公开在第四方面提出了一种图像解码设备，包括存储器和处理器；存储器，用于存储计算机程序；处理器，用于当执行计算机程序时，实现如权利要求1至7中任一项所述的方法。
[0015]本公开的一些技术效果在于：通过获取4:2:0色度格式图像，4:2:0色度格式图像是通过编码器对原始4:4:4色度格式图像编码并经过通信信道传输后获得的；将4:2:0色度格式图像解码为第一图像，将第一图像输入至目的神经网络模型，获取目的神经网络模型输出的第二图像，第二图像的分辨率与第一图像的分辨率相同，第二图像的色度比第一图像的色度更接近于原始4:4:4色度格式图像的色度；将第二图像发送给显示设备。这样既保证了在传输图像的过程中占用的带宽较少，又同时提升了采样图像经过编解码器后在显示输出设备上的呈现效果，提升图像通过显示设备进行显示时的显示画面质量以及清晰度。
附图说明
[0016]为更好地理解本公开的技术方案，可参考下列的、用于对现有技术或实施例进行
辅助说明的附图。这些附图将对现有技术或本公开部分实施例中，涉及到的产品或方法有选择地进行展示。这些附图的基本信息如下：图1为本申请实施例可以应用于其中的示例性设备架构图；图2为本申请的图像处理的方法的一个实施例的流程图。
具体实施方式
[0017]下文将对本公开涉及的技术手段或技术效果作进一步的展开描述，显然，所提供的实施例(或实施方式)仅是本公开意旨涵盖的部分实施方式，而并非全部。基于本公开中的实施例以及图文的明示或暗示，本领域技术人员在没有作出创造性劳动的前提下所能获得的所有其他实施例，都将在本公开请求保护的范围之内。
[0018]编码器是压缩图像数据等的设备或程序，解码器是解压缩图像数据等的设备或程序。编解码器是由编解码器对组成的。编解码器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理的方法，其特征在于，包括：获取4:2:0色度格式图像，4:2:0色度格式图像是通过编码器对原始4:4:4色度格式图像编码并经过通信信道传输后获得的；将4:2:0色度格式图像解码为第一图像，将第一图像输入至目的神经网络模型，获取目的神经网络模型输出的第二图像，第二图像的分辨率与第一图像的分辨率相同，第二图像的色度比第一图像的色度更接近于原始4:4:4色度格式图像的色度；将第二图像发送给显示设备。2.根据权利要求1所述的方法，其特征在于，目的神经网络模型的获取方法包括：构建图像的训练样本，图像的训练样本包括原始4:4:4色度格式图像集和对应的4:2:0色度格式图像集，原始4:4:4色度格式图像集中各图像的分辨率和4:2:0色度格式图像集中对应的图像的分辨率相同，4:2:0色度格式图像集是通过编解码器对原始4:4:4色度格式图像集的每一个图像经过编码、通信信道传输、解码后获得的；将图像的训练样本输入至深度学习网络模型中进行训练，获得目的神经网络模型。3.根据权利要求2所述的方法，其特征在于，图像的训练样本包括训练数据集和测试数据集，“将图像的训练样本输入至深度学习网络模型中进行训练，获得目的神经网络模型”包括:将训练数据集输入至深度学习网络模型中进行训练，获得训练后的深度学习网络模型；将测试数据集输入至训练后的深度学习网络模型进行验证，获得验证后的深度学习网络模型；对验证后的深度学习网络模型进行压缩，获得目的神经网络模型。4.根据权利要求3所述的方法，其特征在于，“将训练数据集输入至深度学习网络模型中进行训练，获得训练后的深度学习网络模型”包括：将训练数据集中的4:2:0色度格式图像输入至深度学习网络模型中，经过两分支处理，其中一分支进行特征提取，获取特征图，另一分支进行卷积运算获得卷积结果；将特征图与卷积结果进行串联运算，并经过1x1卷积运算获得输出图像；计算输出图像与训练数据集中配对的原始4:4:4色度格式图像的差异值，根据差异值更新深度学习网络模型的参数，直到差异值小于给定阈值时，获...

【专利技术属性】
技术研发人员：刘凯航，方华，
申请(专利权)人：广东魅视科技股份有限公司，
类型：发明
国别省市：