一种图像处理方法及装置制造方法及图纸

本申请公开了一种图像处理方法及装置，用以通过预设的引入了注意力机制的图像色彩恢复模型，实现对工业相机采集到的图像去马赛克，从而能够针对图像上需要插值的部分更加准确地还原出图像真实色彩，提升图像色彩恢复质量，不仅可实时操作，而且可靠性更强。本申请提供的一种图像处理方法，包括：获取需要进行去马赛克处理的待处理图像，所述待处理图像是通过工业相机采集到的图像；通过预设的图像色彩恢复模型，对所述待处理图像进行去马赛克处理，得到色彩恢复的图像，其中，所述图像色彩恢复模型是采用神经网络训练得到的，所述神经网络中的卷积处理模块是添加有注意力机制的卷积处理模块。积处理模块。积处理模块。

【技术实现步骤摘要】
一种图像处理方法及装置


[0001]本申请涉及图像处理
，尤其涉及一种图像处理方法及装置。

技术介绍

[0002]在传统的图像去马赛克处理中，多采用最近邻点插值、双线性插值等方式对图像进行插值处理，由于不能准确地预测高频信息(即图像中目标物边缘部分)，目标物图像区域边缘部分的插值往往不够准确，容易出现边缘值异常，导致目标物图像区域边缘出现伪色、模糊等，需要用滤波的方式进一步处理高频信息，但经滤波处理后的高频信息部分，容易被看出明显的人为插值痕迹，图像色彩还原失真严重，容易出现拉链效应，目标物图像区域边缘部分产生模糊和颜色溢出。

技术实现思路

[0003]本申请实施例提供了一种图像处理方法及装置，用以通过预设的引入了注意力机制的图像色彩恢复模型，实现对工业相机采集到的图像去马赛克，从而能够针对图像上需要插值的部分更加准确地还原出图像真实色彩，提升图像色彩恢复质量，并且提高实时性和可靠性。
[0004]本申请实施例提供的一种图像处理方法，包括：
[0005]获取需要进行去马赛克处理的待处理图像，所述待处理图像是通过工业相机采集到的图像；
[0006]通过预设的图像色彩恢复模型，对所述待处理图像进行去马赛克处理，得到色彩恢复的图像，其中，所述图像色彩恢复模型是采用神经网络训练得到的，所述神经网络中的卷积处理模块是添加有注意力机制的卷积处理模块。
[0007]通过该方法，获取需要进行去马赛克处理的待处理图像，所述待处理图像是通过工业相机采集到的图像；通过预设的图像色彩恢复模型，对所述待处理图像进行去马赛克处理，得到色彩恢复的图像，其中，所述图像色彩恢复模型是采用神经网络训练得到的，所述神经网络中的卷积处理模块是添加有注意力机制的卷积处理模块，从而通过预设的引入了注意力机制的图像色彩恢复模型，实现了对工业相机采集到的图像去马赛克，不仅能够针对图像上需要插值的部分更加准确地还原出图像真实色彩，提升图像色彩恢复质量，并且还提高了图像色彩恢复的实时性和可靠性。
[0008]在一些实施例中，在所述训练过程中，通过所述添加有注意力机制的卷积处理模块对图像进行如下处理：
[0009]对输入的多维特征图进行通道压缩处理，得到一维特征图；
[0010]将所述一维特征图进行颜色归一化处理；
[0011]利用经过所述颜色归一化处理后得到的一维特征图，得到权重特征图，其中所述权重特征图上的任一像素点的像素值，是将经过所述颜色归一化处理后得到的一维特征图上的该像素点的像素值与1相减得到的差值的绝对值；
[0012]将所述权重特征图与输入所述基础部件的多维特征图的卷积操作结果相乘，得到并输出多维特征图。
[0013]通过该方法，实现让神经网络更专注插值部分的训练，让插值更准确，高频信息适应性更好。
[0014]在一些实施例中，所述图像色彩恢复模型是采用第一分支网络、第二分支网络、第三分支网络这三个U
‑
NET网络对预设的图像训练数据集中的每一图像进行训练得到的图像色彩恢复模型。
[0015]通过该方法，实现通过三个U
‑
NET网络分支分别对R、G、B三个图层插值，每个U
‑
NET网络分支都能更好地拟合对应图层的插值，使得插值效果更好。
[0016]在一些实施例中，所述训练具体包括：
[0017]针对所述图像训练数据集中的每一图像：
[0018]将该图像分为R图层、G图层、B图层；
[0019]通过所述第一分支网络对该图像的R图层进行训练；通过所述第二分支网络对该图像的G图层进行训练；通过所述第三分支网络对该图像的B图层进行训练。
[0020]通过该方法，实现通过三个分支网络分别对三个图层进行插值训练。
[0021]在一些实施例中，所述图像色彩恢复模型是基于预设的图像训练数据集训练得到的，所述图像训练数据集中的每一待训练图像是对高清真彩图像进行图像退化处理后得到的图像。
[0022]通过该方法训练得到的图像色彩恢复模型输出的色彩恢复的图像，能和高清真彩图做比较，即恢复得到的图像的色彩更加符合高清真彩图的标准。
[0023]在一些实施例中，所述图像退化处理包括：
[0024]针对每一高清真彩图像，将该高清真彩图像分离成R、G、B三个图层；
[0025]对所述三个图层分别进行如下处理：
[0026]将R图层奇数行和奇数列的像素值置空；
[0027]将B图层偶数行和偶数列的像素值置空；
[0028]将G图层中特定位置的像素值置空，其中所述特定位置的像素坐标的行坐标与列坐标的和为偶数；
[0029]将经过上述处理后的R、G、B三个图层合并，得到该高清真彩图像对应的待训练图像。
[0030]通过该方法，实现将高清真彩图像分离成R、G、B三个图层以满足后续插值训练，同时得到训练所述图像色彩恢复模型所需的待训练图像。
[0031]在一些实施例中，所述方法还包括：
[0032]根据所述神经网络对待训练图像的要求，对经过所述图像退化处理后得到的待训练图像进行预处理，使得输入所述神经网络的待训练图像是经过所述预处理后的图像，所述预处理包括图像尺寸调整和/或图像旋转操作。
[0033]通过该方法，实现待训练图像适应后续训练图像色彩恢复模型时用到的神经网络。
[0034]本申请另一实施例提供了一种图像处理装置，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得
的程序执行上述任一种方法。
[0035]此外，根据实施例，例如提供了一种用于计算机的计算机程序产品，其包括软件代码部分，当所述产品在计算机上运行时，这些软件代码部分用于执行上述所定义的方法的步骤。该计算机程序产品可以包括在其上存储有软件代码部分的计算机可读介质。此外，该计算机程序产品可以通过上传过程、下载过程和推送过程中的至少一个经由网络直接加载到计算机的内部存储器中和/或发送。
[0036]本申请另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。
附图说明
[0037]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]图1为本申请实施例提供的一种图像处理方法的总体流程示意图；
[0039]图2为本申请实施例提供的一种图像色彩恢复模型构建的具体流程示意图；
[0040]图3为本申请实施例提供的一种图像退化示意图；
[0041]图4为本申请实施例提供的一种U
‑
NET网络结构示意图；
[0042本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，该方法包括：获取需要进行去马赛克处理的待处理图像，所述待处理图像是通过工业相机采集到的图像；通过预设的图像色彩恢复模型，对所述待处理图像进行去马赛克处理，得到色彩恢复的图像，其中，所述图像色彩恢复模型是采用神经网络训练得到的，所述神经网络中的卷积处理模块是添加有注意力机制的卷积处理模块。2.根据权利要求1所述的方法，其特征在于，在所述训练过程中，通过所述添加有注意力机制的卷积处理模块对图像进行如下处理：对输入的多维特征图进行通道压缩处理，得到一维特征图；将所述一维特征图进行颜色归一化处理；利用经过所述颜色归一化处理后得到的一维特征图，得到权重特征图，其中所述权重特征图上的任一像素点的像素值，是将经过所述颜色归一化处理后得到的一维特征图上的该像素点的像素值与1相减得到的差值的绝对值；将所述权重特征图与输入所述基础部件的多维特征图的卷积操作结果相乘，得到并输出多维特征图。3.根据权利要求1所述的方法，其特征在于，所述图像色彩恢复模型是采用第一分支网络、第二分支网络、第三分支网络这三个U
‑
NET网络对预设的图像训练数据集中的每一图像进行训练得到的图像色彩恢复模型。4.根据权利要求3所述的方法，其特征在于，所述训练具体包括：针对所述图像训练数据集中的每一图像：将该图像分为R图层、G图层、B图层；通过所述第一分支网络对该图像的R图层进行训练；通过所述第二分支网络对该图像的G图层进行训练；通过所述第三分支网络对该图像的B图层进行训练。5.根据权利要求1...

【专利技术属性】
技术研发人员：陶家威，张博，朱斌才，王丹，邹俊贵，黄子涵，白晨阳，
申请(专利权)人：浙江华睿科技股份有限公司，
类型：发明
国别省市：