【技术实现步骤摘要】
本专利技术涉及一种图像处理方法及装置，尤其涉及一种raw域图像边缘强化方法及装置。
技术介绍
1、由于边缘端设备的算力有限，为解决图像边缘模糊的问题，一般使用传统图像锐化算法而不是卷积神经网络算法来处理图像。传统图像锐化算法主要有以下几种：
2、1. 罗伯特交叉锐化（robert cross）：该算法通过对像素周围的四个邻域进行加权平均，来计算锐化后的像素值。它的优点是计算简单，速度快，适用于实时处理。缺点是对噪声比较敏感，可能会产生一些artifacts，如噪声、锯齿、伪影等，不适用于复杂纹理的图像。
3、索贝尔锐化（sobel）：索贝尔锐化算法是一种基于梯度的锐化算法，通过计算图像的水平和垂直方向的梯度来增强边缘。它的优点是对于边缘的检测能力比较强，适用于各种不同方向的边缘。缺点是相对于其他算法，对于噪声也比较敏感，可能会产生一些虚假的边缘。
4、拉普拉斯锐化（laplacian）：拉普拉斯锐化算法是一种基于二阶导数的锐化算法，通过计算像素周围的灰度差值来增强图像的细节。它的优点是生成的锐化效果明显，能够增强图像的细节。缺点是会引入噪声，使图像产生明显的毛刺和伪影。
5、4. 非锐化掩模（unsharp masking）：非锐化掩模算法是一种基于模糊和锐化的混合算法，通过将原始图像与高斯模糊图像相减，来得到锐化的结果。它的优点是可以减少噪声的影响。缺点是对于某些图像，锐化效果可能过强或过弱，需要调整参数来获取理想的结果。
6、这几种算法各有其擅长的应用场景：罗伯特交
7、然而，目前并没有一种算法，既能适配边缘端设备的有限算力，又能综合这4种传统图像锐化算法的优势。
技术实现思路
1、专利技术目的：针对上述现有技术，提出一种基于轻量化神经网络的raw域图像边缘强化方法，解决传统图像锐化算法应用场景有限的缺点，同时对卷积神经网络算法进行轻量化，减少计算量，为实现边缘端计算提供了可能。本专利技术的另一目的为提出一种基于轻量化神经网络的raw域图像边缘强化装置。
2、技术方案：一种基于轻量化神经网络的raw域图像边缘强化方法，包括：将需要进行锐化处理的raw格式图像输入训练好的卷积神经网络模型，模型的第一阶段处理过程包括：用分类模块对输入的raw格式图像进行分类，输出图像对应的组别信息；模型的第二阶段处理过程包括：根据所述组别信息，调用外部存储器中对应的一组卷积神经网络权重参数，将该组权重参数与卷积神经网络模型中的锐化模块结构相结合，对所述raw格式图像进行锐化处理，输出处理后的rgb格式图像。
3、进一步的，所述组别信息数据为一个四位的数组，每一位数字代表图像属于对应组别的概率，并定义：组别信息为[0,0,0,1]的图像最适用罗伯特交叉锐化算法进行处理，组别信息为[0,0,1,0]的图像最适用索贝尔锐化算法进行处理，组别信息为[0,1,0,0]的图像最适用拉普拉斯锐化算法进行处理，组别信息为[1,0,0,0]的图像最适用非锐化掩模算法进行处理。
4、进一步的，所述卷积神经网络模型中，所述分类模块包括5层结构：第1至第4层均为卷积层，每个卷积层均由conv层和relu层链接构成，conv层中卷积核的尺寸为3*3、步长为2；第5层包括两个全连接层，该层将特征图展平为一维向量后，对向量中的每个元素进行加权求和，再使用softmax激活函数，将输出转换为作为所述组别信息的一个一维数组。
5、进一步的，所述卷积神经网络模型中，所述锐化模块13层结构：第1层为预处理层，该层使用尺寸为1*1、步长为1的卷积核将raw格式图像中的r、g、b分别提取为单独的通道；
6、第2至第9层均为卷积层，其中每2个卷积层组成一个卷积操作模块，即该模块包括一个特征提取卷积层和一个特征融合卷积层；所述特征提取卷积层由conv层和relu层链接构成，conv层中卷积核的尺寸为3*3、步长为2，用于对于每个输入通道使用单独的卷积核进行卷积操作，得到与输入通道数相同的中间特征图；所述特征融合卷积层使用尺寸为1*1、步长为1的卷积核，用于将所述中间特征图中的每个位置与相应的卷积核相乘并相加，生成最终的输出特征图；
7、第10至第13层均为反卷积层，每层均由尺寸为3*3、步长为2反卷积核的conv层与relu层链接构成，用于对输入特征图进行上采样还原。
8、进一步的，所述卷积神经网络模型的训练过程包括：
9、建立训练集：采集若干raw格式图像，对采集的每张图像进行组别分类并附加对应的组别信息，然后按照组别信息对每张图像采用对应的锐化算法进行处理，得到处理后的图像；
10、训练所述分类模块：输入训练集中未经锐化处理的图像，每轮训练输出组别信息数据，并与图像附带的组别信息数据对比，用交叉熵损失函数求损失值 loss1，根据损失值 loss1进行反向传播来对所述分类模块的权重进行优化；
11、训练所述锐化模块：为所述锐化模块建立4套卷积神经网络的权重参数，分别对应一种组别信息；输入训练集中未经锐化处理的图像以及附带的组别信息数据，根据图像的组别信息调用对应的一套权重参数进行训练；每轮训练后，用训练集中经锐化处理的图像与所述锐化模块输出的对应图像中，每个像素与其八邻域像素之间的梯度差值求损失值 loss2，根据损失值 loss2进行反向传播来对所述锐化模块的4套权重参数进行优化；锐化模块完成训练后，将4套卷积神经网络的权重参数储存在所述外部存储器中。
12、进一步的，建立训练集步骤中，对采集的每张图像进行组别分类的具体方法包括：将图像分别用罗伯特交叉锐化算法、索贝尔锐化算法、拉普拉斯锐化算法和非锐化掩模算法各处理一次，得到锐化处理后的4张图像，然后分别计算4张图像的信噪比，根据信噪比最高的图像所使用的锐化算法，将原图像分入算法对应的组中。
13、进一步的，所述 loss1表示为：
14、，
15、式中， n表示所采集的raw格式图像总数， pn1、 pn2、 pn3、 pn4分别表示训练集中第n个图像附带的组别信息数据中，数组内的第1、第2、第3、第4个元素； qn1、 qn2、 qn3、 qn4分别表示训练集中第n个图像经过分类模块后输出的组别信息数据中，数组内的第本文档来自技高网...
【技术保护点】
1.一种基于轻量化神经网络的RAW域图像边缘强化方法，其特征在于，包括：将需要进行锐化处理的RAW格式图像输入训练好的卷积神经网络模型，模型的第一阶段处理过程包括：用分类模块对输入的RAW格式图像进行分类，输出图像对应的组别信息；模型的第二阶段处理过程包括：根据所述组别信息，调用外部存储器中对应的一组卷积神经网络权重参数，将该组权重参数与卷积神经网络模型中的锐化模块结构相结合，对所述RAW格式图像进行锐化处理，输出处理后的RGB格式图像。
2.根据权利要求1所述的基于轻量化神经网络的RAW域图像边缘强化方法，其特征在于，所述组别信息数据为一个四位的数组，每一位数字代表图像属于对应组别的概率，并定义：组别信息为[0,0,0,1]的图像最适用罗伯特交叉锐化算法进行处理，组别信息为[0,0,1,0]的图像最适用索贝尔锐化算法进行处理，组别信息为[0,1,0,0]的图像最适用拉普拉斯锐化算法进行处理，组别信息为[1,0,0,0]的图像最适用非锐化掩模算法进行处理。
3.根据权利要求2所述的基于轻量化神经网络的RAW域图像边缘强化方法，其特征在于，所述卷积神经网络模
4.根据权利要求3所述的基于轻量化神经网络的RAW域图像边缘强化方法，其特征在于，所述卷积神经网络模型中，所述锐化模块13层结构：第1层为预处理层，该层使用尺寸为1*1、步长为1的卷积核将RAW格式图像中的R、G、B分别提取为单独的通道；
5.根据权利要求4所述的基于轻量化神经网络的RAW域图像边缘强化方法，其特征在于，所述卷积神经网络模型的训练过程包括：
6.根据权利要求5所述的基于轻量化神经网络的RAW域图像边缘强化方法，其特征在于，建立训练集步骤中，对采集的每张图像进行组别分类的具体方法包括：将图像分别用罗伯特交叉锐化算法、索贝尔锐化算法、拉普拉斯锐化算法和非锐化掩模算法各处理一次，得到锐化处理后的4张图像，然后分别计算4张图像的信噪比，根据信噪比最高的图像所使用的锐化算法，将原图像分入算法对应的组中。
7.根据权利要求5所述的基于轻量化神经网络的RAW域图像边缘强化方法，其特征在于，所述Loss1表示为：
8.根据权利要求5所述的基于轻量化神经网络的RAW域图像边缘强化方法，其特征在于，将训练集中同一图像内容的两张图像中，未经锐化处理的原图命名为T1，经锐化处理的图像命名为T2，T1经所述锐化模块处理后输出的图像命名为T3；所述Loss2表示为：Loss2=1/3(LossR+LossG+LossB)，其中LossR、LossG、LossB分别表示RGB格式图像T2与T3在R、G、B三个通道中的损失值。
9.根据权利要求7所述的基于轻量化神经网络的RAW域图像边缘强化方法，其特征在于，对于输入尺寸为H*H的图像，所述LossR表示为：
10.一种RAW域图像边缘强化装置，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-9任一所述的基于轻量化神经网络的RAW域图像边缘强化方法。
...【技术特征摘要】
1.一种基于轻量化神经网络的raw域图像边缘强化方法，其特征在于，包括：将需要进行锐化处理的raw格式图像输入训练好的卷积神经网络模型，模型的第一阶段处理过程包括：用分类模块对输入的raw格式图像进行分类，输出图像对应的组别信息；模型的第二阶段处理过程包括：根据所述组别信息，调用外部存储器中对应的一组卷积神经网络权重参数，将该组权重参数与卷积神经网络模型中的锐化模块结构相结合，对所述raw格式图像进行锐化处理，输出处理后的rgb格式图像。
2.根据权利要求1所述的基于轻量化神经网络的raw域图像边缘强化方法，其特征在于，所述组别信息数据为一个四位的数组，每一位数字代表图像属于对应组别的概率，并定义：组别信息为[0,0,0,1]的图像最适用罗伯特交叉锐化算法进行处理，组别信息为[0,0,1,0]的图像最适用索贝尔锐化算法进行处理，组别信息为[0,1,0,0]的图像最适用拉普拉斯锐化算法进行处理，组别信息为[1,0,0,0]的图像最适用非锐化掩模算法进行处理。
3.根据权利要求2所述的基于轻量化神经网络的raw域图像边缘强化方法，其特征在于，所述卷积神经网络模型中，所述分类模块包括5层结构：第1至第4层均为卷积层，每个卷积层均由conv层和relu层链接构成，conv层中卷积核的尺寸为3*3、步长为2；第5层包括两个全连接层，该层将特征图展平为一维向量后，对向量中的每个元素进行加权求和，再使用softmax激活函数，将输出转换为作为所述组别信息的一个一维数组。
4.根据权利要求3所述的基于轻量化神经网络的raw域图像边缘强化方法，其特征在于，所述卷积神经网络模型中，所述锐化模块13层结构：第1层为预处理层，该层使用尺寸为1*1、步长...
【专利技术属性】
技术研发人员：王鑫雨，王彬，周康，孙萌，许振斌，乔公国，
申请(专利权)人：游隼微电子南京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。