【技术实现步骤摘要】
本专利技术涉及智能调色，尤其涉及一种基于神经网络的自适应智能调色方法。
技术介绍
1、调色是图像后处理的重要一步，直接决定了图片的风格。但同时，调色是一个繁琐的任务，需要根据人类感官分析每一张图的场景、光影、构图等，然后才能赋予它一组人类视觉感官下最适合的参数。由于调色任务非常难量化，需要去根据人类感官去定义，因此调色任务有非常高的复杂性，当前业界相关的解决方案不多。而整体解决方案可以分为两类，一类是直接输入图，然后经过网络输出智能调色图的结果。这种方案无法给出具体的调色参数，也就无法让使用者进行二次调整，是一种较为简单的解决方案。第二类是输入图，经过网络输出智能调色的参数。该方案可以进行二次调整，但由于调色参数的组合并没有唯一的解，求解的空间较大，因此复杂度高。当前业界已有的方案通常都是基于深度卷积网络来做的，只能拟合出2-8个基础的参数组合，包括色温、色调、高光、阴影、黑色、白色、曝光、对比度。但是基础的参数组合并不能满足需求，通常无法将图像调到目标风格。同时，无论是第一类还是第二类，针对不同风格的调色，每个风格都需要大量的配对数据去训练一个风格模型，且该模型只能适配一个风格，想适配新风格就要再训一个模型。
技术实现思路
1、有鉴于此，本专利技术的目的在于提出一种基于注意力变换网络的自适应智能调色方法，能够拟合超过一百个参数，同时只需训练一个模型即可解决所有风格的调色问题。
2、根据本专利技术的一个方面，提供一种基于注意力变换网络的自适应智能调色方法，所述注意力变换
3、获取第一图像数据和至少一组风格化参数；
4、对所述第一图像数据进行特征提取，得到第一特征；
5、使用参数提取模块对所述至少一组风格化参数进行参数提取操作，得到至少一个第二特征；
6、使用变换网络模块对所述第一特征和所述至少一个第二特征进行拟合参数提取操作，得到第一图像数据的拟合参数；
7、基于所述拟合参数得到调色结果。
8、在上述技术方案中，利用大模型优势，提取、拟合复杂的特征，归纳总结参数与图像两个模态特征的特点和关联，可以拟合超过一百个参数。且由于模型学习的是图像与目标风格参数之间的关联性以及转换关系，不需要针对所有风格都进行训练。只需训练一次，学习到风格与图像的变换关系后，即可迁移到任意风格，节约存储和计算资源。再训练完成后，每个风格数据不需要几千张，几张参数即可完成风格的适配和迁移。
9、在一些实施例中，使用参数提取模块对所述至少一组风格化参数进行参数提取操作，得到至少一个第二特征，包括：
10、将至少一组风格化参数中的相同参数取平均，获得平均风格化参数；
11、将该平均风格化参数输入参数提取模块得到至少一个第二特征。
12、在上述技术方案中，每个风格图都会有调整的参数，目标风格的均值参数，即是一组风格图，假如一组风格图有3张，那么每个参数都取3张的均值(如第一张曝光为+5，第二张曝光为-1，第三张曝光为+2，那么三者均值为((5-1+2)/3＝2，其他的参数依次类推)。然后，将每个风格的均值参数输入到风格参数提取网络中。此外由于参数的多样性以及复杂性，通常网络很难理解参数在图像上的作用，因此以往训练通常只支持2-8个参数。而通过风格提取网络以及后续的模块，可以使均值参数映射在更易理解的参数隐空间中，同时风格提取网络可以通过多层全连接层对一些特征进行解耦，方便后续网络对特征的理解和分析。
13、在一些实施例中，所述参数提取模块由四层全连接层连接组成。
14、在上述技术方案中，参数提取网络的设计，则可以让网络去了解目标风格的参数分布，从而确定目标风格，不再需要从目标风格大量配对数据中去学习特征映射。同时，更易于理解困难区域，该困难区域包括参数特征和图像特的难计算区域，即跨模态特征的理解和融合困难区域，不同模态之间的数据分布和特征差异极大，通过参数提取网络，有助于不同模态之间特征的理解。使稀疏以及离散化的特征变稠密，网络更易于理解和计算。此外，多层全连接层有助于参数特征之间的线性解耦，可以减轻特征之间的耦合，更易于后续网络的训练和理解。
15、在一些实施例中，所述第一特征与所述第二特征维度相同。
16、在上述技术方案中，由于图像特征和参数特征是两种不同模态特征，如果特征维度不一致，网络很难计算，也很难将两者的关系连接起来。通过全连接层，将每个参数的维度和图像的特征维度一致，方便网络去将图像和参数两个不同的特征映射在同一个高维空间中，从而更方便的通过矩阵计算每个参数和图像之间的关联性。
17、在一些实施例中，使用变换网络模块对所述第一特征和所述至少一个第二特征进行拟合参数提取操作，得到第一图像数据的拟合参数，包括：
18、变换网络模块通过交叉注意力层将第一特征与第二特征进行特征融合，输出多维特征；
19、将该多维特征压缩至一维，得到第一图像数据的拟合参数。
20、在上述技术方案中，通过变换网络(transformer)网络将维度一致的图像特征和参数特征进行跨模态的计算，计算两者的关联性。图像特征和参数特征两者的分布和意义均不同，因此使用变换网络(transformer)将参数特征和图像特征两个不同模态进行融合，以便将图像特征和参数特征代表的意义对应起来。变换网络(transformer)网络的特点使其在处理复杂数据关系和高效特征融合方面表现出色。包括：1.注意力机制，它能够在输入序列的每个位置计算其与其他位置的依赖关系。注意力机制使变换网络(transformer)能够捕捉到输入序列中远距离、多输入的依赖关系，有效解决了传统卷积神经网络(cnn)和循环神经网络(rnn)在处理长距离依赖以及多输入时的局限性。这也是网络可以处理和拟合超过100个参数的原因。2.并行性，不需要顺序处理输入序列，因此可以进行高度并行化计算。这种并行化显著提高了训练和推理的速度，使变换网络(transformer)能够处理大规模数据并进行高效计算。3.灵活性，能够处理不同长度的输入和输出序列、不同模态的序列，具有极大的灵活性。无论是自然语言处理中的句子，离散数字，还是图像处理中的特征向量。因此可以使得网络可以处理两种不同模态的特征。
21、同时，针对困难区域，困难区域包括跨模态特征计算区域，引入交叉注意力机制(cross-attent ion)。引入交叉注意力机制的原因包括：1.显式理解不同模态之间关联。交叉注意力机制通过计算图像特征与参数特征之间的注意力权重，能够在不同特征之间建立关联。每个图像特征与所有参数特征之间的关系都被显式地建模，使得模型能够理解和捕捉图像特征如何影响各个风格参数的值。2.增强特征融合效果。在传统的特征融合方法中，不同类型的特征通常只是简单地拼接或加权平均。交叉注意力机制通过在图像特征和参数特征之间进行动态权重分配，使得每个特征在融合过程中都能得到适当的关本文档来自技高网...
【技术保护点】
1.一种基于注意力变换网络的自适应智能调色方法，其特征在于，所述注意力变换网络包括至少一个参数提取模块、变换网络模块；所述方法包括：
2.如权利要求1所述的一种基于注意力变换网络的自适应智能调色方法，其特征在于，使用参数提取模块对所述至少一组风格化参数进行参数提取操作，得到至少一个第二特征，包括：
3.如权利要求2所述的一种基于注意力变换网络的自适应智能调色方法，其特征在于，
4.如权利要求1所述的一种基于注意力变换网络的自适应智能调色方法，其特征在于，
5.一种注意力变换网络的训练方法，其特征在于，该注意力变换网络包括至少一个参数提取模块、变换网络模块；
6.一种注意力变换网络，其特征在于，所述网络包括：
7.一种基于注意力变换网络的自适应智能调色装置，其特征在于，基于权利要求1-4任一项所述的方法；包括依序连接的：
8.一种基于注意力变换网络的自适应智能调色设备，其特征在于，包括：
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1
...【技术特征摘要】
1.一种基于注意力变换网络的自适应智能调色方法，其特征在于，所述注意力变换网络包括至少一个参数提取模块、变换网络模块；所述方法包括：
2.如权利要求1所述的一种基于注意力变换网络的自适应智能调色方法，其特征在于，使用参数提取模块对所述至少一组风格化参数进行参数提取操作，得到至少一个第二特征，包括：
3.如权利要求2所述的一种基于注意力变换网络的自适应智能调色方法，其特征在于，
4.如权利要求1所述的一种基于注意力变换网络的自适应智能调色方法，其特征在于，
5...
【专利技术属性】
技术研发人员：江源，张伟，张长定，吴善思源，
申请(专利权)人：厦门真景科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。