【技术实现步骤摘要】
本专利技术涉及图像处理技术，尤其是涉及一种自适应的图像信号处理方法、设备及存储介质。
技术介绍
1、图像信号处理系统由多个不同的处理模块和参数组成，在图像信号处理系统设计和优化过程中，需要同时设计图像处理管线和优化相应的参数，因此这是一件很复杂的任务，通常由图像处理专家手工设计完成。最初的图像信号处理系统是针对图像质量所设计的，例如在摄影相关的应用中，图像信号处理的目标是增强图像的感知质量。然而，目标检测等下游识别任务对图像信号处理系统有不同的需求，而且大多数图像处理系统倾向于继承原始相机设计，具有静态手工设计的管道和手动调整的参数。这使得对于下游识别任务来说不是最佳选择，而且调整起来也很复杂。
2、经过检索，tseng等人提出了基于梯度优化的图像信号处理系统参数优化算法，他们先用一个卷积神经网络来代理图像信号处理系统，然后利用梯度优化算法来优化图像处理系统的参数，然而该方法是基于手工设计的图像处理管线来优化的参数，并没有优化图像处理管线，并且优化的参数在推理时也是固定的且不一定适合不同的场景。qin等人提出了基于注意力机制的图像处理参数预测方法，能够在推理阶段根据不同的输入图像动态预测相应最优的参数，但仍然没有优化图像处理管线。这些方法虽然优化了图像处理参数，但并没有优化图像处理管线。
3、yu等人考虑到目标检测等下游识别任务对图像处理系统的管线有着不同的需求，先使用神经网络搜索算法先搜索出一条最优的图像处理管线，然后再使用梯度优化算法优化其参数，然而在推理阶段，图像处理管线和参数都是固定的。shi等人
4、hu等人基于强化学习算法设计了针对修图任务的图像处理方法，该方法可以动态将图像修饰到他们所偏好的风格上，然而图像质量任务和下游识别任务对图像信号处理系统的需求是不同的。
5、但是上述现有技术主要存在以下缺点：
6、1、当前方法优化过程中，无法针对目标检测等下游识别任务同时优化图像处理管线和参数，并且这是一个复杂的任务。
7、2、当前方法优化过程中没有考虑到不同的图像处理模块有不同的计算消耗，这对于自动驾驶等场景高效也是很必要的。
8、3、推理时，当前方法无法动态预测最优的图像处理的管线和参数。
9、4、在推理时，当前方法布局不具有从高精度图像处理管道到低延迟图像处理管道的动态切换能力。
技术实现思路
1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种自适应的图像信号处理方法、设备及存储介质。
2、本专利技术的目的可以通过以下技术方案来实现：
3、根据本专利技术的第一方面，提供了一种自适应的图像信号处理方法，该方法包括：
4、步骤s1，将图像信号处理系统的配置过程建模为马尔可夫决策过程，其中图像信号处理系统包括选择的图像处理模块及其参数；
5、步骤s2，基于卷积神经网络的策略网络进行图像处理模块的选择及其参数预测，并基于卷积神经网络的价值网络来估计当前的状态价值；
6、步骤s3，将预训练的目标检测算法作为损失函数集成到系统中，计算当前策略的奖励；
7、步骤s4，使用强化学习算法来优化训练整个图像信号处理系统。
8、作为优选的技术方案，所述步骤s1中的马尔可夫决策过程具体为：
9、将最开始的图像作为状态s0，经过一次图像处理模块处理之后得到下一次状态为s1，其中马尔科夫决策的总长度为t。
10、作为优选的技术方案，所述t根据根据实际需求进行调整。
11、作为优选的技术方案，每个所述图像处理模块来自预先定义的图像处理模块池。
12、作为优选的技术方案，所述步骤s2中的基于卷积神经网络的策略网络进行图像处理模块的选择及其参数预测具体为：
13、基于卷积神经网络的策略网络具有两个头部，分别为：
14、一个网络头部负责输出分类的概率，用于表示每个模块被选择的概率，其中概率最大的模块用mt表示；
15、另一个网络头部则负责预测图像处理模块的参数，预测得到的参数用θt表示。
16、作为优选的技术方案，所述步骤s2中的基于卷积神经网络的价值网络来估计当前的状态价值具体为：
17、基于卷积神经网络的价值网络将当前的状态st进行输入，然后输出一个价值值，用于判断当前状态的好坏。
18、作为优选的技术方案，所述步骤s3将预训练的目标检测算法作为损失函数集成到系统中，计算当前策略的奖励具体为：
19、通过将当前状态和下一个状态分别输入目标检测网络，获取损失函数的变化，并将该变化作为当前策略的奖励；
20、同时将图像处理模块的计算消耗当做约束项，从当前策略的奖励中减去。
21、作为优选的技术方案，所述步骤s4使用强化学习算法来优化训练整个图像信号处理系统具体为：
22、对步骤s4的奖励和步骤s3的价值的计算方式，采用强化学习算法来优化训练策略网络和价值网络。
23、根据本专利技术的第二方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现所述的方法。
24、根据本专利技术的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现所述的方法。
25、与现有技术相比，本专利技术具有以下优点：
26、1)本专利技术对于每个输入图像，系统能够自动生成最佳图像处理管道和相关的图像参数，以便最大限度地提高目标检测性能；
27、2)本专利技术在设计优化图像处理管道和参数的过程中，能够考虑到不同的图像处理模块的计算消耗，能够针对特定任务和计算资源需求，优化出最优的图像处理管道和参数；
28、3)本专利技术能够在推理阶段，能够动态完成从高精度图像处理管道到低延迟图像处理管道的切换，以满足不同的计算资源约束。
本文档来自技高网...【技术保护点】
1.一种自适应的图像信号处理方法，其特征在于，该方法包括：
2.根据权利要求1所述的一种自适应的图像信号处理方法，其特征在于，所述步骤S1中的马尔可夫决策过程具体为：
3.根据权利要求2所述的一种自适应的图像信号处理方法，其特征在于，所述T根据根据实际需求进行调整。
4.根据权利要求1所述的一种自适应的图像信号处理方法，其特征在于，每个所述图像处理模块来自预先定义的图像处理模块池。
5.根据权利要求1所述的一种自适应的图像信号处理方法，其特征在于，所述步骤S2中的基于卷积神经网络的策略网络进行图像处理模块的选择及其参数预测具体为：
6.根据权利要求1所述的一种自适应的图像信号处理方法，其特征在于，所述步骤S2中的基于卷积神经网络的价值网络来估计当前的状态价值具体为：
7.根据权利要求6所述的一种自适应的图像信号处理方法，其特征在于，所述步骤S3将预训练的目标检测算法作为损失函数集成到系统中，计算当前策略的奖励具体为：
8.根据权利要求7所述的一种自适应的图像信号处理方法，其特征在于，所述步骤S4使
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～8中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～8中任一项所述的方法。
...【技术特征摘要】
1.一种自适应的图像信号处理方法，其特征在于，该方法包括：
2.根据权利要求1所述的一种自适应的图像信号处理方法，其特征在于，所述步骤s1中的马尔可夫决策过程具体为：
3.根据权利要求2所述的一种自适应的图像信号处理方法，其特征在于，所述t根据根据实际需求进行调整。
4.根据权利要求1所述的一种自适应的图像信号处理方法，其特征在于，每个所述图像处理模块来自预先定义的图像处理模块池。
5.根据权利要求1所述的一种自适应的图像信号处理方法，其特征在于，所述步骤s2中的基于卷积神经网络的策略网络进行图像处理模块的选择及其参数预测具体为：
6.根据权利要求1所述的一种自适应的图像信号处理方法，其特征在于，所述步骤...
【专利技术属性】
技术研发人员：王玉金，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。