【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及一种基于事件相机的图像处理方法、装置、设备及介质。
技术介绍
1、随着计算机视觉技术的持续进步，传统的帧摄像头在处理动态场景和高动态范围(hdr)环境时遇到了一些挑战。为了克服这些挑战，事件摄像头作为一种新型传感器应运而生，它以低功耗、高动态范围和高时间分辨率的特点逐渐受到关注，并成为计算机视觉研究的新热点。与传统摄像头不同，事件摄像头能够以微秒级的时间分辨率捕捉场景的瞬时变化，生成稀疏且异步的事件流数据。这种数据格式与传统的帧图像有显著区别，为信息处理和算法设计带来了新的挑战。
2、现有的事件流处理方法主要依赖于监督学习，这需要大量的标注数据来训练模型。然而，合成的训练数据往往与真实场景存在差异，导致算法在实际应用中的效果不尽如人意。表现不佳。此外，现有方法在处理复杂光照条件和高动态范围场景时，往往缺乏对噪声的鲁棒性，影响了重建结果的质量。
技术实现思路
1、为此，本申请的实施例提供了一种基于事件相机的图像处理方法、装置、设备及介质，减少对标注数据的依赖，即可对模糊图像进行高质量的重建。
2、第一方面，本申请提供一种基于事件相机的图像处理方法。
3、本申请是通过以下技术方案得以实现的：
4、一种基于事件相机的图像处理方法，所述图像处理方法包括：
5、获取事件相机采集到的模糊图像的事件数据；
6、构建初始的pinn模型，在所述初始的pinn模型中嵌入事件生成方程，所述初始的pinn模
7、将模糊图像的事件数据输入到初始的pinn模型，得到事件数据的预测亮度值，基于预测亮度值和实际亮度值进行时间导数的自监督，并引入tikhonov正则化约束条件对初始的pinn模型进行优化，待pinn模型的预测性能达到预设标准，确定优化后的pinn模型；
8、将待处理图像的事件数据输入到优化后的pinn模型中，得到待处理图像的三个颜色通道的对数亮度值；
9、采用色调映射将三个颜色通道的对数亮度值转化为重建图像帧。
10、在本申请一较佳的示例中可以进一步设置为，采用色调映射将三个颜色通道的对数亮度值转化为重建图像帧，包括：
11、通过指数函数将三个颜色通道的对数亮度值转化为hdr范围亮度值；
12、通过莱因哈德函数调整图像的亮度和对比度，将hdr范围亮度值转换为ldr范围亮度值；
13、基于所述ldr范围亮度值生成重建图像帧。
14、在本申请一较佳的示例中可以进一步设置为，将待处理图像的事件数据输入到优化后的pinn模型中，得到待处理图像的三个颜色通道的对数亮度值，包括：
15、将事件数据的时间坐标输入到优化后的pinn模型中，得到红色通道的对数亮度值、绿色通道的对数亮度值和蓝色通道的对数亮度值。
16、在本申请一较佳的示例中可以进一步设置为，pinn模型的隐藏层为多层全连接神经网络，初始的pinn模型使用随机化的参数值。
17、在本申请一较佳的示例中可以进一步设置为，基于预测亮度值和实际亮度值进行时间导数的自监督，包括：
18、计算pinn模型输出的预测亮度值和由事件生成方程计算的实际亮度值之间的亮度变化差值：
19、根据亮度变化差值确定均方误差损失函数，基于均方误差损失函数对pinn模型进行时间导数的自监督。
20、在本申请一较佳的示例中可以进一步设置为，引入tikhonov正则化约束条件对初始的pinn模型进行优化，包括：
21、通过tikhonov正则化来约束对数亮度的空间梯度，表达式为：
22、
23、其中，表示正则化约束条件，表示在x维度上的导数，表示在y维度上的导数。
24、在本申请一较佳的示例中可以进一步设置为，
25、事件生成方程的公式表示为：
26、
27、其中l表示亮度变化，pi表示亮度变化的方向，θ表示触发事件的亮度变化阈值，δ(t-ti)表示狄拉克函数，t1和t2表示时间坐标。
28、第二方面，本申请提供一种基于事件相机的图像处理装置。
29、本申请是通过以下技术方案得以实现的：
30、一种基于事件相机的图像处理装置，用于执行上述第一方面所述的基于事件相机的图像处理方法，所述图像处理装置包括：
31、数据获取模块，用于获取事件相机采集到的模糊图像的事件数据；
32、模型构建模块，用于构建初始的pinn模型，在所述初始的pinn模型中嵌入事件生成方程，所述初始的pinn模型的输入项为事件数据，输出项为满足事件生成方程的预测亮度值；
33、模型优化模块，用于将模糊图像的事件数据输入到初始的pinn模型，得到事件数据的预测亮度值，基于预测亮度值和实际亮度值进行时间导数的自监督，并引入tikhonov正则化约束条件对初始的pinn模型进行优化，待pinn模型的预测性能达到预设标准，确定优化后的pinn模型；
34、亮度值预测模块，用于将待处理图像的事件数据输入到优化后的pinn模型中，得到待处理图像的三个颜色通道的对数亮度值；
35、色调映射模块，用于采用色调映射将三个颜色通道的对数亮度值转化为重建图像帧。
36、第三方面，本申请是通过以下技术方案得以实现点的：
37、一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一种基于事件相机的图像处理方法的步骤。
38、第四方面，本申请提供一种计算机可读存储介质。
39、本申请是通过以下技术方案得以实现的：
40、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种基于事件相机的图像处理方法的步骤。
41、综上所述，与现有技术相比，本申请实施例提供的技术方案带来的有益效果至少包括：本申请通过获取事件相机采集到的模糊图像的事件数据；构建初始的pinn模型，在初始的pinn模型中嵌入事件生成方程；将模糊图像的事件数据输入到初始的pinn模型，得到事件数据的预测亮度值，基于预测亮度值和实际亮度值进行时间导数的自监督，并引入tikhonov正则化约束条件对初始的pinn模型进行优化，待pinn模型的预测性能达到预设标准，确定优化后的pinn模型；将待处理图像的事件数据输入到优化后的pinn模型中，得到待处理图像的三个颜色通道的对数亮度值；采用色调映射将三个颜色通道的对数亮度值转化为重建图像帧。本申请利用pinn模型通过自监督学习直接解决事件生成模型中的物理方程，减少了对大量标注数据的依赖，从而显著降低了数据标注的成本和时间投入，提高了模型在真实场景中的适用性；利用时间导数本文档来自技高网...
【技术保护点】
1.一种基于事件相机的图像处理方法，其特征在于，包括：
2.根据权利要求1所述的基于事件相机的图像处理方法，其特征在于，采用色调映射将三个颜色通道的对数亮度值转化为重建图像帧，包括：
3.根据权利要求1所述的基于事件相机的图像处理方法，其特征在于，将待处理图像的事件数据输入到优化后的PINN模型中，得到待处理图像的三个颜色通道的对数亮度值，包括：
4.根据权利要求1所述的基于事件相机的图像处理方法，其特征在于，PINN模型的隐藏层为多层全连接神经网络，初始的PINN模型使用随机化的参数值。
5.根据权利要求1所述的基于事件相机的图像处理方法，其特征在于，基于预测亮度值和实际亮度值进行时间导数的自监督，包括：
6.根据权利要求4所述的基于事件相机的图像处理方法，其特征在于，引入Tikhonov正则化约束条件对初始的PINN模型进行优化，包括：
7.根据权利要求1至6任意一项所述的基于事件相机的图像处理方法，其特征在于，事件生成方程的公式表示为：
8.一种基于事件相机的图像处理装置，其特征在于，用于执
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现权利要求1至7任意一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任意一项所述方法的步骤。
...【技术特征摘要】
1.一种基于事件相机的图像处理方法，其特征在于，包括：
2.根据权利要求1所述的基于事件相机的图像处理方法，其特征在于，采用色调映射将三个颜色通道的对数亮度值转化为重建图像帧，包括：
3.根据权利要求1所述的基于事件相机的图像处理方法，其特征在于，将待处理图像的事件数据输入到优化后的pinn模型中，得到待处理图像的三个颜色通道的对数亮度值，包括：
4.根据权利要求1所述的基于事件相机的图像处理方法，其特征在于，pinn模型的隐藏层为多层全连接神经网络，初始的pinn模型使用随机化的参数值。
5.根据权利要求1所述的基于事件相机的图像处理方法，其特征在于，基于预测亮度值和实际亮度值进行时间导数的自监督，包括：
6.根据权利要...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。