一种图像高速场景恢复方法、设备及介质技术

本申请公开了一种图像高速场景恢复方法、设备及介质，方法包括：对固定帧数的原始图像进行求和计数得到连续的原始图像构成的低时间分辨率图像；将低时间分辨率图像输入至训练好的神经网络模型中，检测低时间分辨率图像中是否存在模糊区域；若存在，则计算模糊区域的位置坐标；计算两个相邻的低时间分辨率图像中模糊区域的位置坐标，得到模糊区域的偏移值；根据偏移值计算低时间分辨率图像所对应的原始图像中的模糊区域的位置；根据偏移的位置计算间隔信息作为高时间分辨率图像像素值。本申请解决了现有的脉冲图像传感器的图像数据面临着后期恢复运动物体模糊的技术问题。临着后期恢复运动物体模糊的技术问题。临着后期恢复运动物体模糊的技术问题。

【技术实现步骤摘要】
一种图像高速场景恢复方法、设备及介质


[0001]本申请涉及图像处理
，尤其涉及一种图像高速场景恢复方法、设备及介质。

技术介绍

[0002]近年来，图像传感器朝着高分辨率发展的同时，也对帧率提出了更高的要求，特别是在某些高速运动场景下比如爆炸、风洞试验等需要对物体运动细节作出详细的记录。以每像素8bit，每帧1280
×
720分辨率，每秒5000帧的图像传感器为例，其产生的传输要求达到36.86Gbit/s。这不仅对传输速率提出了极大的要求，也进一步增加了传感器的功耗。为此人们仿照视网膜神经元放电的原理，开发了脉冲图像传感器。
[0003]脉冲图像传感器在每一个像素点的工作方式都是异步触发、同步读取，每一个像素点输出的都是离散的0
‑
1数据。在同一个像素点，一段时间内的脉冲触发个数可以看作是关于光强的正比例函数。根据触发次数不同，可以在后期估计出场景的光强信息，从而实现对场景的细节感知。
[0004]但是这种类型的图像数据，遇到运动物体时会产生拖尾现象，本来应该在某一个像素触发会在相邻的像素触发，导致在高时间分辨率重构时发生拖尾模糊问题。已有通过计算光强后进行截断的方法无法适用全局图像，会影响到图像其他地方细节。

技术实现思路

[0005]本申请提供了一种图像高速场景恢复方法、设备及介质，解决了现有的单光子图像传感器的图像数据，后期重构恢复困难的问题。
[0006]有鉴于此，本申请第一方面提供了一种图像高速场景恢复方法，所述方法包括：
[0007]计算连续原始图像的光强，若所述光强大于预设的阈值，则得到连续的所述原始图像构成的低时间分辨率图像；
[0008]将所述低时间分辨率图像输入至训练好的神经网络模型中，检测所述低时间分辨率图像中是否存在模糊区域；
[0009]若存在，则计算所述模糊区域的位置坐标；
[0010]计算两个相邻的所述低时间分辨率图像中所述模糊区域的所述位置坐标的差值，得到所述模糊区域的偏移值；
[0011]根据所述偏移值计算所述低时间分辨率图像所对应的所述原始图像中的所述模糊区域的位置。
[0012]可选的，在所述根据所述偏移值计算所述低时间分辨率图像所对应的所述原始图像中的所述模糊区域的位置，之后还包括：
[0013]根据计算得到的所述模糊区域修正所述原始图像中的运动物体的位置。
[0014]可选的，所述根据计算得到的所述模糊区域修正所述原始图像中的运动物体的位置，还包括：
[0015]修正所述原始图像中所述模糊区域的像素点的运动偏移。
[0016]可选的，所述根据计算得到的所述模糊区域修正所述原始图像中的运动物体的位置，还包括：
[0017]若连续原始图像的所述模糊区域中相同位置的像素点出现光强为1时，此时，出现光强为1的所述原始图像之间包括t个所述原始图像，所述原始图像的光强包括1和0；
[0018]将出现光强为1的所述原始图像之间的所有原始图像的相同位置的光强设置为
[0019]可选的，在所述将所述低时间分辨率图像输入至训练好的神经网络模型中，检测所述低时间分辨率图像中是否存在模糊区域，之前还包括：
[0020]获取大量包含运动物体的图像，标注所述图像中的模糊区域，将标注后的所述图像作为训练集；
[0021]采用所述训练集训练神经网络模型，获取模糊区域的特征，输出所述模糊区域的图像框，直到所述输出的所述图像框满足预置要求，得到训练好的神经网络模型。
[0022]可选的，所述计算连续原始图像的光强，若所述光强大于预设的阈值，则得到连续的所述原始图像构成的低时间分辨率图像，包括：
[0023]将所述连续原始图像的所述光强进行累加，若累加后的所述光强大于预设的阈值，将所述光强大于预设的阈值的所述连续原始图像进行合成，得到低时间分辨率图像；
[0024]记录所述光强大于预设的阈值时的所述连续原始图像的起始帧和结束帧。
[0025]可选的，所述计算两个相邻的所述低时间分辨率图像中所述模糊区域的所述位置坐标的差值，得到所述模糊区域的偏移值，包括：
[0026]计算两个相邻的所述低时间分辨率图像中，两个模糊区域的相同位置像素点的坐标，计算相同位置像素点坐标的差值，得到所述模糊区域的偏移值。
[0027]可选的，所述根据所述偏移值计算所述低时间分辨率图像所对应的所述原始图像中的所述模糊区域的位置，包括：
[0028]将所述偏移值除以所述起始帧到所述结束帧的帧数，得到相邻的所述原始图像的平均偏移值；
[0029]将所述模糊区域的坐标加上所述平均偏移值得到所述原始图像对应的所述模糊区域的位置。
[0030]本申请第二方面提供一种图像高速场景恢复设备，所述设备包括：处理器以及存储器：
[0031]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0032]所述处理器用于根据所述程序代码中的指令执行本申请第一方面所述的图像高速场景恢复方法。
[0033]本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的方法。
[0034]从以上技术方案可以看出，本申请具有以下优点：
[0035]本申请提供了一种图像高速场景恢复方法、设备及介质，方法包括：计算连续原始图像的光强，若光强大于预设的阈值，则得到连续的原始图像构成的低时间分辨率图像；将
低时间分辨率图像输入至训练好的神经网络模型中，检测低时间分辨率图像中是否存在模糊区域；若存在，则计算模糊区域的位置坐标；计算两个相邻的低时间分辨率图像中模糊区域的位置坐标，得到模糊区域的偏移值；根据偏移值计算低时间分辨率图像所对应的原始图像中的模糊区域的位置。
[0036]本申请通过对多帧原始图像进行求和计数获得低时间分辨率图像，利用判断低时间分辨率图像是否存在运动物体产生的模糊区域，来帮助高时间分辨率恢复方法校正运动偏移，进一步恢复物体运动细节信息。
附图说明
[0037]图1为本申请一种图像高速场景恢复方法的一个实施例的方法流程图；
[0038]图2为本申请一种图像高速场景恢复方法的另一个实施例的方法流程图；
[0039]图3为本申请一种图像高速场景恢复方法的一个实施例中时间窗口计数得到低时间分辨率图像的示意图；
[0040]图4为本申请一种图像高速场景恢复方法中的神经网络模型求得的模糊区域的示意图；
[0041]图5为本申请一种图像高速场景恢复方法中的神经网络模型求得的模糊区域对应的掩模矩阵的示意图；
[0042]图6为本申请一种图像高速场景恢复方法中第一帧低时间分辨率图像的模糊区域对应的掩模矩阵的示意图；
[0043]图7为本申请一种图像高速场景恢复方法中第二帧低时间分辨率图像的模糊区域对应的掩模矩阵的示意图；
[0044]图8为本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像高速场景恢复方法，其特征在于，包括：计算连续原始图像的光强，若所述光强大于预设的阈值，则得到连续的所述原始图像构成的低时间分辨率图像；将所述低时间分辨率图像输入至训练好的神经网络模型中，检测所述低时间分辨率图像中是否存在模糊区域；若存在，则计算所述模糊区域的位置坐标；计算两个相邻的所述低时间分辨率图像中所述模糊区域的所述位置坐标的差值，得到所述模糊区域的偏移值；根据所述偏移值计算所述低时间分辨率图像所对应的所述原始图像中的所述模糊区域的位置。2.根据权利要求1所述的图像高速场景恢复方法，其特征在于，在所述根据所述偏移值计算所述低时间分辨率图像所对应的所述原始图像中的所述模糊区域的位置，之后还包括：根据计算得到的所述模糊区域修正所述原始图像中的运动物体的位置。3.根据权利要求2所述的图像高速场景恢复方法，其特征在于，所述根据计算得到的所述模糊区域修正所述原始图像中的运动物体的位置，还包括：修正所述原始图像中所述模糊区域的像素点的运动偏移。4.根据权利要求3所述的图像高速场景恢复方法，其特征在于，所述根据计算得到的所述模糊区域修正所述原始图像中的运动物体的位置，还包括：若连续原始图像的所述模糊区域中相同位置的像素点出现光强为1时，此时，出现光强为1的所述原始图像之间包括t个所述原始图像，所述原始图像的光强包括1和0；将出现光强为1的所述原始图像之间的所有原始图像的相同位置的光强设置为5.根据权利要求1所述的图像高速场景恢复方法，其特征在于，在所述将所述低时间分辨率图像输入至训练好的神经网络模型中，检测所述低时间分辨率图像中是否存在模糊区域，之前还包括：获取大量包含运动物体的图像，标注所述图像中的模糊区域，将标注后的所述图像作为训练集；采用所述训练集训练神经网络模型，获取模糊区域的特征，输出所述...

【专利技术属性】
技术研发人员：马建国，谢佳铭，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：