本申请提供了一种数据处理方法及相关装置，该数据处理方法包括：基于APS图像传感器采集的多帧清晰图像，生成相应的模糊图像；确定模糊图像对应的曝光时间区间；从EVS图像传感器所采集的事件流数据中，获取处于曝光时间区间内的目标事件流数据；对模糊图像、目标事件流数据以及多帧清晰图像中的真值图像进行关联，得到去模糊网络模型的训练数据。通过本申请方案的实施，采用真实相机拍摄的图像数据以及事件数据流来生成训练去模糊网络模型的三元组数据，数据采集难度较低，且提高了训练数据的真实性和有效性。据的真实性和有效性。据的真实性和有效性。
【技术实现步骤摘要】
一种数据处理方法及相关装置
[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法及相关装置。
技术介绍
[0002]在运动拍摄场景下，相机所拍摄的图像通常会面临运动模糊的问题，导致图像质量不能满足用户的实际需求，为了改善模糊图像的清晰度，研发人员开发出了基于大批量训练数据训练得到的图像去模糊算法模型。
[0003]基于事件数据的图像去模糊算法是当前一种较为典型的算法模型，该算法模型是对相机拍摄出的模糊图像和相应的事件数据流进行处理，以得到清晰图像。为了提升算法模型的处理性能，模型训练过程至关重要，基于事件数据的图像去模糊算法的训练数据为三元组数据，该三元组数据中包括模糊图像、清晰图像以及对应的事件数据流。
[0004]目前，对于上述三元组数据的采集，相关技术中通常采用高帧率相机采集高帧率清晰图像，使用事件模拟器生成对应的事件数据流，并将多张清晰图像进行合并处理生成模糊图像，最后将一张清晰图像、一张模糊图像以及事件数据流组成三元组数据。由于训练数据中的事件数据流为模拟数据，数据真实性和有效性并无法得到充分保证。
技术实现思路
[0005]本申请实施例提供了一种数据处理方法及相关装置，至少能够解决相关技术中所提供的基于事件数据的图像去模糊算法模型的训练数据中使用的事件流数据为模拟数据，导致数据真实性和有效性无法得到充分保证的问题。
[0006]本申请实施例第一方面提供了一种数据处理方法，包括：基于APS图像传感器采集的多帧清晰图像，生成相应的模糊图像；确定所述模糊图像对应的曝光时间区间；从EVS图像传感器所采集的事件流数据中，获取处于所述曝光时间区间内的目标事件流数据；对所述模糊图像、所述目标事件流数据以及多帧所述清晰图像中的真值图像进行关联，得到去模糊网络模型的训练数据。
[0007]本申请实施例第二方面提供了一种数据处理装置，包括：生成模块，用于基于APS图像传感器采集的多帧清晰图像，生成相应的模糊图像；确定模块，用于确定所述模糊图像对应的曝光时间区间；获取模块，用于从EVS图像传感器所采集的事件流数据中，获取处于所述曝光时间区间内的目标事件流数据；关联模块，用于对所述模糊图像、所述目标事件流数据以及多帧所述清晰图像中的真值图像进行关联，得到去模糊网络模型的训练数据。
[0008]本申请实施例第三方面提供了一种数据处理系统，包括：APS图像传感器、EVS图像传感器、存储器及处理器，其中，处理器用于执行存储在存储器上的计算机程序，处理器执行计算机程序时，实现上述本申请实施例第一方面提供的数据处理方法中的各步骤。
[0009]本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述本申请实施例第一方面提供的数据处理方法中的各步骤。
[0010]由上可见，根据本申请方案所提供的数据处理方法及相关装置，基于APS图像传感器采集的多帧清晰图像，生成相应的模糊图像；确定模糊图像对应的曝光时间区间；从EVS图像传感器所采集的事件流数据中，获取处于曝光时间区间内的目标事件流数据；对模糊图像、目标事件流数据以及多帧清晰图像中的真值图像进行关联，得到去模糊网络模型的训练数据。通过本申请方案的实施，采用真实相机拍摄的图像数据以及事件数据流来生成训练去模糊网络模型的三元组数据，数据采集难度较低，且提高了训练数据的真实性和有效性。
附图说明
[0011]图1为本申请第一实施例提供的数据处理方法的基本流程示意图；
[0012]图2为本申请第一实施例提供的一种APS图像的曝光时间示意图；
[0013]图3为本申请第一实施例提供的一种模糊图像生成方式的示意图；
[0014]图4为本申请第一实施例提供的另一种模糊图像生成方式的示意图；
[0015]图5为本申请第一实施例提供的3帧清晰图像的曝光时间示意图；
[0016]图6为本申请第一实施例提供的一种插帧方式的示意图；
[0017]图7为本申请第二实施例提供的数据处理方法的细化流程示意图；
[0018]图8为本申请第三实施例提供的数据处理装置的程序模块示意图；
[0019]图9为本申请第四实施例提供的数据处理系统的结构示意图。
具体实施方式
[0020]为使得本申请的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0021]在本申请实施例的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。
[0022]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0023]在本申请实施例中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请实施例中的具体含义。
[0024]为了解决相关技术中所提供的基于事件数据的图像去模糊算法模型的训练数据
中使用的事件流数据为模拟数据，导致数据真实性和有效性无法得到充分保证的问题，本申请第一实施例提供了一种数据处理方法，如图1为本实施例提供的数据处理方法的基本流程图，该数据处理方法包括以下的步骤：
[0025]步骤101、基于APS图像传感器采集的多帧清晰图像，生成相应的模糊图像。
[0026]具体的，有源像素传感器(APS，Active
‑
Pixel Sensor)是一种常用的图像传感器，其中每个像素传感器单元具有光电检测器和至少一个有源晶体管，在金属氧化物半导体(MOS)有源像素传感器中，MOS场效应晶体管(MOSFET)用作放大器，APS的类型有多种，包括早期的NMOS型APS和更常见的互补MOS(CMOS)型APS。在本实施例中，APS图像传感器的帧率优选地可以设置为28FPS，曝光时间可以设置为3～10Ms，当然，曝光时间可以根据现场环境光线强度进行适应性调整。
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：基于APS图像传感器采集的多帧清晰图像，生成相应的模糊图像；确定所述模糊图像对应的曝光时间区间；从EVS图像传感器所采集的事件流数据中，获取处于所述曝光时间区间内的目标事件流数据；对所述模糊图像、所述目标事件流数据以及多帧所述清晰图像中的真值图像进行关联，得到去模糊网络模型的训练数据。2.根据权利要求1所述的数据处理方法，其特征在于，所述基于APS图像传感器采集的多帧清晰图像，生成相应的模糊图像的步骤，包括：对于APS图像传感器采集的奇数帧清晰图像，在时间维度将相邻帧所述清晰图像进行等距插帧处理；以奇数帧所述清晰图像中的中间图像相应的采集时刻为基准，分别向前和向后平移目标时长，得到起始时刻以及终止时刻；对插帧后得到的多帧图像中处于所述起始时刻以及终止时刻之间的目标图像进行合并，生成相应的模糊图像。3.根据权利要求2所述的数据处理方法，其特征在于，所述目标时长满足如下条件：t<(sof
m
‑
sof
n
+exposure
n
)/2t>(sof
m
‑
sof
n
+exposure
n
)/(N
‑
1)其中，t表示所述目标时长，sof
m
表示奇数帧所述清晰图像中最后一帧图像的首行曝光结束时间，sof
n
表示奇数帧所述清晰图像中第一帧图像的首行曝光结束时间，exposure
n
表示所述第一帧图像的单行曝光时间，N表示插帧后得到的图像的总帧数，N的取值为大于1的整数。4.根据权利要求2所述的数据处理方法，其特征在于，所述对于APS图像传感器采集的奇数帧清晰图像，在时间维度将相邻帧所述清晰图像进行等距插帧处理的步骤之前，还包括：获取所述APS图像传感器的实际帧率；将所述实际帧率与预设帧率阈值进行比较；若所述实际帧率低于所述帧率阈值，则执行所述对于APS图像传感器采集的奇数帧清晰图像，在时间维度将相邻帧所述清晰图像进行等距插帧处理的步骤；若所述实际帧率高于所述帧率阈值，则对奇数帧所述清晰图像进行合并，生成相应的模糊图像。5.根据权利要求1所述的数据处理方法，其特征在于，所述确定所述模糊图像对应的曝光时间区间的步骤，包括：将多帧所述清晰图像中最后一帧图像的首行曝光结束时间确定为所述模糊图像的首行曝光结束时间，以及将多帧所述清晰图像中最后一帧图像的尾行曝光结束时间确定为所述模糊图像的尾行曝光结束时间；基于预设曝光时间计算公式，计算所述模糊图像的单行曝光时间；所述曝光时间计算公式表示为：exposure
synthetic
＝sof
m
‑
sof
n
+exposure
n
，其中，exposure
synthetic
表示所述模糊图像的单行曝光时间，sof
m
【专利技术属性】
技术研发人员：赵振兴，
申请(专利权)人：深圳锐视智芯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。