一种视频流复原方法、系统、电子设备及存储介质技术方案

本申请涉及计算机视觉技术领域，具体提供了一种视频流复原方法、系统、电子设备及存储介质，其包括步骤：获取相互标定的事件信息和所述带有运动模糊的视频流，所述事件信息由事件相机采集生成，带有运动模糊的视频流由视觉相机采集；根据所述视频流获取带有运动模糊的目标物体信息；根据所述事件信息和所述目标物体信息获取目标物体的运动轨迹信息；根据所述运动轨迹信息去除所述视频流中所述目标物体信息对应的所述运动模糊以生成复原视频流；该方法通过事件信息复原带有运动模糊的视频流，由于事件信息能够清晰地反映视频流中的目标物体的运动轨迹信息，因此可以根据事件信息准确区分运动区域与非运动区域，从而提高视频流运动模糊的复原效果。运动模糊的复原效果。运动模糊的复原效果。

【技术实现步骤摘要】
一种视频流复原方法、系统、电子设备及存储介质


[0001]本申请涉及计算机视觉
，具体而言，涉及一种视频流复原方法、系统、电子设备及存储介质。

技术介绍

[0002]视频流由多帧图像组成，视频流的运动模糊与图像运动模糊关联，图像运动模糊的产生与传统RGB相机的面阵图像传感器的曝光方式有关，在曝光过程中，相机与被摄物体间发生了相对位移，不同时间戳的被摄物体被面阵图像传感器记录于同一幅图像当中，从而导致RGB相机的最终显示为模糊拖影，该模糊拖影不仅使得RGB图像中的运动物体失去了边缘信息与细节信息，还降低了RGB图像的图像质量，并对RGB图像后续的应用造成负面影响。
[0003]现有技术一般通过深度学习的方式对带有运动模糊的图像进行分析以预测其清晰图像，从而实现图像的运动模糊复原，进而实现视频流的运动模糊复原。但该方案无法准确分割图像中的运动区域与非运动区域，从而影响视频流运动模糊的复原效果。
[0004]针对上述问题，目前尚未有有效的技术解决方案。

技术实现思路

[0005]本申请的目的在于提供一种视频流复原方法、系统、电子设备及存储介质，能够有效地准确区分运动区域与非运动区域，从而有效地提高视频流运动模糊的复原效果。
[0006]第一方面，本申请提供了一种视频流复原方法，用于复原带有运动模糊的视频流，其包括以下步骤：获取相互标定的事件信息和上述带有运动模糊的视频流，上述事件信息由事件相机采集生成，上述带有运动模糊的视频流由视觉相机采集；根据上述视频流获取带有运动模糊的目标物体信息；根据上述事件信息和上述目标物体信息获取目标物体的运动轨迹信息；根据上述运动轨迹信息去除上述视频流中上述目标物体信息对应的上述运动模糊以生成复原视频流。
[0007]本申请提供的一种视频流复原方法，通过事件信息复原带有运动模糊的视频流，由于事件信息能够清晰地反映视频流中的目标物体的运动轨迹信息，因此可以根据事件信息准确区分视频流中的运动区域与非运动区域，从而有效地提高视频流运动模糊的复原效果，且本申请的视频流复原方法能够根据运动轨迹信息定向去除视频流中的运动模糊，因此无需对目标物体在其他方向上的数据进行分析，从而有效地减少去除运动模糊时的数据处理量。
[0008]可选地，上述根据上述视频流获取带有运动模糊的目标物体信息的步骤包括以下子步骤：利用预设的目标检测模型分析上述带有运动模糊的视频流以获取带有运动模糊
的目标物体信息。
[0009]可选地，上述根据上述运动轨迹信息去除上述视频流中上述目标物体信息对应的上述运动模糊以生成复原视频流的步骤包括以下子步骤：根据上述运动轨迹信息获取上述目标物体信息在上述视频流中每一帧图像的运动方向信息；根据上述运动方向信息去除上述视频流中每一帧图像的上述运动模糊以生成复原图像帧；根据所有上述复原图像帧生成上述复原视频流。
[0010]可选地，上述根据上述运动轨迹信息获取上述目标物体信息在上述视频流中每一帧图像的运动方向信息的步骤包括以下子步骤：根据上述目标物体信息在上述视频流中的目标帧与其上一帧之间对应的上述运动轨迹信息获取上述目标帧的上述运动方向信息，以获取上述目标物体信息在上述视频流中每一帧图像的上述运动方向信息。
[0011]可选地，上述根据上述运动轨迹信息获取上述目标物体信息在上述视频流中每一帧的运动方向信息的步骤包括以下步骤：根据上述运动轨迹信息对上述视频流进行插帧以生成补偿视频流；根据上述目标物体信息在上述补偿视频流中的目标帧与其上一帧之间对应的上述运动轨迹信息获取上述目标帧的上述运动方向信息，以获取上述目标物体信息在上述补偿视频流中每一帧图像的上述运动方向信息。
[0012]本申请提供的一种视频流复原方法，先根据运动轨迹信息对视频流进行插帧并生成补偿视频流，再利用该补偿视频流获取目标物体信息在补偿视频流中每一帧图像的运动方向信息，由于插入补偿帧后视频流中目标物体的运动轨迹更加清晰，从而有效地提高获取每一帧图像的运动方向信息的准确度。
[0013]可选地，上述根据上述运动方向信息去除上述视频流中每一帧图像的上述运动模糊以生成复原图像帧的步骤包括以下子步骤：根据上述目标物体信息及其对应的上述运动方向信息对上述视频流中每一帧图像进行定向灰度值滤波，以生成复原图像帧。
[0014]可选地，上述根据上述事件信息和上述目标物体信息获取目标物体的运动轨迹信息的步骤包括以下子步骤：根据上述事件信息及上述目标物体信息获取目标事件信息；根据不同时间戳的目标事件信息的目标物体质心计算上述运动轨迹信息。
[0015]第二方面，本申请还提供了一种视频流复原系统，用于复原带有运动模糊的视频流，其包括：事件相机，用于采集并生成事件信息；视觉相机，用于采集带有运动模糊的视频流；控制器，与上述事件相机和上述视觉相机电性连接；上述控制器用于获取相互标定的上述事件信息和上述带有运动模糊的视频流，还用于根据上述视频流获取带有运动模糊的目标物体信息，还用于根据上述事件信息和上述目标物体信息获取目标物体的运动轨迹信息，还用于根据上述运动轨迹信息去除上述视频
流中上述目标物体信息对应的上述运动模糊以生成复原视频流。
[0016]本申请提供的一种视频流复原系统，通过事件信息复原带有运动模糊的视频流，由于事件信息能够清晰地反映视频流中的目标物体的运动轨迹信息，因此可以根据事件信息准确区分视频流中的运动区域与非运动区域，从而有效地提高视频流运动模糊的复原效果，且本申请的视频流复原方法能够根据运动轨迹信息定向去除视频流中的运动模糊，因此无需对目标物体在其他方向上的数据进行分析，从而有效地减少去除运动模糊时的数据处理量。
[0017]第三方面，本申请还提供了一种电子设备，包括处理器以及存储器，上述存储器存储有计算机可读取指令，当上述计算机可读取指令由上述处理器执行时，运行如上述第一方面提供的方法中的步骤。
[0018]第四方面，本申请还提供了一种存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时运行如上述第一方面提供的方法中的步骤。
[0019]由上可知，本申请提供的一种视频流复原方法、系统、电子设备及存储介质，通过事件信息复原带有运动模糊的视频流，由于事件信息能够清晰地反映视频流中的目标物体的运动轨迹信息，因此可以根据事件信息准确区分视频流中的运动区域与非运动区域，从而有效地提高视频流运动模糊的复原效果，且本申请的视频流复原方法能够根据运动轨迹信息定向去除视频流中的运动模糊，因此无需对目标物体在其他方向上的数据进行分析，从而有效地减少去除运动模糊时的数据处理量。
[0020]本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
[0021]图1为本申请实施例提供的一种视频流复原方法的流程图。
[0022]图2为本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频流复原方法，用于复原带有运动模糊的视频流，其特征在于，所述视频流复原方法包括以下步骤：获取相互标定的事件信息和所述带有运动模糊的视频流，所述事件信息由事件相机采集生成，所述带有运动模糊的视频流由视觉相机采集；根据所述视频流获取带有运动模糊的目标物体信息；根据所述事件信息和所述目标物体信息获取目标物体的运动轨迹信息；根据所述运动轨迹信息去除所述视频流中所述目标物体信息对应的所述运动模糊以生成复原视频流。2.根据权利要求1所述的视频流复原方法，其特征在于，所述根据所述视频流获取带有运动模糊的目标物体信息的步骤包括以下子步骤：利用预设的目标检测模型分析所述带有运动模糊的视频流以获取带有运动模糊的目标物体信息。3.根据权利要求1所述的视频流复原方法，其特征在于，所述根据所述运动轨迹信息去除所述视频流中所述目标物体信息对应的所述运动模糊以生成复原视频流的步骤包括以下子步骤：根据所述运动轨迹信息获取所述目标物体信息在所述视频流中每一帧图像的运动方向信息；根据所述运动方向信息去除所述视频流中每一帧图像的所述运动模糊以生成复原图像帧；根据所有所述复原图像帧生成所述复原视频流。4.根据权利要求3所述的视频流复原方法，其特征在于，所述根据所述运动轨迹信息获取所述目标物体信息在所述视频流中每一帧图像的运动方向信息的步骤包括以下子步骤：根据所述目标物体信息在所述视频流中的目标帧与其上一帧之间对应的所述运动轨迹信息获取所述目标帧的所述运动方向信息，以获取所述目标物体信息在所述视频流中每一帧图像的所述运动方向信息。5.根据权利要求3所述的视频流复原方法，其特征在于，所述根据所述运动轨迹信息获取所述目标物体信息在所述视频流中每一帧图像的运动方向信息的步骤包括以下步骤：根据所述运动轨迹信息对所述视频流进行插帧以生成补偿视频流；根据所述目标物体信息...

【专利技术属性】
技术研发人员：蔡维嘉，古家威，李腾，张晟东，王济宇，张立华，
申请(专利权)人：季华实验室，
类型：发明
国别省市：