一种用于视频拼接的视频帧同步方法技术

本发明专利技术提出了一种用于视频拼接的视频帧同步方法，包括如下步骤：（1）让用于图像拼接的边缘设备在进行图像拼接之前先拍摄一个微妙级的时钟；（2）边缘端采集视频信息，缓存每一帧图像和每一帧图像获取到的系统时间；（3）读取并处理来自不同边缘端缓存的视频信息；（4）识别获取视频的每一帧图像拍摄到的毫秒级时钟的时间；（5）根据识别的结果计算和每帧图像的获取时间出不同边缘端的系统时间差；（6）在视频图像拼接时，根据得到的系统时间差对得到的视频帧图像的时间进行调整，使得用于拼接的视频帧是在同以时刻拍到的，以减小图像拼接时的误差。本发明专利技术可以有效的校准视频序列，避免拼接图像出现鬼影、物体割裂、模糊等情况，保证了拼接后视频的质量。拼接后视频的质量。拼接后视频的质量。

【技术实现步骤摘要】
一种用于视频拼接的视频帧同步方法


[0001]本专利技术涉及图像拼接
，涉及一种用于视频拼接的视频帧同步方法。

技术介绍

[0002]随着数字图像技术的发展与进步，图像拼接
的研究越来越火热，逐渐成为了计算机视觉处理、计算机图形学里的重要研究方向。而视频拼接在虚拟现实、安防监控、航空航天等领域都有着重要的应用。虽然目前对于图像拼接的研究技术日益成熟，但在视频图像的拼接中，由于视频拼接需要视频序列的配准和拼接，这需要巨大的计算能力，这使得目前的视频拼接很难在实时线完成，所以视频拼接仍然有很多问题需要解决。视频的拼接不同于图像拼接，在图像拼接中只需要考虑将平面的两张图像拼接在一起就可以，视频拼接还包含时间信息，还涉及到前景物体的运动。与图像拼接相比需要考虑时间的维度，因此对于视频图像拼接的处理不能等同于静态图像拼接。
[0003]传统的视频拼接忽略了在图像获取的时间上的误差，直接将得到的图像用于拼接，导致得到的结果会出现目标撕裂、分割和鬼影等情况。因为在视频的采集过程中会受到各种影响导致不同的视频在时间上存在偏差，比如摄像头未能同时开机、图像传输存在网络延迟和卡顿的情况。要解决这一问题需要对得到的视频进行时间上的同步校准，从而保证视频拼接的效果。

技术实现思路

[0004]本专利技术的目的在于：提供了一种用于多视频序列拼接的视频帧校准方法，使视频序列在进行拼接选取的图像是在时间上一致的视频帧。解决由时间上的差异引起的视频拼接中图像出现鬼影、物体分割、错位等情况，提升视频拼接的质量。r/>[0005]本专利技术的主要构思：在进行视频拼接之前，将不同边缘端的图像采集设备先对一个毫秒级的时钟采集图像，并同时记录下各自得到图像帧的时间，边缘设备将得到的图像信息发送到服务器。服务器通过识别视频序列的中拍到的时间，根据图像中时间一致的图像的时间差计算得到时间偏移量，通过引入毫秒级的时钟，将不同系统上的时间维度进行统一，以此偏移量对视频帧的时间进行校准。
[0006]一种用于视频拼接的视频帧同步的方法，包括如下步骤：
[0007](1)使用不同边缘端的图像采集设备对同一个毫秒级时钟采集视频序列；
[0008](2)边缘端记录下视频系列每一帧图像的拍摄时间，并将视频序列传到服务器端；
[0009](3)服务器端对得到的视频序列进行识别，得到视频帧图像上毫秒级时钟的时间信息；
[0010](4)根据视频帧图像上得到的时间信息，将不同视频序列的视频帧进行匹配；
[0011](5)根据匹配后的视频帧计算视频帧间的系统时间差；
[0012](6)将得到的系统时间差作为拼接时候的校准偏移量，在对视频序列拼接时，将图像原本的时间加上得到的系统时间差，将不同系统的时间统一在相同的维度下，在此基础
上选取时间相同的视频帧图像进行拼接
[0013]为了确保系统时间差的准确性，系统时间差需要计算多次。直到某一视频序列结束为止。从所有的得到的系统时间差中选取其中的中位数作为最终的系统时间差。
[0014]本专利技术的有益效果：由于摄像机之间的硬件的差异和网络的影响，使得摄像头无法在同一时刻拍摄图像，本专利技术在视频拼接之前，利用毫秒级的时钟的时间对不同边缘的摄像机进行时间的统一，计算出摄像机开机时间之间的毫秒级的偏移量，来校准拍摄时因硬件上的差异导致的开机时间不一致的问题。通过毫秒级的偏移量将用于拼视频接的视频帧之间的时间误差缩减到毫秒级别，极大地保障了视频帧拼接中用于拼接的视频帧在同一时间上的获得的。
附图说明
[0015]图1是本专利技术视频帧同步方法流程示意图；
[0016]图2是不同摄像机拍摄带毫秒级时钟示意图；
[0017]图3是带有时间校准的图像拼接流程图；
[0018]图4是没有除去相同帧和和模糊帧的系统时间差的效果图；
[0019]图5是除去相同帧和和模糊帧的系统时间差的效果图。
具体实施方式
[0020]下面结合实施例及附图，对本专利技术做进一步的详细说明，但本专利技术的实施方式不仅限于此；在介绍本专利技术的具体实施方式之前，首先对一些基本的概念进行说明：
[0021](1)系统时间：不同边缘端系统内部的时间，各个边缘端的时间可能不一致；
[0022](2)时钟时间：摄像头拍摄到的毫秒级时钟的时间。
[0023]传统的多视频处理领域，都是假设不同的视频源的视频序列都是在同一时刻获取到图像。忽略了网络延迟、相机开机不一致等时间上的误差，由于图像获取的时间存在差异，若直接将得到的图像用于拼接，得到的效果往往都会存在重影、图像割裂等情况。
[0024]在本实施例中的摄像头使用的是帧率为30，图像分辨率为680
×
480的摄像头，并且使用电脑上的毫秒显示器来显示毫秒级时间。本实施例的视频帧同步流程方法如图1所示，不同的边缘设备对统一区域进行视频采集，边缘端设备的摄像机的摆放如图2所示，并在采集图像的时候记录每一张视频帧拍摄的时间。将处理后的视频序列以2进制编码的形式发送到服务端，服务端接收后，对解码得到的图像进行数字识别处理，得到图像中毫秒级时钟的时间。
[0025]对于上述的数字进行识别：首先对得到的图像进行预处理去除图像的噪点，对处理后的图像进行角点检测提取图像中的形状，因为使用的毫秒级时间是在一个长方形中显示，所以对图像进行图形提取后时间信息就保存在得到的形状区域之中，再通过一些阈值的设定对图形形状进行筛选，获得带有时间信息的图形区域。再对得到的图形区域使用python的图像处理库tess将图像中的时间信息提取出来。
[0026]在对所有的视频帧都进行处理得到其相应的时间信息后，将不同视频序列的时钟时间进行匹配，根据匹配的结果计算出系统时间的偏差Δt。其具体的计算方法如下：
[0027](1)对视频序列A和序列B的第一帧图像进行检测，得到其时钟时间。
[0028](2)将得到的时间进行转化后做差，计算它们之间的差值。
[0029](3)若差值满足设定的阈值则转进行(5)。
[0030](4)对于差值不满足的时候可能会出现以下的情况：
[0031]1)若序列A的时间大于序列B的时间则选择序列B的下一帧图像，重新检测时钟时间后与当前序列A的视频帧重新进行(2)；
[0032]2)若序列A的时间小于序列B的时间则选择序列A的下一帧图像，重新检测时钟时间后与当前序列B的视频帧重新进行(2)。
[0033](5)将得到的系统时间差值记录下来，重复上述过程，直到某一视频序列结束为止。
[0034](6)取所有的系统时间差值的中位数作为不同边缘端系统的时间差Δt。
[0035]对于图像中的时间信息，电脑显示的毫秒时间与电脑显示屏的刷新率有关，由于毫秒级时钟的时间快速变化，这使得摄像机成像时会有部分图像出现虚影，这些虚影会导致视频序列在进行数字识别后提取出来的时间信息与原来的时间不一致的情况。当电脑屏幕的刷新本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于视频拼接的视频帧同步方法，其特征在于，包括如下步骤：（1）使用不同边缘端的图像采集设备对同一个毫秒级时钟采集视频序列；（2）边缘端记录下视频序列每一帧图像的拍摄时间，并将视频序列传到服务器端；（3）服务器端对得到的视频序列进行识别，得到图像上的时间信息；（4）根据得到图像的时间信息，将不同视频序列的视频帧进行匹配；（5）根据匹配后的视频帧计算视频帧间的系统时间差；（6）将得到的时间差作为拼接时候的校准偏移量，在对视频序列拼接时，将图像原本的时间加上得到的系统时间差，将不同系统的时间统一在相同的维度下，在此基础上选取时间相同的视频帧图像进行拼接。2.如权利要求1所述的视频帧同步方法，其特征在于，所述步骤（3）在获取图像中的毫秒级时钟的时间使用了OCR数字识别。3.如权利要求2所述的视频帧同步方法，其特征在于，所述OCR数字识别是根据拍摄的时钟的特点从视频帧中截取感兴趣区即：包含显示的时间的区域；对感兴趣区域进行数值识别得到图像拍摄的...

【专利技术属性】
技术研发人员：贾刚勇，宋子伟，李尤慧子，殷昱煜，蒋从锋，张纪林，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：