一种视频帧中重影时间戳的识别方法技术

本发明专利技术提供了一种视频帧中重影时间戳的识别方法。本发明专利技术首先确定摄像机帧曝光时间和LCD显示器中时间戳刷新时间，然后计算一帧视频中最多的时间戳重叠数量。根据最多时间戳重叠数量，分别确定空间分集数量和颜色分集数量；其次将LCD显示屏上的数字码表中的每个数字时间戳替换成更容易被识别的编码时间戳。然后根据确定的空间分集数量和颜色分集数量，在时间戳刷新过程中结合使用空间分集和颜色分集技术。最后识别时间戳，分析得到正确的时间信息。本发明专利技术在不需要大幅度更改软件功能和增加硬件需求的基础上，提升视频帧中时间戳识别的准确率。

【技术实现步骤摘要】
一种视频帧中重影时间戳的识别方法
本专利技术属于视频图像处理领域，尤其涉及一种视频帧中重影时间戳的识别方法。
技术介绍
摄像机拍摄一张帧视频图像，本质是摄像机的一次曝光行为。摄像机镜头每次拍摄都需要花费一定量的曝光时间来得到一帧图像。曝光时间Te，指的是为了将光投射到照相感光材料的感光面上，快门所需要打开的时间。而时间戳码表在LCD显示器中存在一个刷新帧率，那意味着每个时间戳都会在LCD显示器上停留时间Tstamp。因此摄像机的图像传感器在一帧的曝光时间中有可能捕捉到多个时间戳，导致多个时间戳在相同空间位置上受到曝光而产生图像重叠问题——时间戳重影问题。场景中多个时间戳重叠在一起，导致识别目标相互遮挡，给时间戳识别带来巨大的困难。一般来说，重叠目标的识别难度随着目标重叠的数量和面积的增加而增大。不幸的是，时间戳码表的空间位置是固定不变的，所以时间戳重影都是完全重叠的。传统的一些识别方法对于此类重叠时间戳的精确识别效果基本无法让人满意。从另一个角度讲，重叠的物体识别其实是一个鸡尾酒会问题，数学上不可解。虽然可以通过拟合估计等手段的方式获得一个识别值，但是这种方法一方面时间开销大，另一方面识别错误率也比较高。
技术实现思路
本专利技术的主要目的是针对重影时间戳识别准确率低下的问题，实现一种简单有效的方法，在不需要大幅度更改软件功能和增加硬件需求的基础上，提升视频帧中时间戳识别的准确率。本专利技术提供了一种视频帧中重影时间戳的识别方法，包括以下步骤：1)确定摄像机帧曝光时间Te和LCD显示器中时间戳刷新时间Tstamp，然后计算一帧视频中最多可能出现的时间戳重叠数量N：式(1)中，表示向下取整函数。2)根据最多时间戳重叠数量，分别确定空间分集数量和颜色分集数量；空间分集数量Dspace、颜色分集数量Dcolor和一帧视频中最多可能出现的时间戳重叠数量N分别满足关系式(2)和(3)：Dstamp＝Dspace×Dcolor(2)；Dstamp≥N(3)；式(2)中Dstamp表示结合空间分集和颜色分集的方法能够处理的最多时间戳重叠数量；式(3)表明Dstamp的数量必须大于一帧视频中最多可能出现的时间戳重叠数量N。3)将LCD显示屏上的数字码表中的每个数字时间戳替换成更容易被识别的编码时间戳。4)根据步骤2)确定的空间分集数量和颜色分集数量，在时间戳刷新过程中结合使用空间分集和颜色分集技术。5)识别时间戳，分析得到正确的时间信息。所述的编码时间戳，利用具有校验和纠错能力的QR码或者设计的具有视觉可读性并且更容易被识别的视觉模式对数字时间进行编码代替原始的数字时间戳。所述的颜色分集技术利用RGB颜色通道的独立性，为每个时间戳增加颜色属性(红色、绿色和蓝色)，让带不同颜色属性的时间戳即使发生重叠曝光，也可以通过颜色图层把相互重叠的时间戳分离出来。因此Dcolor可以取1、2和3三种数值。所述的空间分集技术将在连续时间过程中出现在同一空间位置上的不同目标分散到不同空间位置上。简单地说，就是随着时间戳的变化每次都把新的时间戳放置在与前一个时间戳相异的空间位置上。如此任意两个相邻的时间戳都不会发生空间重叠，而且因此也避免了由摄像机拍摄动态刷新时间戳而造成的时间戳重影问题。所述的正确时间信息识别，由于空间分集和颜色分集技术的使用，每帧视频图像上都存在一组可识别时间戳(数量为1个以上)，因此最终需要识别所有时间戳并进行校验分析，才能获得正确的时间信息。本专利技术在不需要大幅度更改软件功能和增加硬件需求的基础上，提升视频帧中时间戳识别的准确率。附图说明图1是本专利技术一种视频帧中重影时间戳识别困难解决方法流程图；图2是数字的视觉模式编码；图3是结合空间分集的视觉模式时间戳实例。具体实施方式下面结合本专利技术中的附图，对本专利技术的技术方案进行清晰、完整地描述。基于本专利技术的实施例，本领域普通技术人员在没有做创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供了一种视频帧中重影时间戳的识别方法，硬件设备包括：一台高清数码摄像机和一台包含LCD显示器的计算机。本实例使用的摄像机为NikonD3100(支持1080P高清拍摄)，拍摄帧率为25fps；LCD显示器为DELLE2311H23寸宽屏液晶显示器，显示器刷新率为60Hz。如图1所示，该方法包括：步骤1，设计了一种数字编码形式——视觉模式编码。该编码形式由5x2个方形格子组成，每个视觉模式从左到右、从上到下的10个白色方块格子分别代表0到10十个数字，如图2所示。时间戳生成模块把系统时间编码成视觉模式时间戳，然后设置时间戳刷新时间Tstamp与显示器刷新率相同(16.7ms刷新间隔)。确定摄像机帧曝光时间Te为40ms(用摄像机拍摄帧率来假设更短的真实帧曝光时间并不影响最后实验结果)。根据最多的时间戳重叠数量计算公式(1)：最终得到一帧视频中最多可能出现的时间戳重叠数量N为4个。步骤2，设定颜色分集数量Dcolor为1(即不使用颜色分集)，则根据空间分集数量Dspace、颜色分集数量Dcolor和一帧视频中最多可能出现的时间戳重叠数量N分别满足关系式(2)和(3)：Dstamp＝Dspace×Dcolor(2)；Dstamp≥N(3)；我们得到空间分集数量Dspace为4。步骤3，根据步骤2得到的空间分集数量优化时间戳生成模块，即将连续时间顺序上的4个时间戳先后置放在4个互相不重叠的空间区域上，依次循环。为了避免新时间戳与前一阶段残留的时间戳重叠曝光，在生成并显示新时间戳的同时删除上一个时间戳。摄像机拍摄使用空间分集技术得到的包含时间戳的视频帧图像如图3所示。步骤4，根据步骤3得到的实验数据帧，每帧中都存在一组可识别的视觉模式时间戳。识别所有可以识别的时间戳，并从中选取最新的时间点为正确识别时间信息。在其他的实施例中，在上述实施例的基础上，进一步的，结合颜色分集的视觉模式时间戳，其特征在于：每个视觉模式编码的形式不变，但是代表一个数字的白色方块分别可用红色、绿色和蓝色代替。因此任意两种乃至三种不同颜色的任意数字重叠曝光，都可以通过分离RGB颜色通道进行分离。最后，应当指出，以上实施例仅是本专利技术较有代表性的例子。本领域的普通技术人员可在不脱离本专利技术的专利技术思想情况下，对于上述实施例做出种种修改或变化，因而本专利技术的保护范围并不被上述实施例所限，而应该是符合权利要求书提到的创新性特征的最大范围。本文档来自技高网...

【技术保护点】
一种视频帧中重影时间戳的识别方法，其特征在于该方法包括如下步骤：1)确定摄像机帧曝光时间Te和LCD显示器中时间戳刷新时间Tstamp，然后计算一帧视频中最多的时间戳重叠数量，最多的时间戳重叠数量满足关系式(1):式(1)中，表示向下取整函数；2)根据最多时间戳重叠数量，分别确定空间分集数量和颜色分集数量；空间分集数量Dspace、颜色分集数量Dcolor和最多重叠数量N分别满足关系式(2)和(3):Dstamp＝Dspace×Dcplor,    (2)Dstamp≥N，    (3)式(2)中Dstamp表示结合空间分集和颜色分集的方法能够处理的最多时间戳重叠数量；式(3)表明Dstamp的数量必须大于实际时间戳最多重叠数量；3)将LCD显示屏上的数字码表中的每个数字时间戳替换成更容易被识别的编码时间戳；4)根据步骤2)确定的空间分集数量和颜色分集数量，在时间戳刷新过程中结合使用空间分集和颜色分集技术；5)识别时间戳，分析得到正确的时间信息。

【技术特征摘要】
1.一种视频帧中重影时间戳的识别方法，其特征在于该方法包括如下步骤：1)确定摄像机帧曝光时间Te和LCD显示器中时间戳刷新时间Tstamp，然后计算一帧视频中最多可能出现的时间戳重叠数量N：式(1)中，表示向下取整函数；2)根据最多时间戳重叠数量，分别确定空间分集数量和颜色分集数量；空间分集数量Dspace、颜色分集数量Dcolor和一帧视频中最多可能出现的时间戳重叠数量N分别满足关系式(2)和(3):Dstamp＝Dspace×Dcolor(2)；Dstamp≥N(3)；式(2)中Dstamp表示结合空间分集和颜色分集的方法能够处理的最多时间戳重叠数量；式(3)表明Dstamp的数量必须大于一帧视频中最多可能出现的时间戳重叠数量N；3)将LCD显示屏上的数字码表中的每个数字时间戳替换成更容易被识别的编码时间戳；4)根据步骤2...

【专利技术属性】
技术研发人员：陈纯，卜佳俊，魏朝，宋明黎，周星辰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33