视频流中动态图像内容替换的方法和系统技术方案

本发明专利技术涉及一种用于在视频流中动态替换图像内容的方法，包括生成一组关键图像数据(K)，该关键图像数据包括至少两个不同关键图像(K1，K2)的序列，周期性地在物理显示器上显示所述一组关键图像数据(K)，通过用摄像机记录所述场景来产生包括所述物理显示器的场景的至少第一原始视频流(O1)，其中，所述至少一个视频流(O1)包括关键视频帧(FK1、FK2)，同步捕获并在所述物理显示器上显示所述一组关键图像数据(K)的所述至少两个不同的关键图像(K1、K2)中的每一个，根据从连续关键视频帧(FK1、FK2)获得的差分图像(AFK)，生成与所述关键视频帧中可见的所述物理显示器的活动区域相对应的掩模区域(MA)，通过将替代图像内容(I)插入到原始视频流的掩模区域(MA)中来生成至少一个替代视频流(V)，并且至少广播所述至少一个替代视频流。

【技术实现步骤摘要】
【国外来华专利技术】视频流中动态图像内容替换的方法和系统
本专利技术涉及一种用于视频流中的动态图像内容替换的方法和系统，特别是在视频流中，诸如LED显示器的活动显示器是记录图像内容的一部分。
技术介绍
活动显示器，如发光二极管(LED)显示器被广泛用作广告牌或标识牌，向观众传达信息或广告。通常，这种显示器用于体育或娱乐活动。因此，这种显示通常出现在通过因特网流传送的电视(TV)广播(TV)或视频广播中。这些广播面向各种不同的观众，典型的例子是，这些观众来自不同国家、不同母语或不同文化背景。为了将显示在这些显示器上的信息/广告针对这些观众的特定子集，已经开发了各种方法来改变观众之间通过电视广播或视频流观看显示器的显示内容。这些方法中的一组使用基于软件的视频处理技术来识别所记录的视频流的每个帧中的广告牌的位置，并且以电子方式将该视频流中的广告牌上显示的内容替换为一个或多个替代内容，以生成一个或多个附加视频流，可以传输到不同的用户子集。因此，尽管在特定时间只有一种特定类型的广告对出席现场活动的直接观众可见，广播观众的不同子集可以在相同的给定时间观看活动的视频流，其中，出现在这些广播中的广告牌显示专门针对各个广播观众子集的不同类型的广告。为了获得视频流逼真的效果，重要的是以一种观众不会注意到发生了电子图像内容替换的方式来改变视频屏幕中活动显示器显示的图像内容。动态内容替换中最具挑战性的困难在于在复杂的环境中准确识别活动显示器(如LED广告牌)的位置，以及识别在给定时间影响广告牌的任何失真影响。这种失真可以是多方面的：动态图像内容替换最有趣的事件不会在清晰的电视演播室环境中发生，而是在诸如体育赛事之类的室外活动中发生。因此，影响视频流中的活动显示器表示的典型失真包括由于(可能动态地变化)记录相机相对于所记录的活动显示器的距离、角度或变焦特性的透视失真。此外，必须期望对象，例如快速移动的足球，或在活动显示器和摄像机之间的视线内移动的人，例如球员，对活动显示器的全部或部分覆盖。部分覆盖甚至可能涉及到由小物体(如雨或雾)的半透明覆盖。试图实现对视频屏幕中的活动显示器的可靠检测的一个概念涉及非侵入性方法，即不干扰直播事件中常规使用的广告或记录设备的方法。例如在EP2383699A1中描述的这些方法。这些方法涉及要检测的物理显示器的大量附加知识，例如使用基于计算机显示的3D模型，并将视频流的图像片段与从计算的基本3D模型获得的一组参考轮廓相匹配。到目前为止，这些概念无法提供逼真图像替换的视频，即广播观众不会立即注意到广告已经以电子方式插入。其他的概念是侵入式的，因为广告牌和/或录像需要专用设备。例如，在某些方法中，短的单色图像的特征序列呈现在活动显示器上，并且摄像机本身或与摄像机相关联的专用检测器配置以检测那些单色帧。然后，由单色帧标识的区域将替换为所需的替代图像内容。然而，尽管插入的单色帧很短，但是直接观众的观看体验仍然可能受到类似闪光效果的干扰，即使它们没有被有意识地视为活动显示器上的图像。WO2013/186278A1描述了一种改进的方法，其中使用红外图像来识别活动显示器，由于其波长对直接观众的干扰影响较小。然而，商用显示器并不打算在红外范围内提供显著的辐射强度，因此WO2013/186278A1的方法不仅需要专门的广告牌，而且还需要与相应摄像机相关联的专用探测器。探测器被布置成与摄像机一起移动，即跟随摄像机相同的摇动和倾斜运动，以提供额外的遥测信号，这些信号传输摄像机的相关参数，如焦距、光圈，移动和定位到远程卡车或外部广播车(OBvan)中的视频处理服务器，其中内容替换系统位于其中，该系统使用这些参数来识别活动显示器并用任何期望的替代图像内容替换其图像内容。在同一申请人的WO2016/023953中，还建议以不同的分辨率获得场景的图像，以便增强使活动显示模糊的精细细节的表现。无论如何，在现有技术的动态内容替换方法中都需要复杂而专业的设备。因此，本专利技术的目的是提供一种用于在视频流中进行动态图像内容替换的方法和系统，特别是用于通过替换图像内容替换在视频流中可见的活动显示器的图像内容的方法和系统，这种方法和系统能够降低成本效率，并易于使用市售广告牌技术和使用软件算法的摄像机技术来实现，而且这些算法不需要过多的处理能力。
技术实现思路
该技术问题通过本申请权利要求1的方法解决。所要求保护的方法的优选实施例是从属权利要求的主题。因此，本专利技术涉及一种用于在视频流中动态替换图像内容的方法，该方法包括生成一组关键图像数据(K)，所述关键图像数据包括至少两个不同关键图像(K1、K2)的序列，周期性地在物理显示器上显示所述一组关键图像数据(K)，通过用摄像机记录所述场景来产生包括所述物理显示器的场景的至少第一原始视频流(O1)，其中，所述至少一个视频流(O1)包括关键视频帧(FK1、FK2)，同步捕获并在所述物理显示器上显示所述一组关键图像数据(K)的所述至少两个不同关键图像(K1、K2)中的每一个，根据从连续关键视频帧(FK1，FK2)获得的差分图像(ΔFK)，生成与所述关键视频帧中可见的所述物理显示器的活动区域相对应的掩模区域(MA)，通过将替代图像内容(I)插入原始视频流的掩模区域(MA)中来生成至少一个替代视频流(V)，并广播所述至少一个替代视频流。图像替换应通过从录制的视频流获得的差分图像进行，通过确定掩模区域，现有的广播和广告技术在赛事地点，如足球场，只需修改到关键图像必须插入广告牌实物显示的图像馈送中的程度。记录摄像机必须与物理显示器上关键图像的显示同步。否则，体育场设备不必适应本专利技术的方法，因此本专利技术可以被认为是一种轻度入侵式的概念。在某些实施例中，必须使一个或多个记录摄像机以更高的记录帧速率工作，以便使关键图像与可能在物理显示器上呈现的任何其他图像区别开来，例如主图像馈送，该主图像馈送显示了定向到体育场中直接观众的广告。然而，目前可用的LED广告牌的规范允许在诸如500到1000hz/帧每秒(fps)的高显示帧速率下操作，以便可以轻松地插入在通常持续时间为1-5毫秒的时隙中呈现的关键图像。插入的替代图像内容(I)可以是旨在出现在广播的替代视频流(V)的活动显示区域中的任何所需内容，例如针对特定观众子集的替代广告。在这种情况下，可以提供各种替代图像内容来生成多个替代视频流，每个视频流都广播给不同的观众子集。但是，这种解决方案在活动地点需要相当大的广播带宽，用于广播定向到最终观众的多个视频流。因此，在优选实施例中，插入到记录的视频帧中可见的物理显示器识别的活动区域中的替代图像内容(I)是预定义的单色图像。在该实施例中，所得的替代视频流不直接传送给最终观众，而是传送给中间发行者，例如不同国家的广播公司，从而允许他们通过完善的视频处理为最终观众插入他们想要的内容，这种技术称为“色度键控”。在优选实施例中，所述差分图像(ΔFK)通常基于图像像素，通过确定连续关键视频帧(FK1、FK2)之间的强度差来获得。取决于所需的分辨率，还可以在计算强度差以允许进行彩色降噪或强度降噪之前，将电视视频帧的相邻像素本文档来自技高网...

【技术保护点】
1.视频流中动态图像内容替换的方法，包括：/n生成包括至少两个不同关键图像(K1、K2)序列的一组关键图像数据(K)；/n在物理显示器(13)上周期性地显示所述第一组关键图像数据(K)；/n通过用摄像机(C)记录所述场景来产生包括所述物理显示器的场景的至少第一原始视频流(O1)，其中，所述至少一个视频流包括同步捕获的关键视频帧(FK1、FK2)，在所述物理显示器(13)上显示所述第一组关键图像数据(K)的所述至少两个不同的关键图像(K1、K2)中的每一个；/n根据从连续的关键视频帧(FK1、FK2)获得的差分图像(ΔFK)，生成与所述物理显示器(13)的活动区域(A)相对应的掩模区域(MA)，所述物理显示器(13)的活动区域(A)在所述关键视频帧(FK1、FK2)中可见，/n通过将替代图像内容(I)插入到原始视频流(O1、O2)的所述掩模区域(MA)中来生成至少一个替代视频流(V)；/n广播所述至少一个替代视频流(V)。/n

【技术特征摘要】
【国外来华专利技术】20180727 EP 18186201.21.视频流中动态图像内容替换的方法，包括：
生成包括至少两个不同关键图像(K1、K2)序列的一组关键图像数据(K)；
在物理显示器(13)上周期性地显示所述第一组关键图像数据(K)；
通过用摄像机(C)记录所述场景来产生包括所述物理显示器的场景的至少第一原始视频流(O1)，其中，所述至少一个视频流包括同步捕获的关键视频帧(FK1、FK2)，在所述物理显示器(13)上显示所述第一组关键图像数据(K)的所述至少两个不同的关键图像(K1、K2)中的每一个；
根据从连续的关键视频帧(FK1、FK2)获得的差分图像(ΔFK)，生成与所述物理显示器(13)的活动区域(A)相对应的掩模区域(MA)，所述物理显示器(13)的活动区域(A)在所述关键视频帧(FK1、FK2)中可见，
通过将替代图像内容(I)插入到原始视频流(O1、O2)的所述掩模区域(MA)中来生成至少一个替代视频流(V)；
广播所述至少一个替代视频流(V)。


2.根据权利要求1所述的方法，其中，通过确定连续关键视频帧(FK1、FK2)之间的强度差来获得所述差分图像(ΔFK)。


3.根据权利要求2所述的方法，其中所述关键图像(K1、K2)是不同的单色图像。


4.根据权利要求3所述的方法，其中所述掩模(M)是通过对强度差施加阈值而产生的。


5.根据权利要求2所述的方法，其中所述关键图像(K1、K2)包含不同的图像模式。


6.根据权利要求5所述的方法，其中一个关键帧(K1)的图像图案是单色棋盘图案，另一个关键帧(K2)的图像图案是对应的逆棋盘图案。


7.根据权利要求5或6中任一项所述的方法，其中所述掩模(M)是通过将边缘和边界检测算法应用于差分图像来生成的。


8....

【专利技术属性】
技术研发人员：M·冯布劳恩，
申请(专利权)人：阿帕里奥全球咨询股份有限公司，
类型：发明
国别省市：瑞士;CH