基于网络全景图的视频轻量嵌入方法技术

本发明专利技术公开了一种基于网络全景图的视频轻量嵌入方法，包括：在视频中选择活动目标，从视频中以帧为单位分离活动目标，形成活动目标序列，存储活动目标每个像素在视频中的位置，对活动目标序列中的相邻活动目标的像素进行插值或删除运算；在网络全景图中设置活动目标序列的嵌入位置，活动目标序列中每一个活动目标与网络全景图嵌入位置背景进行滤波，以使活动目标与嵌入位置背景的像素数据平滑；嵌入位置的确定方法包含视频与网络全景图的位置匹配或配准；在网络全景图播放过程中，活动目标序列在嵌入位置进行动态展示。本发明专利技术技术方案将视频中活动目标与全景图融合为整体，减小了内容传输的网络带宽，扩充了网络全景图对动态内容的展示能力。

Video lightweight embedding method based on network panorama

【技术实现步骤摘要】
基于网络全景图的视频轻量嵌入方法
本专利技术涉及网络全景图领域，特别是涉及一种基于网络全景图的视频轻量嵌入方法。
技术介绍
随着互联网HTML5技术的广泛应用，网络全景图在互联网的传播不再依赖Flash、SilverLight等插件，用户直接通过支持HTML5技术的客户端与服务端的全景图进行交互。在虚拟旅游、虚拟购物、数字展馆以及地理导航领域，网络全景图都以其互动能力强，分辨率高，体积轻量等特点被广发应用。在工程实践中，全景图是物理实景在空间上的组合展示，对基于时间变化的视频内容展现能力较差。在现有技术中，视频作为网络全景图的独立模块嵌入到全景图中，一方面视频体积较大，需要占用较多的网络带宽，消耗较多的系统资源；另一方面，视频内容与网络全景图内容没有进行融合，内容再现形式局限，尤其是视频场景与网络全景图的场景相同时，两者不能基于一种背景展示内容，用户体验欠佳。鉴于此，本专利技术的目的在于提供一种基于网络全景图的视频轻量嵌入方法，将视频中的活动目标提取后嵌入到网络全景图中，以缓解现有技术存在的问题。
技术实现思路
一种基于网络全景图的视频轻量嵌入方法，包括：在视频中选择活动目标，从视频中以帧为单位分离活动目标，形成活动目标序列，存储活动目标每个像素在视频中的位置；对活动目标序列中的相邻活动目标的像素进行插值或删除运算；在网络全景图中设置活动目标序列的嵌入位置，活动目标序列中每一个活动目标与网络全景图嵌入位置背景进行滤波，以使活动目标与嵌入位置背景的像素数据平滑；嵌入位置的确定方法包含视频与网络全景图的位置匹配或配准；在网络全景图播放过程中，活动目标序列在嵌入位置进行动态展示。进一步地，在视频中选择活动目标的方法，包括以下至少一种：根据活动目标的时域特征，将视频每一帧中的活动目标进行检测；根据活动目标的光流特性，检测视频中活动目标的轮廓。进一步地，视频与网络全景图的位置匹配，包括：在活动目标序列中选择任一活动目标，在活动目标上设置至少一个第一标记点，在网络全景图上设置相同数量的第二标记点，至少一个第一标记点形成的图形经过旋转、平移、缩放、仿射中的至少一种图形运算映射到第二标记点形成的图形；活动目标序列进行相同的图形运算映射到网络全景图的嵌入位置。进一步地，视频与网络全景图的配准，包括：如果网络全景图与视频对应同一物理实景时，视频以帧为单位形成的图像与网络全景图进行图像配准，得到视频到网络全景图的变换矩阵；通过变换矩阵运算，活动目标序列映射到网络全景图的嵌入位置。进一步地，活动目标序列在嵌入网络全景图前，包括以下至少一种处理：活动目标序列的亮度调整至与网络全景图一致；活动目标序列根据网络全景图的光源配置，在活动目标上设置亮度退化。进一步地，活动目标序列在嵌入位置进行动态展示，包括以下至少一种：如果网络全景图的显示区域包含活动目标序列的嵌入位置，活动目标序列在嵌入位置进行动态展示；如果网络全景图接收到鼠标、键盘、语音、视频、图像中至少一种触发，活动目标序列在嵌入位置进行动态展示。进一步地，如果视频包含声音，在目标序列动态展示时，根据目标序列开始时刻播放声音。进一步地，如果网络全景包含两个以上活动目标序列，动态展示两个以上活动目标序列中的一个；或动态展示多个活动目标序列，控制多个活动目标序列的播放速率或声音。进一步地，存储活动目标序列的动态展示进度，以进行展示进度控制。本专利技术的有益效果如下：本专利技术提供的技术方案可以包括以下有益效果：本专利技术提出的技术方案实现了视频在网络全景图中的轻量嵌入，活动目标与全景图融合为一个整体，减小了内容传输需要的网络带宽。另一方面也实现了异构媒体间内容的融合，扩充了网络全景图对动态内容的展示能力。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一种实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例的一种基于网络全景图的视频轻量嵌入方法流程示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。图1是本专利技术实施例的一种基于网络全景图的视频轻量嵌入方法流程示意图，如图1所示，该方法包括如下四个步骤。步骤S101：从视频中分离活动目标序列。具体地，在视频中选择活动目标，从视频中以帧为单位分离活动目标，形成活动目标序列，存储活动目标每个像素在视频中的位置；对活动目标序列中的相邻活动目标的像素进行插值或删除运算。在一个可选的实施例中，根据活动目标的时域特征，将视频每一帧中的活动目标进行检测。具体地，由于活动目标在视频帧中的位置随时间发生变化，利用视频背景帧和当前帧的差值，或视频相邻两帧之间的差值，获取视频中的所有活动目标。在另一个可选的实施例中，根据活动目标的光流特性，检测视频中活动目标的轮廓。具体地，首先对视频的光流场进行参数估计，求解符合运动模型的像素区域，像素区域合并构成活动目标。需要进行说明的是，无论是根据视频时域特征还是光流特性分离的活动目标，都会存在边缘像素的缺失或者多余的边缘外像素，因此需要对活动目标的像素进行插值或删除运算。在工程实践中，视频帧的采样率一般高于每秒25帧，相邻活动目标的像素差异较小。在相邻两个活动目标像素差异大于第一阈值时，引入相邻两个活动目标之外最近邻的至少一个活动目标组成子序列，根据子序列中活动目标包含像素数量的均值或中值，对每一个活动目标的边缘像素进行插值或者删除运算。步骤S102：确定活动目标序列嵌入位置。具体地，在网络全景图中设置活动目标序列的嵌入位置，嵌入位置的确定方法包含视频与网络全景图的位置匹配或配准。在一个可选的实施例中，在活动目标序列中选择任一活动目标1，在活动目标1上设置至少一个第一标记点2，在网络全景图上设置相同数量的第二标记点3，至少一个第一标记点2形成的图形经过旋转、平移、缩放、仿射中的至少一种图形运算映射到第二标记点3形成的图形；活动目标序列进行相同的图形运算映射到网络全景图的嵌入位置。需要进行说明的是，活动目标为图像，每个活动目标从视频中分离时，存储活动目标每个像素在视频中的位置，从而可知活动目标间的相对位置和运动。在目标序列任一活动目标1上设置至少一个第一标记点2，从而可得到序列中其它活动目标相对第一标记点2的位置。在网络全景图上设置相同数量的第二标记点3，第一标记点2形成的图形和第二标记点3形成的图形之间进行映射，映射的方法即图形间的变换，具体变换包括旋转、平移、缩放和仿射，活动目标序列经过相同的图形运算，从而得到匹配到网络全景图的嵌入位置。在另一个可选的本文档来自技高网...

【技术保护点】
1.一种基于网络全景图的视频轻量嵌入方法，其特征在于，包括：/n在所述视频中选择活动目标，从所述视频中以帧为单位分离所述活动目标，形成活动目标序列，存储所述活动目标每个像素在视频中的位置；对所述活动目标序列中的相邻活动目标的像素进行插值或删除运算；/n在网络全景图中设置所述活动目标序列的嵌入位置，所述活动目标序列中每一个活动目标与网络全景图嵌入位置背景进行滤波，以使所述活动目标与嵌入位置背景的像素数据平滑；/n所述嵌入位置的确定方法包含所述视频与网络全景图的位置匹配或配准；/n在所述网络全景图播放过程中，所述活动目标序列在嵌入位置进行动态展示。/n

【技术特征摘要】
1.一种基于网络全景图的视频轻量嵌入方法，其特征在于，包括：
在所述视频中选择活动目标，从所述视频中以帧为单位分离所述活动目标，形成活动目标序列，存储所述活动目标每个像素在视频中的位置；对所述活动目标序列中的相邻活动目标的像素进行插值或删除运算；
在网络全景图中设置所述活动目标序列的嵌入位置，所述活动目标序列中每一个活动目标与网络全景图嵌入位置背景进行滤波，以使所述活动目标与嵌入位置背景的像素数据平滑；
所述嵌入位置的确定方法包含所述视频与网络全景图的位置匹配或配准；
在所述网络全景图播放过程中，所述活动目标序列在嵌入位置进行动态展示。


2.根据权利要求1所述的方法，其特征在于，在所述视频中选择活动目标的方法，包括以下至少一种：
根据所述活动目标的时域特征，将所述视频每一帧中的活动目标进行检测；
根据所述活动目标的光流特性，检测所述视频中活动目标的轮廓。


3.根据权利要求1所述的方法，其特征在于，所述视频与网络全景图的位置匹配，包括：
在所述活动目标序列中选择任一活动目标（1），在所述活动目标（1）上设置至少一个第一标记点（2），在所述网络全景图上设置相同数量的第二标记点（3），所述的至少一个第一标记点（2）形成的图形经过旋转、平移、缩放、仿射中的至少一种图形运算映射到第二标记点（3）形成的图形；所述活动目标序列进行相同的所述图形运算映射到所述网络全景图的嵌入位置。


4.根据权利要求1所述的方法，其特征在于，所述视频与网络全景图的配准...

【专利技术属性】
技术研发人员：余大飞，
申请(专利权)人：同创蓝天投资管理北京有限公司，
类型：发明
国别省市：北京;11