环绕视图中的对象及层的分析及操控制造技术

本发明专利技术的各个实施例大体上涉及用于分析及操控图像及视频的系统及方法。根据特定实施例，连同位置信息数据一起分析多个图像与视频之间的空间关系以用于产生在本文称为呈现在装置上的环绕视图的表示的目的。包含在所述环绕视图中的对象可通过沿轴操控所述装置而沿对应轴操控。在特定实施例中，环绕视图可被分离为层。效果可施加于此类层中的一或多者以增强所述环绕视图的交互式及沉浸式观看体验。

【技术实现步骤摘要】
【国外来华专利技术】相关申请案的交叉参考本申请案根据35U.S.C.§119主张Holzer等人在2013年11月12日申请的标题是“用于提供环绕视图的系统及方法(Systems and Methods For Providing Surround Views)”的第61/903,359号临时美国专利申请案(代理人案号FYSNP001P)的优先权，所述申请案是以引用方式且针对所有目的而全部引入本文中。
本专利技术涉及环绕视图中的层，本专利技术包含提供多视图交互式数字媒体表示。
技术介绍
由于现代计算平台及技术逐渐转移到包含相机传感器作为原生获取输入流的移动及穿戴式装置，以不同于更传统的二维(2D)平面图像及视频的形式数字地记录并保留瞬间的愿望变得更加明显。传统的数字媒体格式通常将其观看者限于被动体验。例如，2D平面图像可从一个角度观看且被限于放大及缩小。因此，例如2D平面图像的传统数字媒体格式无法轻易使其自身以高保真度重现记忆及事件。当前预测(参考：KPCB“互联网趋势2012(Internet Trends 2012)介绍”)指示在线数字地捕捉的视觉数据的数量将每隔几年加倍一次。随着视觉数据的此数量增加，对远比当前可用的机制复杂的搜索及索引机制的需要也随之增加。不幸的是，仍未设计出针对此类目的2D图像或2D视频。因此，希望允许用户观看并加索引于视觉数据以及查询并快速接收来视觉数据的有意义的结果的改善机制。
技术实现思路
本专利技术的各个实施例大体上涉及用于分析及操控图像及视频的系统及方法。根据特定实施例，分析多个图像与视频之间的空间关系连同位置信息数据以用于产生在本文称为呈现在装置上的环绕视图的表示的目的。包含在所述环绕视图中的对象可通过沿轴操控所述装置而沿对应轴操控。在特定实施例中，环绕视图可被分离为层。效果可施加于
此类层中的一或多者以增强所述环绕视图的交互式及沉浸式观看体验。附图说明通过参考结合附图进行的以下描述可最佳地了解本专利技术，所述附图说明本专利技术的特定实施例。图1说明环绕视图获取系统的实例。图2说明用于产生环绕视图的过程流程的实例。图3说明可被融合到三维(3D)模型中以产生沉浸式体验的多个相机视图的一个实例。图4A说明环绕视图中的内容及背景的分离的一个实例。图4B说明环绕视图中的分层的一个实例。图4C说明用于修改环绕视图中的层的过程的一个实例。图5A到5B分别说明凹视图及凸视图的实例，其中所述两个视图均使用后置相机捕捉风格。图6A到6E说明用于环绕视图的各种捕捉模式的实例。图7A说明用于记录可用于产生环绕视图的数据的过程的一个实例。图7B说明动态全景捕捉过程的一个实例。图7C说明其中通过旋转轴旋转捕捉装置的动态全景捕捉过程的一个实例。图7D说明具有动态内容的动态全景的一个实例。图7E说明捕捉具有3D效果的动态全景的一个实例。图7F说明具有视差效果的动态全景的一个实例。图7G说明对象全景捕捉过程的一个实例。图7H说明对象全景投影在其上的背景全景的一个实例。图7I说明构成对象全景的多个对象的一个实例。图7J说明基于用户浏览改变对象全景的视角的一个实例。图7K说明自拍全景捕捉过程的一个实例。图7L说明自拍全景投影在其上的背景全景的一个实例。图7M说明基于用户浏览的全景的扩展视图的一个实例。图8说明其中三维内容与二维全景背景混合的环绕视图的实例。图9说明同时由独立观看者记录的空间-时间环绕视图的一个实例。图10说明复杂环绕视图到较小、线性部分的分离的一个实例。图11说明多个环绕视图到多环绕视图的组合的一个实例。图12说明用于提示用户需要感兴趣对象的额外视图以提供更精确环绕视图的过程的一个实例。图13A到13B说明用于提示用户搜索对象的额外视图的实例。图14说明用于浏览环绕视图的过程的一个实例。图15说明环绕视图的基于滑动的浏览的实例。图16A说明用于如移动装置及浏览器上所示的环绕视图的共享服务的实例。图16B说明移动装置上的环绕视图相关通知的实例。图17A说明用于提供对象分段的过程的一个实例。图17B说明从不同角度观看的分段对象的一个实例。图18说明可用于环绕视图产生的各种数据源及可与环绕视图一起使用的各种应用程序的一个实例。图19说明用于提供对象的视觉搜索的过程的一个实例，其中搜索查询包含对象的环绕视图且所搜索的数据包含三维模型。图20说明用于提供对象的视觉搜索的过程的一个实例，其中搜索查询包含对象的环绕视图且所搜索的数据包含二维模型。图21说明视觉搜索过程的实例。图22说明用于提供对象的视觉搜索的过程的实例，其中搜索查询包含对象的三维视图且所搜索的数据包含环绕视图。图23说明可与本专利技术的各个实施例一起使用的计算机系统的特定实例。具体实施方式现在将详细地参考本专利技术的一些特定实例，其包含专利技术者预期用于实行本专利技术的最佳模式。附图中说明此类特定实施例的实例。虽然结合此类特定实施例描述本专利技术，但是应了解，其不旨在将本专利技术限于所描述的实施例。相反地，其旨在涵盖如可包含在如由随附权利要求书界定的本专利技术的精神及范围内的替代、修改及等效物。在以下描述中，陈述数种特定细节以提供对本专利技术的透彻理解。本专利技术的特定实施例可在无此类特定细节中的一些或所有的情况下实施。在其它实例中，并未详细描述众所周知的过程操作以免不必要地混淆本专利技术。本专利技术的各个方面大体上涉及用于分析多个图像与视频之间的空间关系连同位置信息数据的系统及方法以用于产生单个表示(环绕视图)的目的，所述环绕视图消除了数
据中的冗余度且给用户呈现交互式及沉浸式主动观看体验。根据各个实施例，主动是在给用户提供控制显示在屏幕上的视觉信息的视角的能力的背景下描述。在特定实例实施例中，环绕视图数据结构(及相关算法)原本是针对(但不限于)涉及视觉搜索的应用而建立。根据本专利技术的各个实施例，环绕视图是多视图交互式数字媒体表示。参考图1，示出了环绕视图获取系统100的一个实例。在本实例实施例中，环绕视图获取系统100是以可用来产生环绕视图的流程序列描绘。根据各个实施例，用来产生环绕视图的数据可源自于各种来源。特定地说，例如(但不限于)二维(2D)图像104的数据可用来产生环绕视图。此类2D图像取决于应用可包含彩色图像数据流(例如，多个图像序列、视频数据等)或各种图像格式中的任一者的多个图像。可用来产生环绕视图的另一数据源包含位置信息106。此位置信息106可获自例如加速度计、陀螺仪、磁力计、GPS、WiFi、类IMU系统(惯性测量单元系统)等的来源。可用来产生环绕视图的又另一数据源可包含深度图像108。此类深度图像可包含深度、3D或视差图像数据流等，且可由例如(但不限于)立体相机、飞行时间相机、三维相机等的装置捕捉。在本实例实施例中，数据接着可一起融合在传感器融合块110处。在一些实施例中，环绕视图可由包含2D图像104及位置信息106两者的数据组合而产生，但无所提供的任何深度图像108。在其它实施例中，深度图像108及位置信息106可一起在传感器融合块110处使用。取决于应用及可用数据，图像数据的各个组合可与106处的位置信息一起使用。在本实例实施例中，已一起融合在传感器融合块110处的数据接着用于内容建模112及背景建模114。如关于图4更详细地描述，图像中特征化的主题可被本文档来自技高网...

【技术保护点】
一种方法，其包括：获得对象的第一环绕视图，所述第一环绕视图对应于所述对象的多视图交互式数字媒体表示，其中所述第一环绕视图包含第一层及第二层，其中所述第一层包含第一深度且所述第二层包含第二深度；从所述第一环绕视图选择所述第一层，其中选择所述第一层包含选择所述第一深度内的数据；施加效果于所述第一环绕视图内的所述第一层以产生经修改第一层；及产生包含所述经修改第一层及所述第二层的第二环绕视图。

【技术特征摘要】
【国外来华专利技术】2013.11.12 US 61/903,3591.一种方法，其包括：获得对象的第一环绕视图，所述第一环绕视图对应于所述对象的多视图交互式数字媒体表示，其中所述第一环绕视图包含第一层及第二层，其中所述第一层包含第一深度且所述第二层包含第二深度；从所述第一环绕视图选择所述第一层，其中选择所述第一层包含选择所述第一深度内的数据；施加效果于所述第一环绕视图内的所述第一层以产生经修改第一层；及产生包含所述经修改第一层及所述第二层的第二环绕视图。2.根据权利要求1所述的方法，其中所述第一环绕视图进一步包含第三层，所述第三层包含第三深度。3.根据权利要求2所述的方法，其中所述第二环绕视图是使用所述经修改第一层、所述第二层及所述第三层产生。4.根据权利要求1所述的方法，其中所述第一层包含对象。5.根据权利要求4所述的方法，其中所述对象是人。6.根据权利要求1所述的方法，其中所述第一层包含动态场景元素。7.根据权利要求1所述的方法，其中所述效果是模糊滤波器。8.根据权利要求7所述的方法，其中所述效果是灰阶滤波器。9.根据权利要求1所述的方法，其中所述效果包含以第一速度移动所述第一层，其中所述第二层是以第二速度移动，且其中所述第一速度不同于所述第二速度。10.根据权利要求1所述的方法，其中所述第一环绕视图包含第三层，且其中所述第二
\t环绕视图省略所述第三层。11.根据权利要求1所述的方法，其中选择所述第一层是在无用户输入的情况下自动地执行。12.根据权利要求1所述的方法，其中所述对象显示在装置上，其中所述对象的视角是通过将所述装置倾斜及旋转而操控。13.根据权利要求12所述的方法，其...

【专利技术属性】
技术研发人员：S·J·J·霍尔泽，S·D·米勒，R·B·鲁苏，
申请(专利权)人：扉时公司，
类型：发明
国别省市：美国;US