自动检测数字流并将其插入360度视频的系统、方法和介质。用于自动检测数字流并将其插入360度视频中的系统和方法。这种用户感兴趣区域的各种示例包括而不限于，在各种电子显示器上显示或在电子纸(电子墨水)上写下的内容、利用电子投射器投射在各种面上的内容、360度视频中出现的纸质文档的内容和/或在360度视频内的白板(黑板)上写下的内容。对于某些内容(如白板、纸质文档或博物馆中的绘画)，参与者(或管理者)可以拍摄该区域的图片，再次以数字形式存储在某处并可供下载。获得具有用户感兴趣内容的这些数字流，然后将这些数字流插入到从原始360度视频馈送生成的360度视图上，使用户能够以其原本的高分辨率来观看它们。
Systems, methods, and media for automatically detecting and inserting digital streams into 360 degree video
【技术实现步骤摘要】
自动检测数字流并将其插入360度视频的系统、方法和介质
所公开的实施方式总体上涉及增强视频系统和方法，并且，更具体地说，涉及用于自动检测数字流并将其插入360度视频中的系统和方法。
技术介绍
360度视频(也称为沉浸式视频或球形视频)是利用全向摄像头或指向不同方向的多个摄像头的集合获取的视频录制，其中同时记录每个方向的视图。在常规平板显示器上播放360度视频期间，可以向观看者提供对观看方向(如全景)的控制。360度视频也可以在设置于圆柱形或球形某一部分中的显示器或投射器上播放。对于远程加入会议或其他团体集会(如贸易展览、博物馆，以及艺术展)来说，前述360度视频是一种显著改进，因为它们为远程观众提供了对观众可观看内容的完全控制。然而，该技术的一个缺点是，360度视频对包含高密度信息(如投射到屏幕或白板上的演示幻灯片)的某些区域的成像不佳。在许多情况下，眩光以及到感兴趣区域的距离使得观看者不可能阅读到所显示的信息。因此，鉴于常规360度视频技术的上述和其它缺点，需要新的和改进的系统和方法，该系统和方法将自动检测高分辨率数字视频流并将该数字流插入到360度视频中，使其对用户可读。
技术实现思路
本文描述的实施方式涉及系统和方法，该系统和方法基本上消除与360度视频的常规系统和方法相关的一个或更多个上述和其它问题。根据本文描述的实施方式的一个方面，提供了一种系统，该系统包括：至少一个摄像头，该至少一个摄像头获取环境的360度视频；以及处理单元，该处理单元用于识别所获取的360度视频内的至少一个插入候选，并将媒体插入所识别的至少一个插入候选中。在一个或更多个实施方式中，插入候选是360度视频内的区域。在一个或更多个实施方式中，360度视频内的区域是面。在一个或更多个实施方式中，360度视频内的区域是显示器屏幕。在一个或更多个实施方式中，360度视频内的区域是白板。在一个或更多个实施方式中，媒体是图像。在一个或更多个实施方式中，媒体是视频流。在一个或更多个实施方式中，媒体的分辨率高于360度视频的分辨率。在一个或更多个实施方式中，所插入的媒体是基于插入候选的检测到的遮挡来剪切的。在一个或更多个实施方式中，所插入的媒体是利用掩模(mask)来剪切的。在一个或更多个实施方式中，插入候选是利用360度视频的内容来识别的。在一个或更多个实施方式中，插入候选是基于至少一个摄像头的、相对于插入候选的位置的位置来识别的。在一个或更多个实施方式中，要插入所标识的至少一个插入候选中的媒体是基于对360度视频中位于所标识的至少一个插入候选附近的人的脸部识别来选择的。在一个或更多个实施方式中，插入候选是利用360度视频内的对象识别来标识的。在一个或更多个实施方式中，插入候选是另外基于用户的输入来标识的。在一个或更多个实施方式中，要插入所标识的至少一个插入候选中的媒体是基于360度视频内所识别的至少一个插入候选的位置来选择的。根据本文所述实施方式的另一方面，提供了一种方法，该方法包括以下步骤：使用至少一个摄像头获取环境的360度视频；以及使用处理单元标识所获取的360度视频内的至少一个插入候选，并将媒体插入所标识的至少一个插入候选中。根据本文所述实施方式的又一方面，提供了一种包含实现方法的一组指令的有形计算机可读介质，所述方法包括以下步骤：使用至少一个摄像头获取环境的360度视频；以及使用处理单元标识所获取的360度视频内的至少一个插入候选，并将媒体插入所述标识的至少一个插入候选中。与本专利技术有关的其他方面将部分地在下面的描述中加以阐述，并且部分地将从描述显而易见，或者可以通过实践本专利技术而获知。通过在以下详细描述和所附权利要求书中特别指出的部件以及各种部件和方面的组合，可以实现并获得本专利技术的各个方面。应理解，前述和以下描述都仅是示例性和说明性的，并不旨在以任何方式限制所要求保护的专利技术或其应用。附图说明包含在本说明书中并构成本说明书一部分的附图举例说明了本专利技术的实施方式，并与说明书一起解释和说明本专利技术技术的原理。具体地：图1例示了360度视频的示例性设置。图2例示了自动检测数字流并将其插入到本文所述360度视频中的系统的实施方式的示例性操作序列。图3例示了360度视频(如膝上型电脑的LCD屏幕)中的某些示例性区域，这些区域对于摄像头不是直接可见的。图4例示了可被用于实现本文所述技术的计算机系统400的示例性实施方式。具体实施方式在下面的详细描述中，将参考附图，其中相同的功能部件用相同的标号表示。上述附图以例示方式而非限制方式示出符合本专利技术原理的具体实施方式和实现。这些实现被足够详细地描述，以使本领域技术人员能够实践本专利技术，而且要明白的是，可以利用其它实现，并且可以在不脱离本专利技术的范围和精神的情况下对各种部件进行结构性改变和/或替换。因此，以下详细描述不应被解释为限制性含义。另外，所描述的本专利技术的各种实施方式可以采用在通用计算机上运行的软件的形式、专用硬件的形式、或者软件和硬件的组合来实现。根据本文所述实施方式的一个方面，提供了用于自动检测数字流并将其插入360度视频中的系统和方法。这种用户感兴趣区域的各种示例包括但不限于：在各种电子显示器上显示或在电子纸(电子墨水)上写下的内容、利用电子投射器投射在各种面上的内容、360度视频中出现的纸质文档的内容和/或在360度视频内的白板(黑板)上写下的内容。如本领域普通技术人员将清楚的，这些用户感兴趣区域越来越多为“数字原生(digitalborn)”，意味着是计算机正在驱动显示器。对于某些内容(如白板、纸质文档或博物馆中的绘画)，参与者(或管理者)可以拍摄该区域的图片，再次以数字形式存储在某处并可供下载。在一个或更多个实施方式中，获得具有用户感兴趣内容的这些数字流，然后将这些数字流插入到从原始360度视频馈送生成的360度视图上，使用户能够以其原本的高分辨率来观看它们。应注意到，尽管该描述关注于360度视场图像，但本文所述方法可以应用于具有少于全360度全景视场的其它视图。在一个或更多个实施方式中，为了实现这一点，所述系统半自动地确定每个数字流应当被插入360度视频中的位置。为了提供逼真插入部，该系统的实施方式还对数字流应用掩模，以避免遮挡对象，例如，可能在360度摄像头和感兴趣区域之间移动的人(例如，在所投射内容前方移动的主持者)。各种实施方式使用两种方法来寻找区域并确定要放置插入部的位置：基于图像；以及基于几何形状。利用基于图像的方法，不需要关于摄像头或区域的实际布置的信息(简单地通过摄像头或区域在来自360度摄像头的图像内的位置来确定和操纵它们)。另选地，基于几何形状的方法使用摄像头的姿态以及在世界中的区域位置来确定它们在图像中的对应位置。基于图像的方法较简单，并且可能适于摄像头和感兴趣区域固定的情况，如会议室中永久放置的360度摄像头本文档来自技高网...
【技术保护点】
1.一种用于自动检测数字流并将其插入360度视频的系统，该系统包括：/na.至少一个摄像头，所述至少一个摄像头获取环境的360度视频；以及/nb.处理单元，该处理单元识别所获取的360度视频内的至少一个插入候选，并将媒体插入所识别的至少一个插入候选中。/n
【技术特征摘要】
20180710 US 16/031,0681.一种用于自动检测数字流并将其插入360度视频的系统，该系统包括：
a.至少一个摄像头，所述至少一个摄像头获取环境的360度视频；以及
b.处理单元，该处理单元识别所获取的360度视频内的至少一个插入候选，并将媒体插入所识别的至少一个插入候选中。
2.根据权利要求1所述的系统，其中，所述插入候选是所述360度视频内的区域。
3.根据权利要求2所述的系统，其中，所述360度视频内的区域是面。
4.根据权利要求2所述的系统，其中，所述360度视频内的区域是显示器屏幕。
5.根据权利要求2所述的系统，其中，所述360度视频内的区域是白板。
6.根据权利要求1所述的系统，其中，所述媒体是图像。
7.根据权利要求1所述的系统，其中，所述媒体是视频流。
8.根据权利要求1所述的系统，其中，所述媒体的分辨率高于所述360度视频的分辨率。
9.根据权利要求1所述的系统，其中，基于检测到的、对所述插入候选的遮挡来剪切插入的所述媒体。
10.根据权利要求9所述的系统，其中，插入的所述媒体是利用掩模来剪切的。
11.根据权利要求1所述的系统，其中，所述插入候选是利用所述360度视频的内容来识别的。
12.根据权利要求1所述的系统，其中，所述插入候选是基...
【专利技术属性】
技术研发人员：Y·贾亚迪，D·G·金贝尔，刘琼，L·德努，
申请(专利权)人：富士施乐株式会社，
类型：发明
国别省市：日本;JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。