用于叠加由计算设备(20)生成的视频的人类元素的系统和方法，其中第一用户设备和第二用户设备捕获视频并将视频发送到中央服务器(30)，中央服务器(30)分析视频以鉴别和提取人类元素(216、218)，将这些人类元素彼此叠加，添加至少一个增强现实元素(410)，然后将新创建的叠加视频发送回到用户设备中的至少一个。的叠加视频发送回到用户设备中的至少一个。的叠加视频发送回到用户设备中的至少一个。
【技术实现步骤摘要】
从以增强现实元素为特征的多源设备提供实时复合视频的系统和方法
[0001]本申请是申请号为2017800540707、申请日为2017年8月31日、专利技术名称为“从以增强现实元素为特征的多源设备提供实时复合视频的系统和方法”的专利申请的分案申请。
技术介绍
[0002]本主题总的来说涉及电话会议系统(teleconferencing system)。更具体地，本专利技术涉及在以增强现实元素为特征的虚拟交互中模拟用户的相互物理存在的电话会议系统。
[0003]几乎任何距离的电话会议或视频交互都是本质上没有人情味的体验。最近技术中的许多发展已经旨在解决人们错失人类交互方面(只听到某人的声音而不提供人类交互)的问题。从电话会议到Facetime和Snapchat，视频通话和消息的使用极大地增强了远距离通信，但这些创新并非没有它们的缺点。诸如Snapchat和Facebook等公司已经开发了增强现实面部滤镜、镜头等，从而为标准视频消息、聊天或通话创建另一更有趣的维度。
[0004]现有的视频通话技术不允许用户感觉好像他们离被叫人很近。虽然用户可能能够通过Facetime等看到同事或所爱的人，或者与同事或所爱的人交谈，但很明显这种技术的用户都在不同的位置。此外，当前的视频通话和聊天不会将增强现实并入此类通话或聊天中，从而错失了乐趣和兴奋的机会。
[0005]因此，需要一种视频通信系统，其在以增强现实元素为特征的虚拟交互中模拟用户的相互物理存在。
技术实现思路
[0006]为了满足上述和其它的需要，在一个实施例中，本文提供的主题体现在视频通话应用程序中，该视频通话应用程序向用户提供两者都存在于单个物理位置中的错觉。具体地，该实施例向用户呈现能够伸出并触摸与他们正在交谈的人的视觉体验。通过允许用户进行视频通话的应用程序来提供该体验，其中另外的好处是能够将来自其他一个或多个用户设备的摄像头的视频叠加到在各用户设备的屏幕中的每一个上显示的视频上。这可以用于在同一屏幕上提供所有呼叫者的实时视频图像，模拟在通话中涉及的每个人在物理上彼此存在。
[0007]本专利技术使用移动设备的一个或多个后置和/或前置摄像头鉴别人类元素。后置摄像头旨在用于捕获人类元素(诸如手、手和手臂)的实时视频馈送。移动设备使用检测/识别算法以鉴别在终端用户设备(例如智能手机、平板电脑、个人计算机等)的一个或多个后置和/或前置摄像头的视野中捕获的这些人类元素。
[0008]在一个示例中，第一用户可以在视频通话期间到达移动设备后面，同时仍然能够查看他们的移动设备的前显示屏幕。他们的移动设备的前显示屏幕会显示叠加的实时视频，叠加的实时视频包含与来自第二用户的设备的实时视频叠加的人类元素。产生的叠加视频包含来自每个用户的重叠的人类元素，给出了用户之间物理交互的视觉印象。
[0009]实现此功能的应用程序可以是独立的，也可以集成到其他视频通话应用程序中。
该应用程序可以在移动设备(例如，智能手机、平板电脑等)和个人计算机(例如，台式计算机、平板电脑等)上运行。
[0010]应用程序可以实现叠加视频效果的另一种方式是通过使用智能手机或平板电脑的多个摄像头。大多数移动设备有两个摄像头，一个在设备的正面，一个在设备的背面。一些较新的设备(例如，iPhone7)除了一个或多个前置摄像头之外，包括在设备的背面上的多个摄像头。在第二示例中，应用程序可以允许用户设备上的多个摄像头同时是主动(或活动)的(active)，其中系统对由设备摄像头捕获的视频的人类元素(例如，面部、身体、手等)进行叠加以给出物理上交互的错觉。
[0011]在第三示例中，应用程序可以利用第一用户的后置摄像头和第二用户的前置摄像头，以使第一用户能够物理地到达第一用户设备的背面的周围，使得当第一用户的手在其设备的后置摄像头的视野中时，第一用户的手(视频的人类元素)出现在第二个用户的屏幕上。这种安排使用户既能够在其给定设备上观看视频通话，还同时创建物理地触摸的视觉再现。该效果是通过到达其移动设备后面的第一用户进入捕获视频的其后置摄像头的视野来实现的。叠加从移动设备的后置摄像头拍摄的手(或其他人类元素)的直播视频与来自第二用户直播视频的人类元素(例如，面部、颈部和躯干)的组合创建各呼叫者之间的物理交互/触摸的视觉再现。应当注意，第一用户的手可以叠加在由第二用户的摄像头捕获的面部、身体或任何其他一个或多个人类(或非人类)元素上。这允许系统的用户根据终端用户利用了哪些设备摄像头来执行诸如握手、举手击掌等物理交互的错觉。
[0012]系统用户在给定时间利用的所有摄像头的视频可以被馈送到中央服务器，中央服务器又将一个或多个视频发送给在给定视频通话中涉及的其他一个或多个用户。视频通话的发送和接收可以经由因特网或任何其他功能上有效的通信网络执行，其中由用户设备、中央服务器或两者根据哪个在功能上最有利来执行视频的叠加。
[0013]在本专利技术的所有示例/安排中，检测/识别算法可用于从实时视频馈送中鉴别和提取人类元素。可以使用以下检测/识别方法中的一个或多个(全部或部分)来从直播视频馈送中鉴别和提取人类元素：前景和背景分离、接近度识别、色度键控、手臂/身体检测、背景减除和卡尔曼滤波。此外，一旦在用户设备的主动摄像头的视野内捕获到人类元素，检测/识别算法将在视频通话的整个持续时间内实时地持续地鉴别和提取所鉴别的一个或多个人类元素。视频素材的剩余部分(从视频馈送的至少一个中未作为人类元素而鉴别和提取的视频素材)可以被移除并且不显示在任一用户设备的显示屏上。
[0014]该应用程序还可以允许用户创建用户配置文件，该用户配置文件特征在于具有关于用户、他们的通话偏好、联系人等的信息。用户配置文件可以存储在中央服务器的存储器中、用户设备上或两者上。
[0015]该应用程序可以允许许多不同的视频通话模式，包括：传统视频通话——仅前置或后置摄像头；单向触摸通话——一个用户的前置摄像头和另一个用户的后置摄像头的叠加的实时视频图像(反之亦然)；后向触摸通话——两个用户的后置摄像头的叠加的实时视频图像(通常用于显示握手等)；以及前向触摸通话——两个用户的前置摄像头的叠加的实时视频图像(通常用于显示亲吻等)。
[0016]本专利技术的目标是提高视频通话的质量、亲密度和娱乐价值。通过使用智能手机/平板电脑上的前置和后置摄像头，视频叠加系统给出如下印象：伸出并触摸另一个人、与他们
一起玩游戏、将给他们穿上虚拟衣服等等。这种交互用传统的视频聊天是不可能的，对于长距离的夫妇、孤立的老年人、海外商业伙伴等是非常有价值的。
[0017]在一个实施例中，一种由处理器执行的叠加视频的计算机实现方法，该方法包括以下步骤：从第一用户设备接收第一直播视频；从第二用户设备接收第二直播视频；鉴别第一直播视频中的第一人类元素和第二直播视频中的第二人类元素；实时地对所述第一直播视频的一部分和所述第二直播视频的一部分进行组合以创建包括帧周界的叠加视频，在所述帧周界内包括所述第一直播视频和所述第二直播视频的组合部分，其中本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种由处理器执行的叠加视频的计算机实现方法，所述方法包括以下步骤：从第一用户设备接收第一直播视频，所述第一直播视频包括由所述第一用户设备的后置摄像头捕获的第一用户的第一人类元素的视频，其中，当由所述第一用户设备的所述后置摄像头捕获所述第一用户的所述第一人类元素的所述视频时，所述第一用户同时查看所述第一用户设备的前置显示；从第二用户设备接收第二视频，所述第二视频包括第二用户的视频；使用检测算法从所述第一直播视频中鉴别和提取所述第一用户的所述第一人类元素；对所述第一用户的所述第一人类元素和所述第二视频的一部分或全部进行组合以创建叠加视频，所述叠加视频包括来自所述第一直播视频的由所述第一用户设备的所述后置摄像头捕获的所述第一用户的所述第一人类元素和来自所述第二视频的所述第二用户的第二人类元素；以及在所述第一用户设备和所述第二用户设备中的至少一个上显示所述叠加视频；其中，由所述第一用户设备的所述后置摄像头捕获并显示在所述第二用户设备上的所提取的第一人类元素在所述叠加视频中的位置直接由所述第一人类元素相对于所述第一用户设备的所述后置摄像头的位置控制。2.如权利要求1所述的叠加视频的计算机实现方法，其中，响应于所述第一用户的所述第一人类元素相对于所述第一用户设备的实时运动，在所述叠加视频中模拟所述第一用户的所述第一人类元素与所述第二用户的所述第二人类元素之间的接触。3.如权利要求1所述的叠加视频的计算机实现方法，还包括以下步骤：使用检测算法从所述第一直播视频中鉴别和提取第一非人类元素；对所述第一用户的所述第一人类元素和所述第二视频的一部分或全部进行组合以创建叠加视频，所述叠加视频包括来自所述第一直播视频的由所述第一用户设备的所述后置摄像头捕获的所述第一用户的所述第一人类元素和来自所述第二视频的所述第二用户的第二人类元素的步骤，其中所述步骤还包括：对来自所述第一直播视频的所述第一非人类元素及所述第一用户的所述第一人类元素和所述第二视频的一部分或全部进行组合以创建叠加视频，所述叠加视频包括来自所述第一直播视频的由所述第一用户设备的所述后置摄像头捕获的所述第一非人类元素、来自所述第一直播视频的由所述第一用户设备的所述后置摄像头捕获的所述第一人类元素、和来自所述第二视频的所述第二用户的第二人类元素。4.如权利要求3所述的叠加视频的计算机实现方法，其中，响应于所述第一用户的所述第一人类元素相对于所述第一用户设备的运动，所述第一用户的所述第一非人类元素和所述第一人类元素中的每个遮蔽所述叠加视频中所述第二用户的所述第二人类元素的至少一部分。5.如权利要求1所述的叠加视频的计算机实现方法，其中，响应于所述第一用户的所述第一人类元素相对于所述第一用户设备的运动，所述第一用户的所述第一人类元素遮蔽所述叠加视频中所述第二用户的所述第二人类元素的至少一部分。6.如权利要求1所述的叠加视频的计算机实现方法，其中，所述第二用户查看所述第二设备的前置屏幕的视频，所述视频为所述第一直播视频的某些部分与所述第二直播视频的某些部分的实时组合，所述第一直播视频包括所述第一设备的所述后置摄像头拍摄的所述
第一用户的所述第一人类元素，所述第二直播视频包括从所述第二设备的所述前置摄像头拍摄的所述第二用户的所述第二人类元素。7.一种用于叠加视频的计算机...
【专利技术属性】
技术研发人员：罗素，
申请(专利权)人：罗素，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。