全景视频控制方法及系统技术方案

本发明专利技术提供了全景视频控制方法及系统，该全景视频控制方法通过实时获得控制权用户的面部特征，并匹配控制权用户的面部特征与预先训练的不同全景视频角度下的样本面部特征，确定当前具有控制权的用户的位角数据，从而使全景视频的角度能够随控制权的用户的面部特征的改变而改变，这样，全景视频的角度能够跟随面部的视角而随时改变，操作简单，无需学习，且灵活性高。

【技术实现步骤摘要】

本专利技术涉及全景视频
，特别涉及一种全景视频控制方法、系统。
技术介绍
全景视频是在720°或360°拍摄的技术至上发展延伸而来的，采用动态的视频图像包含拍摄角度左右上下360°的任意观看角度的信息，让用户有一种真正意义上身临其境的感觉。在观看过程中，用户需要一套相应的控制系统来实时反馈用户需要观看的角度。现有技术中的采用人机交互的方式控制调整全景视频图像的观察角度，这是进行全景视屏角度切换的主要方式，在人机交互中主要通过以下方法实现：第一种，全景视屏系统提供全景视频的控制界面，用户在控制界面上输入相应的指令后，系统进行处理分析控制全景画面。此种方法在视场角度的不断变化时，灵活性差，调节繁琐。第二种，观看用户通过特定的人体指示动作与全景视频系统进行交互，也就是说，全景视频系统通过识别人体特定的动作完成相应的指令。此种方法对用户的学习能力要求高，必须要求用户能够准确的学习各种特定的人体指示动作，从而被系统识别，才能够实现全景视频的角度调整。第三种，用户通过第三方设备与全景视频系统连接，虽然能够适合很多用户的操作，但是，成本较高。有鉴于此，亟待对全景视频系统进行优化改进，在无需第三方设备的前提下，使全景视频系统的操作便利、灵活，用户的适用范围广。
技术实现思路
本专利技术提供了一种全景视频控制方法及系统，该全景视频控制方法通过实时获得控制权用户的面部特征，并匹配控制权用户的面部特征与预先训练的不同全景视频角度下的样本面部特征，确定当前具有控制权的用户的位角数据，从而使全景视频的角度能够随控制权的用户的面部特征的改变而改变，这样，全景视频的角度能够跟随面部的视角而随时改变，操作简单，无需学习，且灵活性高。本专利技术提供的全景视频控制方法，包括：a、从摄像装置采集的全景视频场景内的所有用户的图像数据中分割出每个用户的体态特征和面部特征；b、根据每个用户的体态特征与预先训练的用于抢占控制权的第一体态样本特征的匹配结果，从所有用户中识别出当前具有控制权的用户；c、根据当前具有控制权的用户的面部特征与预先训练的不同全景视频角度下的样本面部特征的匹配结果，确定当前具有控制权的用户的面部特征所对应的位角数据；d、根据确定的位角数据，生成对应的位角调节指令，以调节全景视频的视场角。可选地，所述步骤b之后步骤c之前，该方法进一步包括：e、当从所有用户识别出当前具有控制权的用户时，将面部追踪框调取于屏幕上，以输出包围当前具有控制权的用户的面部特征，实时获取当前具有控制权的用户的面部特征。可选地，所述步骤b之后，该方法进一步包括：f、在当前用户的体态特征匹配用于触发控制操作的第二体态样本特征时，产生对应的控制命令。可选地，所述步骤f包括：f1、从所有用户中识别出体态特征与第二体态样本特征匹配的候选用户；f2、将每个候选用户的面部特征与具有控制权的用户的面部特征进行匹配；f3、将所有候选用户中匹配度最高的一个用户确定为具有控制权的用户，并依据该用户匹配第二体态样本特征的体态特征产生对应的控制命令。可选地，进一步包括：g、在当前用户发出的语音命令与触发控制操作的语音样本特征匹配时，产生对应的控制命令。一种全景视频系统，包括：图像处理模块，用于从收摄像装置采集观看全景视频场景内的所有用户的图像数据中分割出每个用户的体态特征和面部特征；分析模块，用于根据每个用户的体态特征与预先训练的用于抢占控制权的第一体态样本特征的匹配结果，从所有用户中识别出当前具有控制权的用户；以及，根据当前具有控制权的用户的面部特征与预先训练的不同全景视频角度下的样本面部特征的匹配结果，确定当前具有控制权的用户的面部特征数据所对应的位角数据；业务控制模块，用于根据分析模块确定的位角数据，生成对应的位角指令，以调节全景视频的视场角。可选地，所述全景视频系统进一步包括：面部追踪模块，用于在屏幕输出包围当前具有控制权的用户的面部特征的面部追踪框，使所述分析模块根据所述面部追踪框的位置实时获取当前具有控制权的用户的面部特征。可选地，面部特征包括：头部轮廓特征、鼻部轮廓特征、眼球特征、特定轮廓的弧度特征。可选地，所述全景视频系统进一步包括视频模块，接收所述业务控制模块的位角指令，并通过所述位角指令调节全景视频的视场角。可选地，所述全景视频系统进一步包括语音识别模块，用于获得用户的语音命令，并将该语音命令与语音样本特征匹配，以产生对应的控制命令。附图说明图1为本专利技术具体实施例中的全景视频控制方法的示意图；图2为本专利技术具体实施例中全景视频控制方法的基本操作流程示意图；图3为本专利技术具体实施例中具有控制权用户的面部特征追踪流程示意图；图4为本专利技术具体实施例中具有控制权的用户的设置流程；图5为本专利技术具体实施例中全景视频系统的结构示意图。具体实施方式为了使本专利技术的目的、技术方案以及优点更加清楚明白，以下参照附图并举实施例，对本专利技术进一步详细说明。本专利技术以智能电视的全景视频角度的调节为例。现有技术中，通过人机交互的对全景视频的角度进行调节，但是，存在全景视频角度调节的准确性差、调节方式的灵敏性低且操作繁琐的问题。为了解决上述问题，本专利技术提供了一种全景视频控制方法，通过实时获得控制权用户的面部特征，并匹配控制权用户的面部特征与预先训练的不同全景视频角度下的样本面部特征，确定当前具有控制权的用户的位角数据，从而使全景视频的角度能够随控制权的用户的面部特征的改变而改变，这样，全景视频的角度能够跟随面部的视角而随时改变，操作简单，无需学习，且灵活性高。在具体实施例中，结合图1和图2所示，本专利技术提供的一种全景视频控制方法包括；步骤a、从摄像装置采集的全景视屏场景内的所有用户的图像数据中分割出每个用户的体态特征和面部特征。智能电视安装有摄像头，采集在观看全景视频场景内的所有用户的图像数据，通过图像预处理技术将图像数据中的每个用户进行分割，再将分割的每个用户的图像进行处理，针对特殊区域进行分割，具体是分割得到在全景视频观看中起到作用的体态特征和面部特征。在刚启动智能电视的全景视频后，现将全部用户的面部特征存储在用户数据库中，以用于以后确认切换具有控制权的用户时进行识别确定。步骤b、根据每个用户的体态特征与预先训练的用于抢占控制权的第一体态样本特征的匹配结果，从所有用户中识别出当前具有控制权的用户。在刚开启智能电视的全景视频时，会将分割得到的每个用户的体态特征，或者只有一个用户做出了要求具有控制权的体态特征时，调取出存储在样本体态库中的用于抢占控制权的第一体态样本以确定有效的要求控制权的体态特征。当确定后，该用户将具有控制全景视频角度的控制权，从而将根据该用户的面部特征来调节全景视频的角度和位置。该步骤在整个全景视频观看中是循环进行的，也就是说，每次执行流程识别出的当前具有控制权的用户可以与前一次相同，也可以不同于前一次的。即在观看全景视频过程中，结合图3和图4，图中的具体实施例以手势特征作为体态特征。虽然只根据具有控制权的用户的面部特征进行视角的调整，但是，还是会对所有用户的体态特征进行识别分析，实时判断是否有其他的用户做出了抢占控制权的体态特征，也就是说需要判断该体态特征是否具有控制权，当识别的体态特征不是当前具有控制权的用户的，停止对当前具有控制权用户的面部特征的识别，即终止感知控制；识本文档来自技高网...

【技术保护点】
一种全景视频控制方法，其特征在于，包括：a、从摄像装置采集的观看全景视频场景内的所有用户的图像数据中分割出每个用户的体态特征和面部特征；b、根据每个用户的体态特征与预先训练的用于抢占控制权的第一体态样本特征的匹配结果，从所有用户中识别出当前具有控制权的用户；c、根据当前具有控制权的用户的面部特征与预先训练的不同全景视频角度下的样本面部特征的匹配结果，确定当前具有控制权的用户的面部特征所对应的位角数据；d、根据确定的位角数据，生成对应的位角调节指令，以调节全景视频的视场角。

【技术特征摘要】
1.一种全景视频控制方法，其特征在于，包括：a、从摄像装置采集的观看全景视频场景内的所有用户的图像数据中分割出每个用户的体态特征和面部特征；b、根据每个用户的体态特征与预先训练的用于抢占控制权的第一体态样本特征的匹配结果，从所有用户中识别出当前具有控制权的用户；c、根据当前具有控制权的用户的面部特征与预先训练的不同全景视频角度下的样本面部特征的匹配结果，确定当前具有控制权的用户的面部特征所对应的位角数据；d、根据确定的位角数据，生成对应的位角调节指令，以调节全景视频的视场角。2.根据权利要求1所述的全景视频控制方法，其特征在于，所述步骤b之后步骤c之前，该方法进一步包括：e、当从所有用户识别出当前具有控制权的用户时，将面部追踪框调取于屏幕上，以输出包围当前具有控制权的用户的面部特征，实时获取当前具有控制权的用户的面部特征。3.根据权利要求1所述的全景视频控制方法，其特征在于，所述步骤b之后，该方法进一步包括：f、在当前用户的体态特征匹配用于触发控制操作的第二体态样本特征时，产生对应的控制命令。4.根据权利要求2所述的全景视频控制方法，其特征在于，所述步骤f包括：f1、从所有用户中识别出体态特征与第二体态样本特征匹配的候选用户；f2、将每个候选用户的面部特征与具有控制权的用户的面部特征进行匹配；f3、将所有候选用户中匹配度最高的一个用户确定为具有控制权的用户，并依据该用户匹配第二体态样本特征的体态特征产生对应的控制命令。5.根据权利要求1所述的全景视频控制方法，其特征在于，进一步包...

【专利技术属性】
技术研发人员：舒操，刘明，王秋峰，
申请(专利权)人：三星电子中国研发中心，三星电子株式会社，
类型：发明
国别省市：江苏;32