应用于复合型剧场的虚拟人物表演控制方法和系统技术方案

本发明专利技术提供了一种应用于复合型剧场的虚拟人物表演控制方法和系统，所述控制方法包括步骤：(a)生成虚拟人物，通过成像系统，在特定空间内投影形成预设的虚拟人物造型；(b)获取动作指令，计算机系统检测控制台是否有动作指令的输入信号，如有，则继续下一步执行动作指令的调取步骤；若无，则继续等待；(c)调取动作指令，计算机系统根据控制台的输入信号调用指令库中的相应动作指令，并输出至成像系统，控制虚拟人物按照上述动作指令完成相应动作；(d)输出反馈指令，计算机系统控制监听设备采集观众席的声音或图像，并输出反馈指令控制虚拟人物完成相应的表演动作；(e)当虚拟人物完成动作指令后，循环执行上述步骤(b)

【技术实现步骤摘要】
应用于复合型剧场的虚拟人物表演控制方法和系统


[0001]本专利技术涉及计算机控制及增强现实(AR)
，特别是一种应用于复合型剧场的虚拟人物表演控制方法和系统。

技术介绍

[0002]目前，随着增强现实(AR)技术在剧场、舞台等场景的运用，可以带给观众强烈的互动视觉效果和参与感。AR技术借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象，准确地置入真实环境中，借助显示设备将虚拟对象与真实环境融为一体，呈现给观众一个感官效果真实的新环境，具有虚实结合、实时交互、三维成像等特点。
[0003]现有的复合型剧场是一种融合了梦幻剧场、科普剧场、普通表演剧场、会议报告厅等多种功能的剧场。例如，现有的博物馆、展厅等场所需要专门的讲解人员进行现场解说，传统的真人解说不仅增加了人力成本，而且容易使讲解员产生厌倦情绪。虚拟主持人(如虚拟主持人、虚拟卡通角色等)的出现可以解决上述问题，令观众感受到了强烈科技感，形式新颖，而且可以利用数字技术在有限空间内展示更多的内容，信息量丰富。但是，现有的虚拟主持人通常采用预先录制好的音视频素材，然后通过AR技术投影展示，无法实时地和观众进行互动、交流。

技术实现思路

[0004]为了克服现有技术的缺陷，本专利技术提供一种应用于复合型剧场的虚拟人物表演控制方法和系统，可以通过对虚拟人物的操控实现和观众的现场互动、交流。
[0005]本专利技术所采用的技术方案是：一种应用于复合型剧场的虚拟人物表演控制方法，包括表演舞台，设置于表演舞台的成像系统、计算机系统和控制台，以及剧场内的观众席，所述控制方法包括如下步骤：
[0006](a)生成虚拟人物，通过成像系统在剧场的特定空间内投影形成预设的虚拟人物造型；
[0007](b)获取动作指令，计算机系统检测控制台是否有动作指令的输入信号，如有，则继续下一步执行动作指令的调取步骤；若无，则继续等待；
[0008](c)调取动作指令，计算机系统根据控制台的输入信号调用指令库中的相应动作指令，并输出至成像系统，控制虚拟人物按照所述动作指令完成相应的表演动作；
[0009](d)输出反馈指令，计算机系统控制监听设备采集观众席的声音或图像，并输出反馈指令控制虚拟人物完成相应的表演动作；
[0010](e)当虚拟人物完成一个动作指令后，循环执行上述步骤(b)
‑
(d)，直到完成全部的动作指令。
[0011]进一步的，所述计算机系统还包括语音分析模块和/或图像分析模块，用于根据监听设备采集的声音或图像信息，计算获得步骤(d)所述的反馈指令。具体地，该反馈指令通过以下步骤获得：
[0012](1)采集现场观众席的场景图像，以单个人脸为单元采集每个观众的面部表情，并通过面部特征识别算法提取观众人物的表情特征A，同时记录采集该表情特征A的时间信息T1；
[0013](2)采集现场观众席的声音信号，滤除环境噪音之后，根据预设的阈值提取现场的有效声音信号B，同时记录采集该表情特征A的时间信息T2；
[0014](3)计算机系统汇总上述表情特征A、声音信号B、和时间信息T1、T2，将同一时间区间的表情特征A和声音信号B进行组合，生成现场观众席的反馈信息C；
[0015](4)计算机系统根据上述现场观众席的反馈信息C，输出反馈指令D；
[0016](5)计算机系统接收反馈指令D后，调用指令库中的相应动作指令，并输出至成像系统，控制虚拟人物按照所述动作指令完成相应的表演动作。
[0017]基于上述虚拟人物的动作控制方法，本专利技术还提供了一种应用于复合型剧场的虚拟人物表演控制系统，包括表演舞台，设置于表演舞台的成像系统、计算机系统和控制台，以及剧场内的观众席，所述控制系统包括：
[0018]虚拟人物生成单元，用于通过成像系统在剧场的特定空间内投影形成预设的虚拟人物造型；
[0019]动作指令获取单元，用于计算机系统检测控制台是否有动作指令的输入信号，如有，则继续下一步执行动作指令的调取步骤；若无，则继续等待；
[0020]动作指令调取单元，用于计算机系统根据控制台的输入信号调用指令库中的相应动作指令，并输出至成像系统，控制虚拟人物按照所述动作指令完成相应的表演动作；
[0021]反馈指令输出单元，用于计算机系统控制监听设备采集观众席的声音或图像，并输出反馈指令控制虚拟人物完成相应的表演动作。
[0022]进一步地，所述控制方法还包括语音指令，当计算机系统控制虚拟人物执行相应动作指令的同时，通过语音播放设备同步输出与动作指令相应的声音。所述语音指令由语音接收器收录后，通过预设的变声设备和调音设备转换后输出至语音播放设备。
[0023]进一步地，所述控制方法还包括监听设备，用于监测现场的声音或图像，并通过控制台发出相应的动作指令；或者通过计算机系统的预设算法生成反馈指令，用于控制虚拟人物完成相应的表演动作。
[0024]本专利技术克服了现有技术的缺陷，利用虚拟舞台成像系统形成虚拟人物(包括虚拟主持人、各种虚拟卡通角色等)，通过控制台输入相应的动作指令，然后由计算机系统控制成像系统对虚拟人物进行操控，从而实现与现场观众的实时互动，增加了舞台的互动效果和趣味性。进一步地，本专利技术通过采集现场的观众面部表情、声音、动作等信息，利用计算机系统的预设算法分析得出反馈信息，并利用该反馈信息控制虚拟人物完成相应的动作，实现虚拟人物与现场观众的实时互动和交流。
附图说明
[0025]下面结合附图对本专利技术的实施例进一步说明。
[0026]图1是本专利技术实施例所述虚拟人物的动作控制方法流程图。
[0027]图2是本专利技术实施例所述虚拟人物的动作控制系统的原理框图。
[0028]图3是本专利技术实施例在剧场应用的场景示意图。
具体实施方式
[0029]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0030]需要说明，若本专利技术实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。
[0031]如图1所示，本专利技术实施例所述应用于复合型剧场的虚拟人物表演控制方法，包括表演舞台，设置于表演舞台的成像系统、计算机系统和控制台，以及剧场内的观众席，所述控制方法包括如下步骤：
[0032](a)生成虚拟人物，通过成像系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于复合型剧场的虚拟人物表演控制方法，包括表演舞台，设置于表演舞台的成像系统、计算机系统和控制台，以及剧场内的观众席，其特征在于，所述控制方法包括如下步骤：(a)生成虚拟人物，通过成像系统在剧场的特定空间内投影形成预设的虚拟人物造型；(b)获取动作指令，计算机系统检测控制台是否有动作指令的输入信号，如有，则继续下一步执行动作指令的调取步骤；若无，则继续等待；(c)调取动作指令，计算机系统根据控制台的输入信号调用指令库中的相应动作指令，并输出至成像系统，控制虚拟人物按照所述动作指令完成相应的表演动作；(d)输出反馈指令，计算机系统控制监听设备采集观众席的声音或图像，并输出反馈指令控制虚拟人物完成相应的表演动作；(e)当虚拟人物完成一个动作指令后，循环执行上述步骤(b)
‑
(d)，直到完成全部的动作指令。2.根据权利要求1所述应用于复合型剧场的虚拟人物表演控制方法，其特征在于，所述反馈指令通过以下步骤获得：(1)采集现场观众席的场景图像，以单个人脸为单元采集每个观众的面部表情，并通过面部特征识别算法提取观众人物的表情特征A，同时记录采集该表情特征A的时间信息T1；(2)采集现场观众席的声音信号，滤除环境噪音之后，根据预设的阈值提取现场的有效声音信号B，同时记录采集该表情特征A的时间信息T2；(3)计算机系统汇总上述表情特征A、声音信号B、和时间信息T1、T2，将同一时间区间的表情特征A和声音信号B进行组合，生成现场观众席的反馈信息C；(4)计算机系统根据上述现场观众席的反馈信息C，输出反馈指令D；(5)计算机系统接收反馈指令D后，调用指令库中的相应动作指令，并输出至成像系统，控制虚拟人物按照所述动作指令完成相应的表演动作。3.根据权利要求2所述应用于复合型剧场的虚拟人物表演控制方法，其特征在于，所述反馈指令D通过以下公式计算获得：D＝G(C)＝G[F(A,B,T1,T2)]，A＝E(x1,x2,...,x
n
)B＝V(y,α,θ)C＝F(A,B,T1,T2)其中：E()表示提取观众人物面部表情特征的函数，x
i
表示第i个观众的面部图像，i＝1,...,n，n为现场观众人物的总数；V()表示提取现场有效声音的函数，y表示现场观众的声音信号,α表示环境噪音，θ表示预设的阈值；F()表示根据表情特征、声音信号和时间信息得到现场观众席反馈信息的函数；G()表示根据反馈信息生成反馈指令的函数。4.根据权利要求1所述应用于复合型剧场的虚拟人物表演控制方法，其特征在于，所述反馈指令还可以通过以下步骤获得：(1)采集现场观众席的场景图像，以单个人物为单元采集每个观众的肢体动作，并通过动作特征识别算法提取观众人物的动作特征M，同时记录采集该表情特征M的时间信息T3；(2)计算机系统汇总上述动作特征M和时间信息T3，生成现场观众席的反馈信息N；(3)计算机系统根据上述现场观众席的反馈信息N，输出反馈指令D
N
；
(4)...

【专利技术属性】
技术研发人员：李红红，龙光，项智亮，刘勇，李景霞，
申请(专利权)人：宁波新文三维股份有限公司，
类型：发明
国别省市：