一种基于虚拟现实技术的沉浸式表演情感增强系统技术方案

本发明专利技术提出一种基于虚拟现实技术的沉浸式表演情感增强系统，本发明专利技术解决了现有沉浸式表演中观众和表演者间存在缺少可用且具备情感反馈的交互应用系统，为传统沉浸式表演中因虚拟现实设备遮挡而导致观众和表演者的情感沟通障碍、无法实现自适应性反馈产生表演运行不畅或中断的问题，设计具有自适应性的情感反馈，更为情感反馈提供了可视化的系统支持，具有实用、适用性强的特点的优势技术效果。适用性强的特点的优势技术效果。适用性强的特点的优势技术效果。

【技术实现步骤摘要】
Conference on Human Factors in Computing Systems(CHI EA'21)，观众已经成为表演内容的一部分。
[0005]2017年文献5—Andrew Bluff and Andrew Johnston..Storytelling with Interactive Physical Theatre:A case study of Dot and the Kangaroo.MOCO'17.Article 19,1
–
8.提出了结合数字投影和可视化技术的表演叙事方法，使用红外摄像机和光学算法将舞台上演员的肢体动作转换为与表演主题相关的实时可视化数字内容，并投影至舞台作为表演叙事元素，以减少剧本的文本密度并且辅助演员进行表演内容的感知。演后访谈与场景分析显示，表演者和数字投影之间的互动描绘出了关键的叙事信息，形成了更具有综合性的叙事方式，且证明了互动视觉信息投影对演员的感知与行为产生影响。2021年文献6—Nuno N.Correia,Raul Masu,An Hoang Dieu Pham,and Jochen Feitsch.Connected Layers:Evaluating Visualizations of Embodiment in Contemporary Dance Performances.TEI'21.ACM,New York,USA,Article 2,1
–
12.提出通过舞台互动视觉效果增强观众体验，在实验中设置了四种不同的舞蹈表演,使用呼吸传感器、颜色传感器、摄像机等将表演者的身体动作变化和呼吸频率进行实时图形可视化和虚拟化身映射，每种表演都探索了一种不同的涉及视觉效果的交互方法。通过演出结束后的问卷和访谈收集观众反馈，总结出了五条设计建议。
[0006]目前关于增强表演中演员和观众感知的研究主要集中在现实环境的表演空间中，对VR中的沉浸式表演缺乏相关研究。2018年文献7—Tatsuyoshi,et al.Supporting the Sense of Unity between Remote Audiences in VR
‑
Based Remote Live Music Support System KSA2.In 2018IEEE International Conference on Artifcial Intelligence andVirtual Reality(AIVR)提出一种基于VR的远程系统，使观众能够通过身体动作与表演者进行非语言交流。2018年文献8—Plaxen,et al.One of the Family:An Exploratory 3rd Person Branching Narrative for Virtual Reality.In Extended Abstracts of the 2018CHI Conference on Human Factors in Computing Systems(CHI EA
’
18)探索如何从第三人称基于对象交互的视角定位观众的叙事分支。2021年文献9—Yan,et al.Performing with Me:Enhancing Audience
‑
Performer Interaction inAn Immersive Virtual Play.In ExtendedAbstracts ofthe 2021CHI Conference on Human Factors in Computing Systems(CHI EA'21)提出了基于个体、情境、叙事的三种观众和表演者间的交互方式，并进行定性评估。然而，这些方法主要是通过语言和身体行为来交流和构建观众和表演者的交互方式，其他的形式，如生理信号交互，在VR表演中还没有得到很好的探索和应用。
[0007]由于目前普遍的基于虚拟现实技术的沉浸式表演中，表演者需要穿戴繁复的动捕设备，在与表演主题缺乏关联的实际表演场地中对着佩戴VR头盔的观众表演，很难直观且准确地观察到观众当下的情绪状态与注意力集中情况，因而在表演过程中难以做出及时、恰当的反应。观众也只能关注于场景中虚拟化身模型的动作、表情，无法进一步感知表演者的情感变化。

技术实现思路

[0008]本专利技术的技术解决问题：克服现有基于虚拟现实技术的沉浸式表演中表演者与观
众交互反馈方式的匮乏，缺少自适应性的情感反馈及可视化系统支持的问题，提供一种基于虚拟现实技术的沉浸式表演情感增强系统，将观众的脑波数据及表演者心率数据进行实时采集，通过将现实环境中观众脑波的可视化动态图形形成情感反馈作用于虚拟世界中表演者的心率数据显示，形成虚实融合式的自然交互机制。本专利技术显著增强了表演者与观众的情感联结，在虚拟现实沉浸式表演中实现更具适用性的情感反馈，提升表演内容的创意生成。
[0009]本专利技术的技术解决方案：一种基于虚拟现实技术的沉浸式表演情感增强系统，实现步骤如下：
[0010]所述沉浸式表演情感增强系统C10前端接入虚拟现实情感融合模块D10，所述虚拟现实情感融合模块D10一端接入现实环境构造模块A30，其另一端接入虚拟世界构造模块B60；
[0011]所述虚拟世界构造模块B60包括动作数据采集模块B10，心率数据采集模块B20，3D虚拟化身构造模块B30，心率数据显示模块B40，虚拟基础构建模块B50；
[0012]所述现实环境构造模块A30包括脑电数据采集模块A10，脑电数据可视化呈现模块A20；
[0013]所述动作采集模块B10，包括十七个身体关节点位置数据采集单元，具体为：
[0014]头部动作采集单元B101、胸部动作采集单元B110、腰部动作采集单元B111；
[0015]左肩部动作采集单元B102、左大臂动作采集单元B104、左前臂动作采集单元B106、左手动作采集单元B108、右肩部动作采集单元B103、右大臂动作采集单元B105、右前臂动作采集单元B107、右手动作采集单元B109；
[0016]左大腿动作采集单元B112、左小腿动作采集单元B114、左脚动作采集单元B116、右大腿动作采集单元B113、右小腿动作采集单元B115、右脚动作采集单元B117；
[0017]均包括动作采集单元。
[0018]所述3D虚拟化身构造模块B30输入端接入动作采集模块B10，获取十七个身体关节点位置数据，具体步骤为：
[0019]将获取到的十七个身体关节点位置数据通过动作采集模块B10与三维引擎平台连接，基于Final IK反动力学插件创建Full Body Biped IK，控制手肘、肩部、腰部、膝部、胯部等部位，实现实时驱动表演者的虚拟化身模型；
[0020]由十七个身体关节点位置数据实时驱动的虚拟表演环境中的预设表演者虚拟化身模型，输出端连接虚拟世界构造模块B60；
[0021]所述心率数据显示模块B40输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟现实技术的沉浸式表演情感增强系统，其特征在于，包括沉浸式表演情感增强系统C10；所述沉浸式表演情感增强系统C10前端接入虚拟现实情感融合模块D10，所述虚拟现实情感融合模块D10一端接入现实环境构造模块A30，其另一端接入虚拟世界构造模块B60；所述虚拟世界构造模块B60包括动作数据采集模块B10，心率数据采集模块B20，3D虚拟化身构造模块B30，心率数据显示模块B40，虚拟基础构建模块B50；所述现实环境构造模块A30包括脑电数据采集模块A10，脑电数据可视化呈现模块A20。2.根据权利要求1所述的一种基于虚拟现实技术的沉浸式表演情感增强系统，其特征在于，所述动作采集模块B10，包括十七个身体关节点位置数据采集单元，具体为：所述头部动作采集单元B101、胸部动作采集单元B110、腰部动作采集单元B111；左肩部动作采集单元B102、左大臂动作采集单元B104、左前臂动作采集单元B106、左手动作采集单元B108、右肩部动作采集单元B103、右大臂动作采集单元B105、右前臂动作采集单元B107、右手动作采集单元B109；左大腿动作采集单元B112、左小腿动作采集单元B114、左脚动作采集单元B116、右大腿动作采集单元B113、右小腿动作采集单元B115、右脚动作采集单元B117。3.根据权利要求2所述的一种基于虚拟现实技术的沉浸式表演情感增强系统，其特征在于，所述3D虚拟化身构造模块B30输入端接入动作采集模块B10，获取十七个身体关节点位置数据；将获取到的十七个身体关节点位置数据通过动作采集模块B10与三维引擎平台连接，基于Final IK反动力学插件创建Full Body Biped IK，控制手肘、肩部、腰部、膝部、胯部部位，实现实时驱动表演者的虚拟化身模型；由十七个身体关节点位置数据实时驱动的虚拟表演环境中的预设表演者虚拟化身模型，输出端连接虚拟世界构造模块B60。4.根据权利要求1所述的一种基于虚拟现实技术的沉浸式表演情感增强系统，其...

【专利技术属性】
技术研发人员：闫烁，葛赛西，房方，沈旭昆，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：