一种感应式灯光音响管理系统和方法技术方案

本发明专利技术提供了一种感应式音响灯光管理系统和方法，所述感应式灯光音响管理系统对场景的灯光音响调控，包括：图像采集模块；音频采集模块；分析处理模块；调度模块；其中所述图像采集模块采集每一目标的眼动数据、人脸数据，所述音频采集模块采集目标的语音数据，所述图像采集模块和音频采集模块将所述眼动数据、表情数据和语音数据输入所述分析处理模块，以获取每一目标的兴趣信息和情感信息，用于调整灯光音响设计，所述调度模块根据获取的兴趣信息、情感信息调度终端音响和灯光设备，本发明专利技术提供的方法可有效地提高灯光场景的适应性，通过抽象的表达转化为较为精确的感官数据来探知场景中观众对于灯光音响的满意度。

【技术实现步骤摘要】
一种感应式灯光音响管理系统和方法
本专利技术涉及一种智能灯光音响领域，特别涉及一种感应式灯光音响管理系统和方法。
技术介绍
现有音响管理系统基本是基于音响灯光师进行调节，一般的音响灯光师需要进行音乐、灯光设计等美学设计的培训，需要付出较多的人工成本，而且在音乐灯光的排布，组合设计通常是基于灯光师个人的设计经验，而对于大多数观众来说，灯光、音响设计和排布通常是只能被动接受来自音响灯光师自身的设计审美，无法从观众的角度完成更加符合观众和场景的灯光设计审美，另外由于采访观众对于灯光音响美学评价费时费力，而且相当一部分观众由于表达能力原因，可能无法准确地表述对灯光音响美学的兴趣点，无法系统的评价音响灯光在一场表演中的价值。藉此本专利技术将根据具体地场景分析多个观众的人脸表情和语音信息，分析出观众对于灯光音响表演的兴趣时段、兴趣区域，从而以系统地评价灯光音响在场景中的设计效果。当然本专利技术涉及的管理系统可辅助灯光音响师对场景的灯光音响的设计，一方面提高设计效果，另一方面降低设计门槛。
技术实现思路
本专利技术其中一个主要目的在于提供一种感应式音响灯光管理系统和方法，所述感应式灯光音响管理系统采用计算机视觉技术和语音识别技术获取观众人脸的表情信息、眼动信息和语音信息，根据获取的表情信息、眼动信息和语音信息对观众灯光音响设计的兴趣点和评价，可用于辅助灯光音响师对舞台和场景的设计，提高灯光音响设计效果。本专利技术其中一个主要目的在于提供一种感应式音响灯光管理系统和方法，所述感应式灯光音响管理系统和方法可根据不同场景需求做不同的评价体系，比如在一游乐园中的紧张主题下获取的紧张的人脸表情和尖叫语音信息，用于评价场景灯光音响设计的紧张效果。本专利技术其中一个主要目的在于提供一种感应式音响灯光管理系统和方法，所述感应式灯光音响管理系统和方法通过发现人在自然状态下灯光和音响对人的精神状态，挖掘出大多数观众对灯光音响的兴趣点、兴趣区域和兴趣时段等，从而可以根据观众的兴趣点、兴趣区域、和兴趣时段做组合布局。本专利技术其中一个主要目的在于提供一种感应式音响灯光管理系统和方法，所述感应式灯光音响管理系统可根据不同年龄段、不同民族、性别的测试者，计算出不同年龄段、民族和性别的观众对灯光音响的偏好，可进行个性化的设计和管理。本专利技术其中一个主要目的在于提供一种感应式音响灯光管理系统和方法，所述感应式灯光音响管理系统通过辅助设计师对灯光音响效果，从而可以提高设计对观众的适应性，从原来抽象的表述，转化为较为精准的数据，避免了语言表述的缺陷。本专利技术其中一个主要目的在于提供一种感应式音响灯光管理系统和方法，所述感应式灯光音响管理系统和方法通过获取每一观众的表情信息、眼动信息和语音信息，通过大数据分析每一场景灯光音响的观众适应度。为了实现至少一个上述专利技术目的，本专利技术进一步提供一种感应式音响灯光管理系统，所述感应式灯光音响管理系统对场景的灯光音响调控，包括：图像采集模块；音频采集模块；分析处理模块；调度模块；其中所述图像采集模块采集每一目标的眼动数据、人脸数据，所述音频采集模块采集目标的语音数据，所述图像采集模块和音频采集模块将所述眼动数据、表情数据和语音数据输入所述分析处理模块，以获取每一目标的兴趣信息和情感信息，用于调整灯光音响设计，所述调度模块根据获取的兴趣信息、情感信息调度终端音响和灯光设备。根据本专利技术一个较佳实施例，所述图像采集模块将获取的人脸数据转化为特征向量，将所述特征向量输入到Emotion-recognition模型，输出并统计表情类型和数目。根据本专利技术另一个较佳实施例，所述图像采集模块将将采集到的眼动数据输入所述分析处理模块的眼动分析系统，记录每一时刻每一观众的眼动数据，以获取观众对场景灯光的兴趣点、兴趣区域、兴趣顺序和兴趣时段，用于所述调度模块调度灯光音响终端。根据本专利技术另一个较佳实施例，所述音频采集模块采集观众的语音信息，将采集到的语音信息输入所述分析处理模块，用于获取语音信息中的评价信息和语气信息。根据本专利技术另一个较佳实施例，采用包括TobiiStudio系统、Eyeso系统和ViveProEye系统中的任意一种分析眼动数据。根据本专利技术另一个较佳实施例，所述分析处理模块还用于预设定一主题场景，所述分析处理模块计算人脸表情信息和语音信息中符合主题场景的个数和比例，用于评价场景灯光和音响的设计和管理效果。根据本专利技术另一个较佳实施例，所述感应式音响灯光管理系统还包括一评价模块，所述评价模块接受所述分析处理模块的统计信息，输出灯光音响设计的场景主题符合度。为了实现至少一个上述专利技术目的，本专利技术进一步提供一种感应式音响灯光管理方法，包括如下步骤：预设一场景主题，所述主题包括悲伤、喜悦、兴奋、刺激、恐惧的情感标签；获取该主题场景下每一测试人员的眼动数据、人脸数据和语音数据分析目标人表情信息、语音信息，兴趣信息和语气信息；计算表情信息、语音信息和语气信息中符合主题场景的个数和比例；根据眼动数据统计每一测试者对灯光和音响兴趣信息中的兴趣点、兴趣区域、兴趣顺序和兴趣时段；根据所述兴趣信息、语音信息、表情信息和语气信息调度主题场景中灯光和音响设计。根据本专利技术一个较佳实施例，所述分析处理模块将分析处理的表情信息、语音信息、语气信息分别打上情感标签，并计算符合预设主题标签的比例。根据本专利技术另一较佳实施例，所述分析处理模块设定第一比例阈值，若检测计算单位时间内的表情信息、语音信息和语气信息符合预设场景主题比例小于所述第一比例阈值，则重建该单位时间内的灯光和音响设计。根据本专利技术另一较佳实施例，所述分析处理模块设定第二比例阈值，其中所述第二比例阈值大于所述第一比例阈值，若检测计算单位时间内的表情信息、语音信息和语气信息符合预设场景主题比例大于所述第二比例阈值，则保存该单位时间内的灯光和音响设计，用于所述调度模块优先调度保存的该单位时间灯光和音响设计。根据本专利技术另一较佳实施例，若所述检测计算单位时间内的表情信息、语音信息和语气信息符合预设场景主题比例在所述第一比例阈值和第二比例阈值之间，部分删除或间隔一定的时间删除该单位时间类灯光和音响设计。根据本专利技术另一较佳实施例，若分析处理模块计算并形成单位时间内灯光设计中眼动数据热点图，所述分析处理模块根据热点保存灯光设计布局，以供所述调度模块随机调取。附图说明图1显示的是本专利技术一种感应式音响灯光管理方法的示意图。图2显示的是本专利技术一种感应式音响灯光管理系统中图像采集装置和音频采集装置的安装示意图。图3显示的是本专利技术一种感应式音响灯光管理系统的模块示意图。具体实施方式以下描述用于揭露本专利技术以使本领域技术人员能够实现本专利技术。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发专利技术的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有本文档来自技高网...

【技术保护点】
1.一种感应式音响灯光管理系统，所述感应式灯光音响管理系统对场景的灯光音响调控，其特征在于，包括：/n图像采集模块；/n音频采集模块；/n分析处理模块；/n调度模块；/n其中所述图像采集模块采集每一目标的眼动数据、人脸数据，所述音频采集模块采集目标的语音数据，所述图像采集模块和音频采集模块将所述眼动数据、表情数据和语音数据输入所述分析处理模块，以获取每一目标的兴趣信息和情感信息，用于调整灯光音响设计，所述调度模块根据获取的兴趣信息、情感信息调度终端音响和灯光设备。/n

【技术特征摘要】
1.一种感应式音响灯光管理系统，所述感应式灯光音响管理系统对场景的灯光音响调控，其特征在于，包括：
图像采集模块；
音频采集模块；
分析处理模块；
调度模块；
其中所述图像采集模块采集每一目标的眼动数据、人脸数据，所述音频采集模块采集目标的语音数据，所述图像采集模块和音频采集模块将所述眼动数据、表情数据和语音数据输入所述分析处理模块，以获取每一目标的兴趣信息和情感信息，用于调整灯光音响设计，所述调度模块根据获取的兴趣信息、情感信息调度终端音响和灯光设备。


2.根据权利要求1所述的一种感应式音响灯光管理系统，其特征在于，所述图像采集模块将获取的人脸数据转化为特征向量，将所述特征向量输入到Emotion-recognition模型，输出并统计表情类型和数目。


3.根据权利要求1所述的一种感应式音响灯光管理系统，其特征在于，所述图像采集模块将将采集到的眼动数据输入所述分析处理模块的眼动分析系统，记录每一时刻每一观众的眼动数据，以获取观众对场景灯光的兴趣点、兴趣区域、兴趣顺序和兴趣时段，用于所述调度模块调度灯光音响终端。


4.根据权利要求1所述的一种感应式音响灯光管理系统，其特征在于，所述音频采集模块采集观众的语音信息，将采集到的语音信息输入所述分析处理模块，用于获取语音信息中的评价信息和语气信息。


5.根据权利要求3所述的一种感应式音响灯光管理系统，其特征在于，采用包括TobiiStudio系统、Eyeso系统和ViveProEye系统中的任意一种分析眼动数据。


6.根据权利要求1所述的一种感应式音响灯光管理系统，其特征在于，所述分析处理模块还用于预设定一主题场景，所述分析处理模块计算人脸表情信息和语音信息中符合主题场景的个数和比例，用于评价场景灯光和音响的设计和管理效果。


7.根据权利要求1所述的一种感应式音响灯光管理系统，其特征在于，所述感应式音响灯光管理系统还包括一评价模块，所述评价模块接收所述分析处理模块的统计信息，输出灯光音响...

【专利技术属性】
技术研发人员：吴康锋，
申请(专利权)人：浙江德方智能科技有限公司，
类型：发明
国别省市：浙江;33