【技术实现步骤摘要】
本申请实施例涉及自动控制领域，尤其涉及一种基于机器视觉的舞台灯光自动控制方法及系统。
技术介绍
1、舞台艺术的灯光设计和控制一直是演出成功的关键因素之一，通过调节灯光亮度、颜色、角度等参数，营造出各种特定的视觉效果，能极大的提高舞台表演的品质和观赏性，因此舞台灯光是舞台演出不可或缺的部分。
2、现有的舞台灯光系统大多依赖于人工控制，灯光师需要根据演出的具体内容手动调整灯光，对于复杂的舞台布景和快速变化的表演节奏，通过人工控制难以跟上舞台表演的节奏，存在灯光调整不及时的情况，另外，大型舞台灯光种类繁多，因此控制灯光的人手也需要增加，从而大大增加了人工成本，并且由于灯光师增加，导致灯光师之间的配合难度也增加了，大大增加了操作失误的风险。
技术实现思路
1、本申请实施例提供一种基于机器视觉的舞台灯光自动控制方法及系统，用于解决现有技术无法对大型舞台灯光进行快速、低成本且高精度的全方位控制。
2、为达到上述目的，本申请的实施例采用如下技术方案：
3、第一方面，提供了一种基于机器视觉的舞台灯光自动控制方法，该方法包括：
4、通过设置于目标舞台周围的图像采集设备获取舞台表演者的人体动态视频；
5、利用目标检测算法从所述人体动态视频中的关键帧识别出所述舞台表演者中的目标表演者，并将所述目标表演者所在的所述关键帧标记为目标关键帧；
6、构建包含人体特征提取模块和人体特征加权模块的人体动作识别模型，并通过预先构建的行为识别训练集
7、分别从各个所述目标关键帧提取出所述目标表演者的关键骨骼点，并根据所述关键骨骼点计算得到人体骨骼数据，结合所有所述目标关键帧的所述关键骨骼点构建出关键骨骼时序图网络；
8、根据所述人体动态视频并利用卡尔曼滤波算法实时获取所述目标表演者的人体位置信息；
9、将所述关键骨骼时序图网络和所述人体骨骼数据输入至训练完成的所述人体动作识别模型中，得到人体动作信息；
10、结合所述人体动作信息和所述人体位置信息实时生成灯光控制策略。
11、可选的，所述利用目标检测算法从所述人体动态视频中的关键帧识别出所述舞台表演者中的目标表演者包括如下步骤：
12、对于所述人体动态视频中的任一关键帧，利用目标检测算法识别并框选所述关键帧中的所述舞台表演者，得到关键图像区域；
13、若所述关键图像区域数量大于1，则对于任一所述关键图像区域，将所述关键图像区域的rgb颜色空间转换为hsv颜色空间，并利用聚类算法识别出所述关键图像区域中所述舞台表演者的人体颜色特征；
14、灰度化处理所述关键图像区域，得到灰度图像区域；
15、利用边缘检测算法去除所述灰度图像区域中的图像背景，保留所述灰度图像区域中的人体图像区域，并对所述人体图像区域进行滤波处理；
16、根据形态学对滤波处理后的所述人体图像区域进行腐蚀操作和膨胀操作，得到完整人体图像区域；
17、基于所述完整人体图像区域计算得到所述舞台表演者的人体形态特征；
18、获取预先存储的目标演员的基准颜色特征和基准形态特征；
19、将所述人体颜色特征和所述人体形态特征分别与所述基准颜色特征和所述基准形态特征进行对比，若所述人体颜色特征与所述基准颜色特征相同，且所述人体形态特征与所述基准形态特征相同，则将所述关键图像区域中的所述舞台表演者标记为目标表演者；
20、若所述关键图像区域数量等于1，则将所述关键图像区域中的所述舞台表演者标记为目标表演者。
21、可选的，所述构建包含人体特征提取模块和人体特征加权模块的人体动作识别模型，并通过预先构建的行为识别训练集对所述人体动作识别模型进行模型训练包括如下步骤：
22、结合多流网络和卷积神经网络模型构建多流特征提取子模块；
23、基于所述图卷积神经网络模型构建图特征提取子模块，联立所述图特征提取子模块和所述多流特征提取子模块得到人体特征提取模块；
24、基于自注意力机制构建人体特征加权模块，联立所述人体特征提取模块、所述人体特征加权模块和预设的特征融合模块构建得到人体动作识别模型；
25、将预先构建的行为识别训练集输入至所述人体动作识别模型中对所述人体动作识别模型进行迭代训练，当所述迭代训练次数达到预设的最大迭代次数时，所述人体动作识别模型训练完成。
26、可选的，所述分别从各个所述目标关键帧提取出所述目标表演者的关键骨骼点，并根据所述关键骨骼点计算得到人体骨骼数据，结合所有所述目标关键帧的所述关键骨骼点构建出关键骨骼时序图网络包括如下步骤：
27、对于所述人体动态视频中的任一所述目标关键帧，利用人体姿态估计算法对所述目标关键帧中的所述目标表演者进行单人姿态估计，得到所述目标表演者的骨骼点热力图；
28、根据所述骨骼点热力图计算出骨骼点置信度和骨骼点二维坐标，根据所述骨骼点置信度对所述目标表演者进行骨骼点提取，得到所述目标表演者的多个关键骨骼点；
29、根据所述关键骨骼点生成所述目标表演者的骨架图；
30、根据所述骨骼点二维坐标和所述骨架图计算出所述目标表演者的人体骨骼数据；
31、将相邻帧的所述骨架图中对应的所述关键骨骼点进行时间边连接，得到所述人体动态视频的关键骨骼时序图网络。
32、可选的，所述根据所述骨骼点二维坐标和所述骨架图计算出所述目标表演者的人体骨骼数据包括如下步骤：
33、获取所述图像采集设备的参数信息，结合所述参数信息和全部所述骨骼点二维坐标得到所述关键骨骼点的深度信息；
34、结合所述深度信息和所述骨骼点二维坐标计算全部所述关键骨骼点的三维坐标，得到多个骨骼点坐标；
35、根据所述骨架图并通过所述骨骼点坐标计算相连接的两个所述关键骨骼点之间的骨骼向量；
36、根据所述骨骼点坐标计算出相连接的关键骨骼之间的骨骼角度，所述关键骨骼为连接两个关键骨骼点的骨骼；
37、根据所述骨骼点坐标计算相邻帧的所述关键骨骼点之间的坐标变化量，得到骨骼运动数据；
38、将所述骨骼点坐标、所述骨骼向量、所述骨骼角度和所述骨骼运动数据整合得到所述目标表演者的人体骨骼数据。
39、可选的，所述根据所述人体动态视频并利用卡尔曼滤波算法实时获取所述目标表演者的人体位置信息包括如下步骤：
40、将所述人体动态视频中在时间顺序上的第一帧所述目标关键帧作为初始关键帧，并将最后一帧所述目标关键帧作为截止关键帧；
41、在所述初始关键帧中，根据所述骨骼点坐标并利用位置确定算法确定所述目标表演者的第一初始位置信息；
42、利用卡尔曼滤波算法根据所述第一初始位置信息预测出所述初始关键帧的下一目标关键帧的预测位置信息；
43、在所述初始本文档来自技高网...
【技术保护点】
1.一种基于机器视觉的舞台灯光自动控制方法，其特征在于，所述方法包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，所述利用目标检测算法从所述人体动态视频中的关键帧识别出所述舞台表演者中的目标表演者包括如下步骤：
3.根据权利要求1所述的方法，其特征在于，所述构建包含人体特征提取模块和人体特征加权模块的人体动作识别模型，并通过预先构建的行为识别训练集对所述人体动作识别模型进行模型训练包括如下步骤：
4.根据权利要求1所述的方法，其特征在于，所述分别从各个所述目标关键帧提取出所述目标表演者的关键骨骼点，并根据所述关键骨骼点计算得到人体骨骼数据，结合所有所述目标关键帧的所述关键骨骼点构建出关键骨骼时序图网络包括如下步骤：
5.根据权利要求4所述的方法，其特征在于，所述根据所述骨骼点二维坐标和所述骨架图计算出所述目标表演者的人体骨骼数据包括如下步骤：
6.根据权利要求5所述的方法，其特征在于，所述根据所述人体动态视频并利用卡尔曼滤波算法实时获取所述目标表演者的人体位置信息包括如下步骤：
7.根据权利要求6所述
8.据权利要求1所述的方法，其特征在于，所述将所述关键骨骼时序图网络和所述人体骨骼数据输入至训练完成的所述人体动作识别模型中，得到人体动作信息包括如下步骤：
9.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据权利要求1至8中任一项所述的一种基于机器视觉的舞台灯光自动控制的方法。
10.一种基于机器视觉的舞台灯光自动控制系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于机器视觉的舞台灯光自动控制方法，其特征在于，所述方法包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，所述利用目标检测算法从所述人体动态视频中的关键帧识别出所述舞台表演者中的目标表演者包括如下步骤：
3.根据权利要求1所述的方法，其特征在于，所述构建包含人体特征提取模块和人体特征加权模块的人体动作识别模型，并通过预先构建的行为识别训练集对所述人体动作识别模型进行模型训练包括如下步骤：
4.根据权利要求1所述的方法，其特征在于，所述分别从各个所述目标关键帧提取出所述目标表演者的关键骨骼点，并根据所述关键骨骼点计算得到人体骨骼数据，结合所有所述目标关键帧的所述关键骨骼点构建出关键骨骼时序图网络包括如下步骤：
5.根据权利要求4所述的方法，其特征在于，所述根据所述骨...
【专利技术属性】
技术研发人员：田燕妮，石汇，龚国贤，戴亚，
申请(专利权)人：广州华杉电子有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。