一种虚拟环境数字人场景灯光智能控制系统技术方案

本发明专利技术公开了一种虚拟环境数字人场景灯光智能控制系统，涉及虚拟数字人技术领域，通过设置真实场景数据收集模块收集若干场景数据以及场景灯光效果数据，设置场景识别模型训练模块利用场景数据，训练出根据场景图片识别所属场景的第一神经网络模型，设置数字人模型收集模块基于场景灯光效果数据，生成虚拟数字人场景训练数据，设置灯光控制模型训练模块基于虚拟数字人场景训练数据，为每个场景训练出生成虚拟场景灯光效果图片的第二神经网络模型，设置灯光控制模块为待控制的虚拟环境生成灯光策略以对灯光进行智能控制；实现了通过智能控制灯光对虚拟环境中的数字人进行更贴近人类审美的光影展示。人类审美的光影展示。人类审美的光影展示。

【技术实现步骤摘要】
一种虚拟环境数字人场景灯光智能控制系统


[0001]本专利技术涉及虚拟数字人
，尤其涉及一种虚拟环境数字人场景灯光智能控制系统。

技术介绍

[0002]随着计算机图形学和虚拟现实技术的不断发展，数字人场景的应用越来越广泛。数字人场景的表现形式已经从最初的2D图像、3D模型转变为了更加逼真的虚拟场景，这样的场景需要更加真实的灯光效果来营造出更加逼真的氛围。传统的灯光控制方法已经无法满足这些需求，因为这些方法往往是基于预先在虚拟引擎中设定的固定光照方案，不能够根据虚拟数字人的站位、动作以及视角转换进行灯光的智能控制，在多数场景下，无法达到人类审美的高度；专利技术专利一种LED虚拟场景灯光控制方法（申请公开号：CN114913310A），通过分析室内音乐和人员的剧本和演员情绪，改变和调节灯光，适应情绪；但该专利技术并未考虑到视觉效果且未解决虚拟数字人场景下的灯光控制问题；为此，本专利技术提出一种虚拟环境数字人场景灯光智能控制系统。

技术实现思路

[0003]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种虚拟环境数字人场景灯光智能控制系统，该一种虚拟环境数字人场景灯光智能控制系统实现通过智能控制灯光对虚拟环境中的数字人进行更贴近人类审美的光影展示。
[0004]为实现上述目的，提出一种虚拟环境数字人场景灯光智能控制系统，包括真实场景数据收集模块、场景识别模型训练模块、数字人模型收集模块、灯光控制模型训练模块以及灯光控制模块；其中，各个模块之间通过无线网络或电气方式连接；其中，所述真实场景数据收集模块主要用于预先收集若干场景数据以及场景灯光效果数据；其中，所述场景数据包括场景图片以及图片标签；其中，所述场景图片为在现实世界中使用图像捕获设备拍摄的各个场景下的图片；所述图片标签为预先对每张场景图片所属场景人工标注出的场景编号；将场景的编号标记为n，将第n个场景对应的场景图片集合标记为Pn；其中，所述场景灯光效果数据包括灯光策略、光影效果图片及对比图片；其中，所述灯光策略为在现实世界中的各个场景中，部署的所有灯光的位置、灯光类型、灯光照射方向、灯光照射强度以及灯光颜色；其中，所述光影效果图片为在每个场景中，使用图像捕获设备捕获的每个灯光策略将场景中的人物展示出的光影效果的图片；所述对比图片是每张光影效果图片对应的不使用灯光策略时，场景中人物展示出的无光影效果的图片；
将第n个场景对应的光影效果图片集合标记为Gn，光影效果图片集合Gn中的每张光影效果图片标记为gn，将光影效果图片gn对应的灯光策略标记为Sgn，将光影效果图片gn对应的对比图片标记为Dgn；所述真实场景数据收集模块将场景数据发送至场景识别模型训练模块，将场景灯光效果数据发送至数字人模型收集模块；其中，所述场景识别模型训练模块主要用于利用场景数据，训练出根据场景图片识别所属场景的第一神经网络模型；所述场景识别模型训练模块训练出根据场景图片识别所属场景的第一神经网络模型的方式为：将所有场景图片作为第一神经网络模型的输入，第一神经网络模型以预测的图片标签为输出，以每张场景图片实际的图片标签为预测目标，以预测的图片标签相对于实际的图片标签的预测准确率为训练目标，对第一神经网络模型进行训练，直至预测准确率达到预设的准确率时停止训练；所述场景识别模型训练模块将第一神经网络模型发送至灯光控制模块；其中，所述数字人模型收集模块主要用于基于场景灯光效果数据，生成虚拟数字人场景训练数据；所述数字人模型收集模块生成虚拟数字人场景训练数据的方式为：对于每张对比图片Dgn，使用三维建模软件对该对比图片中的场景中的建筑和灯光设备的大小以及距离按等比例进行模型构建，将构建的模型转化为虚拟数字场景；再将该对比图片中的人物按场景建模的比例对该对比图片中人物特征进行等比例建模，将建模后的人物转化为虚拟数字人模型；所述人物特征包括动作、表情、服饰以及皮肤纹理；将虚拟数字人模型放置在虚拟数字场景中，且虚拟数字人模型在虚拟数字场景中的位置对应于对比图片Dgn中人物在场景中的位置；将虚拟数字人模型放置后，虚拟场景的虚拟图片作为模型输入图片；将对比图片Dgn对应的模型输入图片标记为IDgn；对于每张模型输入图片IDgn对应的虚拟数字场景，使用光学物理引擎模拟出灯光策略Sgn照射在虚拟数字人模型上，得到虚拟光影效果，将虚拟光影效果图片作为训练目标图片；虚拟数字人场景训练数据包括所有模型输入图片以及对应的训练目标图片；所述数字人模型收集模块将虚拟数字人场景训练数据发送至灯光控制模型训练模块；其中，所述灯光控制模型训练模块主要用于基于虚拟数字人场景训练数据，为每个场景生成虚拟场景灯光效果图片的第二神经网络模型；所述第二神经网络模型为生成对抗式神经网络模型；所述灯光控制模型训练模块为每个场景训练出生成虚拟场景灯光效果图片的第二神经网络模型的过程为：以第n个场景中的每张模型输入图片IDgn作为第二神经网络模型的生成器的输入，该生成器输出对应的灯光策略，并基于该灯光策略，使用光学物理引擎生成一个该模型输入图片对应的虚拟场景灯光效果图片；该虚拟场景灯光效果图片传输至第二神经网络模型的判别器；
该判别器计算该虚拟场景灯光效果图片的光影效果值，若光影效果值小于预设的光影效果阈值，则生成器重新输出灯光策略，直至生成的虚拟场景灯光效果图片的光影效果值大于光影效果阈值；其中，所述光影效果值为虚拟场景灯光效果图片与模型输入图片IDgn对应的训练目标图片的结构相似度指标；所述光影效果值的计算公式为：将虚拟场景灯光效果图片标记为JDgn，将光影效果值标记为YDgn；则光影效果值YDgn的计算公式为；和分别为虚拟场景灯光效果图片JDgn和模型输入图片IDgn的亮度均值；和分别为虚拟场景灯光效果图片JDgn和模型输入图片IDgn的亮度标准差；为虚拟场景灯光效果图片JDgn和模型输入图片IDgn的亮度协方差；其中，a1、a2以及a3分别为预设的大于0的调节参数，用于防止分母为0，、以及分别为预设的比例系数。
[0005]所述灯光控制模型训练模块将训练完成的第二神经网络模型发送至灯光控制模块；其中，所述灯光控制模块主要用于为待控制的虚拟环境生成灯光策略，并基于灯光策略对灯光进行智能控制；所述灯光控制模块对灯光进行智能控制的方式为：灯光控制模块预先获取待控制的虚拟环境的图片，并将该图片输入至第一神经网络模型中，获得第一神经网络模型对该虚拟环境所属的场景类型的输出；使用目标识别方法识别出虚拟环境中的虚拟数字人，获得该虚拟数字人在虚拟场景中的模型输入图片，将该模型输入图片输入至对应场景类型的第二神经网络模型中，获得第二神经网络模型输出的灯光策略以及虚拟场景灯光效果图片；灯光控制模块向观众展示虚拟场景灯光效果图片；当虚拟数字人转换了不同视角或移动位置时，灯光控制模块重新使用第二神经网络模型输出对应的灯光策略。
[0006]与现有技术相比，本专利技术的有益效果是：本专利技术通过预先收集现实世界中若干不同场景中的场景图片，并基于场景图片训练出识别场景的第一神经网络模型，再对每个场景生成若干灯光策略以及相应的光影效果图片和对比图片，再将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟环境数字人场景灯光智能控制系统，其特征在于，包括，真实场景数据收集模块、场景识别模型训练模块、数字人模型收集模块、灯光控制模型训练模块以及灯光控制模块；真实场景数据收集模块，用于预先收集场景数据以及场景灯光效果数据，并将场景数据发送至场景识别模型训练模块，将场景灯光效果数据发送至数字人模型收集模块，场景数据包括场景图片；场景识别模型训练模块，利用场景数据训练出根据场景图片识别所属场景的第一神经网络模型，并将第一神经网络模型发送至灯光控制模块；数字人模型收集模块，基于场景灯光效果数据，生成虚拟数字人场景训练数据，并将虚拟数字人场景训练数据发送至灯光控制模型训练模块；灯光控制模型训练模块，基于虚拟数字人场景训练数据，为每个场景训练出生成虚拟场景灯光效果图片的第二神经网络模型，并将训练完成的第二神经网络模型发送至灯光控制模块；所述第二神经网络模型为生成对抗式神经网络模型；灯光控制模块用于为待控制的虚拟环境生成灯光策略，并基于灯光策略对灯光进行智能控制。2.根据权利要求1所述的一种虚拟环境数字人场景灯光智能控制系统，其特征在于，所述场景数据包括场景图片以及图片标签；所述场景图片为现实世界中使用图像捕获设备拍摄的各个场景下的图片；所述图片标签为预先对每张场景图片所属场景人工标注出的场景编号。3.根据权利要求2所述的一种虚拟环境数字人场景灯光智能控制系统，其特征在于，所述场景灯光效果数据包括灯光策略、光影效果图片及对比图片；所述灯光策略为在现实世界中的各个场景中，部署的所有灯光的位置、灯光类型、灯光照射方向、灯光照射强度以及灯光颜色；其中，所述光影效果图片为在每个场景中，使用图像捕获设备捕获的每个灯光策略将场景中的人物展示出的光影效果的图片；所述对比图片是每张光影效果图片对应的不使用灯光策略时，场景中人物展示出的无光影效果的图片；将场景的编号标记为n，将第n个场景对应的光影效果图片集合标记为Gn，光影效果图片集合Gn中的每张光影效果图片标记为gn，将光影效果图片gn对应的灯光策略标记为Sgn，将光影效果图片gn对应的对比图片标记为Dgn。4.根据权利要求3所述的一种虚拟环境数字人场景灯光智能控制系统，其特征在于，利用场景数据训练出根据场景图片识别所属场景的第一神经网络模型的过程为：将所有场景图片作为第一神经网络模型的输入，第一神经网络模型以预测的图片标签为输出，以每张场景图片实际的图片标签为预测目标，以预测的图片标签相对于实际的图片标签的预测准确率为训练目标，对第一神经网络模型进行训练，直至预测准确率达到预设的准确率时停止训练。5.根据权利要求4所述的一种虚拟环境数字人场景灯光智能控制系统，其特征在于，所述数字人模型收集模块生成虚拟数字人场景训练数据的方式为：对于每张对比图片，使用三维建模软件对该对比...

【专利技术属性】
技术研发人员：江婷，肖筱，
申请(专利权)人：武汉艺起科技有限公司，
类型：发明
国别省市：