【技术实现步骤摘要】
本专利技术涉及数据保护的，尤其是涉及一种基于数字人的虚拟场景数据交互方法。
技术介绍
1、在虚拟的场景进行交互时，可以通过构建化身进行交互，化身的生成需要获取一定的用户数据。
2、但是，如果直接通过用户数据生成用户对应的化身，比如人脸数据生成化身，需要进行复杂的计算，不但生成的速度较慢，而且不同的人脸对应的不同的化身会非常多，为了节省化身的生成时间时，如果将化身进行存储后通过匹配图像生成化身，会占据存储的空间。同时，当该用户第一次使用化身时，必然要经过比较长的等待时间进行化身的生成。此外，一份人脸数据对应的化身可能只能提供给一位用户进行使用，化身的利用率较低。
技术实现思路
1、本专利技术的目的就是为了提高虚拟场景中交互时的化身生成效率和利用率而提供的一种基于数字人的虚拟场景数据交互方法。
2、本专利技术的目的可以通过以下技术方案来实现：
3、一种基于数字人的虚拟场景数据交互方法，方法包括：
4、s1、获取用户人脸图像；
5、s2、建立化身匹配数据库；
6、s3、根据用户人脸图像，分析用户人脸图像的特征，匹配化身匹配数据库中与人脸图像的特征匹配的人脸特征向量，将人脸特征向量对应的虚拟化身设置为用户人脸图像对应的化身；
7、s4、将s3设置的化身导入虚拟场景；
8、s5、化身与虚拟场景进行交互。
9、进一步地，建立化身匹配数据库的具体步骤为：
10、获取匹配用图像，
11、获取匹配用图像，将匹配用图像输入facenet模型，输出与匹配用图像一一对应的人脸特征向量，人脸特征向量组成人脸特征向量数据库；
12、将虚拟化身和人脸特征向量进行匹配，虚拟化身与人脸特征向量一一对应。
13、进一步地，s3的具体步骤为：
14、对用户人脸图像进行预处理，预处理后的图像输入facenet模型，输出用户人脸图像的特征，将用户人脸图像的特征与特征向量数据库中的人脸特征向量进行匹配，匹配到的人脸特征向量对应的虚拟化身作为用户人脸图像对应的化身。
15、进一步地，将用户人脸图像的特征与特征向量数据库中的人脸特征向量进行匹配的具体步骤为：
16、逐一计算特征向量数据库中的所有人脸特征向量与用户人脸图像的特征的欧式距离，筛选出欧氏距离最低的人脸特征向量作为匹配到的人脸特征向量。
17、进一步地，预处理的具体步骤为：
18、对用户人脸图像对齐人脸位置，并去除图像中的噪声。
19、进一步地，facenet模型由多个卷积神经网络和全连接层组成。
20、进一步地，化身与虚拟场景进行交互的具体步骤为：
21、化身接收移动指令，当根据移动指令到达虚拟场景中显示的特定交互点时，触发交互操作。
22、进一步地，化身为3d模型。
23、进一步地，触发交互操作的具体步骤为：
24、虚拟场景的特定交互点生成交互指令，将交互指令发送给化身，获取化身发送的交互指令对应的数据，并保存该数据。
25、进一步地，方法还包括：将人脸特征向量对应的虚拟化身设置为用户人脸图像对应的化身后，如果接收到化身编辑指令，根据指令修改化身，得到新的化身，将新的化身作为s3设置的化身，如果没有接收到化身编辑指令，则直接将人脸特征向量对应的虚拟化身作为s3设置的化身。
26、与现有技术相比，本专利技术具有以下有益效果：
27、本专利技术在建立化身时采用了基于人脸搜索的化身重建方法，在构建虚拟化身时，并不是直接使用人脸图像进行化身重建，而是在人脸库中搜索最相近的人脸特征，并以该人脸特征的化身作为用户的化身，这样有两个优势：
28、(1)首先相比于直接通过图像建立化身的方法，省去了从图像到化身的构建过程，本专利技术直接匹配特征获取化身，因此用户的等待时间大大缩短，而相比于生成与人脸图像匹配的化身后存储再匹配的方法，本专利技术即便面对第一次使用化身的用户，也能直接匹配到最接近的人脸特征，快速调用化身，而不是花费时间根据实际的人脸信息构建化身，同时本专利技术存储的化身可以对应不同的实际人脸，存储的化身数量更少，利用率高。
29、(2)其次，本专利技术避免了使用实际的用户本人的图像进行化身重建，对用户的人脸隐私有一定的保护作用。
本文档来自技高网...【技术保护点】
1.一种基于数字人的虚拟场景数据交互方法，其特征在于，方法包括：
2.根据权利要求1所述的一种基于数字人的虚拟场景数据交互方法，其特征在于，建立化身匹配数据库的具体步骤为：
3.根据权利要求2所述的一种基于数字人的虚拟场景数据交互方法，其特征在于，S3的具体步骤为：
4.根据权利要求3所述的一种基于数字人的虚拟场景数据交互方法，其特征在于，将用户人脸图像的特征与特征向量数据库中的人脸特征向量进行匹配的具体步骤为：
5.根据权利要求4所述的一种基于数字人的虚拟场景数据交互方法，其特征在于，预处理的具体步骤为：
6.根据权利要求5所述的一种基于数字人的虚拟场景数据交互方法，其特征在于，FaceNet模型由多个卷积神经网络和全连接层组成。
7.根据权利要求1所述的一种基于数字人的虚拟场景数据交互方法，其特征在于，化身与虚拟场景进行交互的具体步骤为：
8.根据权利要求7所述的一种基于数字人的虚拟场景数据交互方法，其特征在于，化身为3D模型。
9.根据权利要求8所述的一种基于数字人的虚拟场景数据
10.根据权利要求1所述的一种基于数字人的虚拟场景数据交互方法，其特征在于，方法还包括：将人脸特征向量对应的虚拟化身设置为用户人脸图像对应的化身后，如果接收到化身编辑指令，根据指令修改化身，得到新的化身，将新的化身作为S3设置的化身，如果没有接收到化身编辑指令，则直接将人脸特征向量对应的虚拟化身作为S3设置的化身。
...【技术特征摘要】
1.一种基于数字人的虚拟场景数据交互方法，其特征在于，方法包括：
2.根据权利要求1所述的一种基于数字人的虚拟场景数据交互方法，其特征在于，建立化身匹配数据库的具体步骤为：
3.根据权利要求2所述的一种基于数字人的虚拟场景数据交互方法，其特征在于，s3的具体步骤为：
4.根据权利要求3所述的一种基于数字人的虚拟场景数据交互方法，其特征在于，将用户人脸图像的特征与特征向量数据库中的人脸特征向量进行匹配的具体步骤为：
5.根据权利要求4所述的一种基于数字人的虚拟场景数据交互方法，其特征在于，预处理的具体步骤为：
6.根据权利要求5所述的一种基于数字人的虚拟场景数据交互方法，其特征在于，facenet模型由多个卷积神经网络和...
【专利技术属性】
技术研发人员：舒子曦，王薏婷，卞飞虎，张志忠，陈玉珑，马利庄，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。