一种基于声音的虚拟数字人视线追随系统、方法及车辆技术方案

本发明专利技术涉及一种基于声音的虚拟数字人视线追随系统、方法及车辆，涉及虚拟数字人视线追随交互方法技术领域，包括红外热像仪，其用于采集所有用户的热图像信息；传声器阵列，其用于采集所有用户的声音信息；处理模块，其用于获取所述热图像信息并进行处理得到每个用户与虚拟数字人之间的水平距离，还用于获取所述声音信息并进行处理得到声源的竖向二维平面位置点，结合所述水平距离和所述竖向二维平面位置得到声源的三维空间位置点，根据所述三维空间位置点生成视线追随指令，以根据所述视线追随指令控制所述虚拟数字人的视线。本申请能够结合声音信息，精确定位声源位置，并控制虚拟数字人自动注视发声的用户，提高虚拟数字人的仿真度。人的仿真度。人的仿真度。

【技术实现步骤摘要】
一种基于声音的虚拟数字人视线追随系统、方法及车辆


[0001]本专利技术涉及虚拟数字人视线追随交互方法
，特别涉及一种基于声音的虚拟数字人视线追随系统、方法及车辆。

技术介绍

[0002]近年，仿真虚拟数字人技术已经非常成熟，通过人眼几乎辨别不出现实中的真人视频与通过仿真虚拟数字人技术生成的虚拟数字人视频之间的差异。但是在与用户交互时，虚拟数字人的视线无法实时的追踪用户的位置，只能根据预设好的动作和表情来展示，影响了用户的体验效果。
[0003]在其中一类解决方案中，提到了可以根据身体区域重要性不同，以一定的概率密度函数进行随机抽样获得视线焦点位置，从而使得虚拟数字人眼睛更加有神。
[0004]比如，现有技术提出了一种虚拟数字人视线追随交互方法，该方法通过深度神经网络实时生成具有透明背景的、语音驱动其嘴型和姿态的虚拟数字人，然后应用在后，视频在前，点击透传，边缘融合，最后采用响应状态和跟随状态两种方式实现虚拟数字人与应用及用户的交互，响应状态下，确定用户意图及目标控件后，虚拟数字人响应控件在屏幕中的方位指令从而转动身体部位或生成相关表情，其面部、眼睛、手或身体的作用方向是应用界面中的目标控件；处于跟随状态时，虚拟数字人根据摄像头的人像检测信息，将自己眼睛及头部状态跟踪交互用户进行相应运动。该方案能够使虚拟数字人与应用软件界面更加自然融合，根据应用内容及用户状态使虚拟数字人与用户之间交互自然。
[0005]上述基于虚拟数字人视线追随交互方法是基于单人的，而现实中与虚拟数字人交互的情况可能不止一个人，可能是多人交互的。若是多人交互，该方法则无法判断虚拟数字人视线应该追随哪个方向。

技术实现思路

[0006]为了解决现有技术中存在的问题，本申请实施例提供一种基于声音的虚拟数字人视线追随系统、方法及车辆，能够结合声音信息，精确定位声源位置，并控制虚拟数字人自动注视发声的用户，提高虚拟数字人的仿真度。
[0007]第一方面，提供了一种基于声音的虚拟数字人视线追随系统，所述系统包括：
[0008]红外热像仪，其用于采集所有用户的热图像信息；
[0009]传声器阵列，其用于采集所有用户的声音信息；
[0010]处理模块，其用于获取所述热图像信息并进行处理得到每个用户与虚拟数字人之间的水平距离，还用于获取所述声音信息并进行处理得到声源的竖向二维平面位置点，结合所述水平距离和所述竖向二维平面位置得到声源的三维空间位置点，根据所述三维空间位置点生成视线追随指令，以根据所述视线追随指令控制所述虚拟数字人的视线。
[0011]一些实施例中，所述系统集成于虚拟交互设备上，所述虚拟交互设备用于生成所述虚拟数字人，并通过虚拟交互设备正面的显示屏幕进行显示；
[0012]所述红外热像仪的数量至少为一个，所有所述红外热像仪均匀分布在所述虚拟交互设备正面；
[0013]所述传声器阵列包含至少四个传声器，所述四个传声器两两一组对称分布在所述显示屏幕的上方和下方，所述四个传声器均分布于虚拟交互设备正面的中轴线上。
[0014]一些实施例中，所述系统还包括：
[0015]摄像头组件，其用于采集所有用户的面部图像信息；
[0016]所述处理模块还用于获取所述面部图像信息并进行处理得到每个用户的面部图像区域；所述处理模块还用于根据所述面部图像区域对所述三维空间位置点进行校验，在所述三维空间位置点落在所述面部图像区域内时，判断所述三维空间位置点校验通过，在所述三维空间位置点落在所述面部图像区域外时，判断所述三维空间位置点校验不通过，并删除校验不通过的所述三维空间位置点。
[0017]一些实施例中，当所述处理模块处理得到一个三维空间位置点时；
[0018]所述视线追随指令为控制虚拟数字人的视线注视所述三维空间位置点。
[0019]一些实施例中，当所述处理模块处理得到一个三维空间位置点时；
[0020]所述视线追随指令为控制虚拟数字人的视线注视所述三维空间位置点所处面部图像区域的预设位置。
[0021]一些实施例中，当所述处理模块处理得到多个三维空间位置点时；
[0022]所述视线追随指令为控制虚拟数字人的视线注视包含最多三维空间位置点的面部图像区域的预设位置。
[0023]一些实施例中，所述预设位置为面部图像区域中的鼻部区域。
[0024]一些实施例中，所述处理模块还用于根据所述声音信息中包含的声纹信息，判断当前声源所属的用户个数，并依据声源的发声顺序，在同一时间点根据最先发声的声源处理得到所述三维空间位置点。
[0025]一种基于声音的虚拟数字人视线追随方法，基于所述的基于声音的虚拟数字人视线追随系统，所述方法包括：
[0026]采集所有用户的热图像信息和声音信息；
[0027]根据所述热图像信息处理得到每个用户与虚拟数字人之间的水平距离，根据所述声音信息处理得到声源的竖向二维平面位置点；
[0028]结合所述水平距离和所述竖向二维平面位置得到声源的三维空间位置点，并根据所述三维空间位置点生成视线追随指令，以根据所述视线追随指令控制所述虚拟数字人的视线。
[0029]一种车辆，所述车辆采用所述的基于声音的虚拟数字人视线追随系统。
[0030]本申请提供的技术方案带来的有益效果包括：
[0031]以水平方向作为Z轴方向，利用红外热像仪采集的热图像信息可处理得到声源相对于虚拟数字人在Z轴方向的水平距离，利用传声器阵列采集的声音信息可处理得到声源相对于虚拟数字人在竖向二维平面的位置点，结合水平距离和竖向二维平面位置点可精确定位声源的三维空间位置点，根据三维空间位置点生成视线追随指令，能够使虚拟数字人的视线自动追随注视发声的用户，提高虚拟数字人的仿真度，使虚拟数字人能够更加自然地与用户进行互动，从而带来更加有温度的用户体验。
[0032]利用摄像头组件采集所有用户的面部图像信息，并利用该信息对三维空间位置点进行校正，提高声源定位精度。
[0033]生成视线追随指令时，可根据三维空间位置点控制声源用户注视该位置点，也可根据三维空间位置点控制声源用户注视该位置点所述用户面部图像区域中的鼻部区域，可以灵活地根据用户设定和需求控制虚拟数字人视线追随的视线方向。
[0034]根据声音信息中的声纹信息，依据声源的发声顺序，在同一时间点根据最先发声的声源处理得到所述三维空间位置点，避免多个用户与虚拟数字人交互时无法准确控制虚拟数字人的视线方向。
附图说明
[0035]为了更清楚地说明本专利技术的技术方案，下面将对
技术实现思路
描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1是本专利技术实施例中基于声音的虚拟数字人视线追随系统的功能模块示意图。
[0037]图2是本专利技术实施例中确定竖向二维平面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于声音的虚拟数字人视线追随系统，其特征在于，所述系统包括：红外热像仪，其用于采集所有用户的热图像信息；传声器阵列，其用于采集所有用户的声音信息；处理模块，其用于获取所述热图像信息并进行处理得到每个用户与虚拟数字人之间的水平距离，还用于获取所述声音信息并进行处理得到声源的竖向二维平面位置点，结合所述水平距离和所述竖向二维平面位置得到声源的三维空间位置点，根据所述三维空间位置点生成视线追随指令，以根据所述视线追随指令控制所述虚拟数字人的视线。2.如权利要求1所述的基于声音的虚拟数字人视线追随系统，其特征在于，所述系统集成于虚拟交互设备上，所述虚拟交互设备用于生成所述虚拟数字人，并通过虚拟交互设备正面的显示屏幕进行显示；所述红外热像仪的数量至少为一个，所有所述红外热像仪均匀分布在所述虚拟交互设备正面；所述传声器阵列包含至少四个传声器，所述四个传声器两两一组对称分布在所述显示屏幕的上方和下方，所述四个传声器均分布于虚拟交互设备正面的中轴线上。3.如权利要求1所述的基于声音的虚拟数字人视线追随系统，其特征在于，所述系统还包括：摄像头组件，其用于采集所有用户的面部图像信息；所述处理模块还用于获取所述面部图像信息并进行处理得到每个用户的面部图像区域；所述处理模块还用于根据所述面部图像区域对所述三维空间位置点进行校验，在所述三维空间位置点落在所述面部图像区域内时，判断所述三维空间位置点校验通过，在所述三维空间位置点落在所述面部图像区域外时，判断所述三维空间位置点校验不通过，并删除校验不通过的所述三维空间位置点。4.如权利要求1所述的基于声音的虚拟数字人视线追随系统，其特征在于，当所述处理模块处理得到一个三维空间位置...

【专利技术属性】
技术研发人员：邬婷婷，王小焕，杨丹，孙先国，张海培，
申请(专利权)人：东风汽车集团股份有限公司，
类型：发明
国别省市：