【技术实现步骤摘要】
本专利技术涉及数字人交互，具体涉及一种基于数字人的交互方法及系统。
技术介绍
1、随着计算机图形学、人工智能、语音识别与合成技术的飞速发展，虚拟数字人技术作为新一代人机交互的重要代表，正逐渐渗透到娱乐、教育、医疗、商业等多个领域，展现出巨大的应用潜力和市场价值。数字人，作为一种高度逼真的虚拟形象，不仅能够模拟真实人类的外观、动作和表情，还能通过先进的交互技术实现与用户之间的自然、流畅的沟通，极大地丰富了用户的数字体验。
2、在传统的人机交互方式中，用户主要通过键盘、鼠标等物理设备向计算机输入指令，这种交互方式虽然高效，但在沉浸感和自然性上存在明显不足。随着技术的进步，人们开始探索更为直观、人性化的交互模式，如触摸屏技术、手势识别、面部表情识别等，这些技术的应用使得人机交互更加接近人与人之间的自然交流方式。
3、在数字人交互领域，早期的尝试主要集中在简单的语音交互和预设动画展示上，用户通过语音命令控制数字人的基本行为，而数字人的反馈则多限于预设的动画和语音回应，缺乏根据用户实时状态进行动态调整的能力。随着深度学习、机器学习等算法的不断优化，以及高精度传感器和摄像头的普及，实时捕捉并分析用户的语音、动作成为可能，这为构建更加智能、互动性强的数字人交互系统提供了坚实的基础。
4、特别是在娱乐产业中，如虚拟偶像、游戏角色、在线教育中的虚拟教师等应用场景，用户对数字人的交互体验提出了更高要求。用户不仅希望数字人能够准确理解并回应其语音指令，还期望数字人能够根据用户的动作、表情等非言语信息作出相应的反应，
5、鉴于此，本领域需要一种基于数字人的交互方法及系统来解决上述问题。
技术实现思路
1、为了解决上述技术问题，即解决现有技术中用户与数字人难以进行高自然度和高沉浸感的交互导致用户体验不佳的问题。
2、在第一方面，本专利技术提供了一种基于数字人的交互方法，所述交互方法包括：
3、s1：获取用户输入的语音信息并捕捉用户的动作信息，其中，所述动作信息包括头部动作信息、面部动作信息和手部动作信息中的至少一种；
4、s2：基于用户输入的所述语音信息确定数字人的语音交互方式；
5、s3：基于用户输入的所述语音信息和捕捉到的用户的所述动作信息确定数字人的动作交互方式和文字界面显示方式。
6、在某些优选的实施方式中，步骤s2具体包括：
7、s21：获取用户输入的语言类型信息、语速信息、语调信息和语音内容信息；
8、s22：将用户输入的所述语言类型信息、所述语速信息、所述语调信息和所述语音内容信息输入到语音交互匹配模型中；
9、s23：基于所述语音交互匹配模型确定数字人的语言类型、语速、语调、情绪、背景和环境音效。
10、在某些优选的实施方式中，所述语音交互匹配模型为：
11、
12、其中，为输出的数字人语音交互特征向量，f为语音交互匹配模型函数，为对语言类型信息l进行预处理的函数，ψ(s)为对语速信息s进行预处理的函数，χ(t)为对语调信息t进行预处理的函数，ωp(cp)为对语音内容信息的各个维度cp进行预处理的函数，xn为语言类型信息l在幂运算中的权重，yn为语速信息s在幂运算中的权重，zn为语调信息t在幂运算中的权重，ωnp为语音内容信息的各个维度cp在幂运算中的权重，ωnp为矩阵形式，n和p分别为矩阵的层次和维度，∈n为不同层次的乘积运算结果在后续线性组合中的权重，δm为在第m层次的线性组合中调节权重，γk为在第k层次的线性组合中调节权重，βj为在第j层次的线性组合中调节权重，αi为在第i层次的线性组合中调节权重，σ、τ、ω和ρ分别为非线性激活函数，i为通过权重参数αi和激活函数σ对内部的结果进行线性组合和非线性变换的层数，j为通过权重参数βj和激活函数τ对内部的结果进行线性组合和非线性变换的层数，k为通过权重参数γk和激活函数ω对内部的结果进行线性组合和非线性变换的层数，m为通过权重参数δm和激活函数ρ对内部的结果进行线性组合和非线性变换的层数，n为通过权重参数∈n对各个输入信息的乘积结果进行线性组合的层数，∈为偏置项。
13、在某些优选的实施方式中，步骤s3具体包括：
14、s31：判断数字人的交互方式是否包含文字界面；
15、s321：若数字人的交互方式包含文字界面，则进一步判断所述文字界面的显示空间是否充足；
16、s331：若所述文字界面的显示空间充足，则不对数字人进行调整；
17、s332：若所述文字界面的显示空间不足，则将数字人进行缩放和/或调整数字人的显示位置以使所述文字界面显示的空间充足且使数字人具有足够的动作变化空间。
18、在某些优选的实施方式中，步骤s332具体包括：
19、s3321：基于用户输入的所述语音信息和捕捉到的用户的所述动作信息确定数字人的动作变化空间；
20、s3322：若所述文字界面的显示空间不足，基于文字界面所需的显示空间和数字人所需的动作变化空间确定是单独将数字人进行缩放、单独调整数字人的显示位置还是同时将数字人进行缩放和调整显示位置。
21、在某些优选的实施方式中，采用下述公式确定数字人的动作变化空间：
22、
23、其中，saction为计算得到的数字人所需的动作变化空间，nd为语音特征的数量，md为头部动作特征的数量，kd为面部动作特征的数量，ld为手部动作特征的数量，vi为第i个语音特征，ahj为第j个头部动作特征，ahk为第k个头部动作特征，afi为第i个面部动作特征，afk为第k个面部动作特征，agj为第j个手部动作特征，agk为第k个手部动作特征，pvhj为第j个语音信息与头部动作信息的关联参数向量，pvfi为第i个语音信息与面部动作信息的关联参数向量，pvgj为第j个语音信息与手部动作信息的关联参数向量，qahj为第j个头部动作信息自相关参数向量，qafi为第i个面部动作信息自相关参数向量，qagj为第j个手部动作信息自相关参数向量，rhfi为第i个头部动作信息与面部动作信息的交互参数向量，rhgk为第k个头部动作信息与手部动作信息的交互参数向量，rfgk第k个面部动作信息与手部动作信息的交互参数向量，c为常数调整因子。
24、在某些优选的实施方式中，所述语音特征包括语调特征、语速特征和音量特征；所述头部动作特征包括头部水平旋转角度特征、头部垂直旋转角度特征和头部移动速度特征；所述面部动作特征包括眼部动作特征、面部表情强度特征和面部表情变化频率特征；所述手部动作特征包括手指手势特征、手部动作幅度特征和手部动作频率特征。
25、在某些优选的实施方式中，步骤s3322具体包括：
26、s33221：若所述文字界面的显示空间不足，则根据下述公式计算缩放后的数字人占用空间：
27、
本文档来自技高网...
【技术保护点】
1.一种基于数字人的交互方法，其特征在于，所述交互方法包括：
2.根据权利要求1所述的基于数字人的交互方法，其特征在于，步骤S2具体包括：
3.根据权利要求2所述的基于数字人的交互方法，其特征在于，所述语音交互匹配模型为：
4.根据权利要求1所述的基于数字人的交互方法，其特征在于，步骤S3具体包括：
5.根据权利要求4所述的基于数字人的交互方法，其特征在于，步骤S332具体包括：
6.根据权利要求5所述的基于数字人的交互方法，其特征在于，在步骤S3321中，采用下述公式确定数字人的动作变化空间：
7.根据权利要求6所述的基于数字人的交互方法，其特征在于，所述语音特征包括语调特征、语速特征和音量特征；所述头部动作特征包括头部水平旋转角度特征、头部垂直旋转角度特征和头部移动速度特征；所述面部动作特征包括眼部动作特征、面部表情强度特征和面部表情变化频率特征；所述手部动作特征包括手指手势特征、手部动作幅度特征和手部动作频率特征。
8.根据权利要求6所述的基于数字人的交互方法，其特征在于，步骤S3322具体
9.根据权利要求8所述的基于数字人的交互方法，其特征在于，所述其他影响因素包括用户偏好因素和界面布局约束因素中的至少一种；步骤S33224具体包括：
10.一种基于数字人的交互系统，其特征在于，所述交互系统包括：
...【技术特征摘要】
1.一种基于数字人的交互方法，其特征在于，所述交互方法包括：
2.根据权利要求1所述的基于数字人的交互方法，其特征在于，步骤s2具体包括：
3.根据权利要求2所述的基于数字人的交互方法，其特征在于，所述语音交互匹配模型为：
4.根据权利要求1所述的基于数字人的交互方法，其特征在于，步骤s3具体包括：
5.根据权利要求4所述的基于数字人的交互方法，其特征在于，步骤s332具体包括：
6.根据权利要求5所述的基于数字人的交互方法，其特征在于，在步骤s3321中，采用下述公式确定数字人的动作变化空间：
7.根据权利要求6所述的基于数字人的交互方法，...
【专利技术属性】
技术研发人员：黄艳鸿，
申请(专利权)人：德宝艺苑网络科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。