【技术实现步骤摘要】
本专利技术涉及人工智能，特别是一种基于人工智能的虚拟数字人交互管理方法及系统。
技术介绍
1、随着人工智能技术的快速发展，虚拟数字人作为一种新兴的智能交互主体，已在智能客服、教育培训、虚拟助手等领域得到了广泛应用。通过多模态数据（如语音、表情、手势）的采集与理解，虚拟数字人能够实现与用户的自然交互，满足多样化场景需求。目前的虚拟数字人交互系统通常采用语音识别、文本分析或简单的情绪检测模型来获取用户意图，但这些单一模态的交互方式在处理复杂的用户情绪和动态需求时显得力不从心。此外，现有技术多集中于静态任务分配与执行，缺乏针对用户情绪波动的实时调整能力，难以实现交互体验的个性化和情感化。
2、然而，现有的虚拟数字人交互技术存在以下不足之处：一方面，多模态数据的融合处理能力较弱，无法准确解析用户的复杂意图和情绪状态，导致交互的自然性和准确性不足；另一方面，在任务分解与执行过程中，缺乏对用户情绪的动态感知与响应机制，现有系统通常以固定的输出形式呈现任务结果，未能根据用户情绪调整交互方式。这不仅降低了用户体验，还在某些敏感场景（如医疗咨询或心理辅导）中可能引发负面影响。
技术实现思路
1、鉴于上述现有存在的问题，提出了本专利技术。
2、因此，本专利技术提供了一种基于人工智能的虚拟数字人交互管理方法解决现有虚拟数字人交互技术中多模态数据融合处理不足和缺乏情绪动态感知响应的问题。
3、为解决上述技术问题，本专利技术提供如下技术方案：
4、第一方面，本
5、通过自然语言处理技术，对标准化处理后的多模态数据进行解析，生成用户意图和情绪状态的任务需求描述；
6、将任务需求描述进行结构化分解，并将分解后的子任务分配给具备相应能力的数字人；
7、各数字人根据接收到的子任务，检索历史上下文数据并执行任务，生成子任务执行结果；
8、根据用户情绪状态调整任务执行结果的优先级和输出形式，生成整合后的协作输出结果；
9、基于协作输出结果，主数字人分析用户实时情绪波动，动态调整主数字人的输出方式。
10、作为本专利技术所述基于人工智能的虚拟数字人交互管理方法的一种优选方案，其中：所述多模态数据包括用户的语音信号、面部表情数据和手势轨迹数据；
11、所述标准化处理包括如下步骤，
12、对用户的语音信号进行降噪处理和特征提取，生成语音特征向量；
13、对面部表情数据进行归一化处理和特征增强，生成面部表情特征向量；
14、对手势轨迹数据进行轨迹平滑处理和时间序列采样，生成手势轨迹特征向量。
15、作为本专利技术所述基于人工智能的虚拟数字人交互管理方法的一种优选方案，其中：通过自然语言处理技术，对标准化处理后的多模态数据进行解析，生成用户意图和情绪状态的任务需求描述包括如下步骤，
16、使用语音识别模型对语音特征向量进行语音转文本处理，生成用户语音的文本表示；
17、对生成的文本进行分词处理，移除停用词并进行词形还原，得到词序列；
18、使用预训练的自然语言理解模型对词序列进行语义向量化，生成文本的语义嵌入向量；
19、使用分类模型对文本的语义嵌入向量进行意图分类，识别用户的主要意图；
20、通过卷积神经网络对面部表情特征向量进行情绪分类，得到用户的标签情绪类别；
21、将手势轨迹特征向量作为时间序列输入到长短时记忆网络中，提取手势的动态情绪特征，得到用户的手势情绪类别；
22、对用户的标签情绪和手势情绪进行融合，得到最终的情绪状态；
23、将语义嵌入向量和最终的情绪状态进行特征融合，生成综合特征向量；
24、使用任务生成模型对综合特征向量进行推理，生成结构化任务需求描述。
25、作为本专利技术所述基于人工智能的虚拟数字人交互管理方法的一种优选方案，其中：将任务需求描述进行结构化分解，并将分解后的子任务分配给具备相应能力的数字人包括如下步骤，
26、通过依存关系解析对任务需求描述的文本部分进行分解，提取任务的主要动词；
27、根据任务的主要动词对任务进行结构化建模，生成任务结构图；
28、将任务需求描述中的情绪状态和上下文信息嵌入到任务结构图中，得到最终的任务结构图；
29、为协同网络中的每个数字人建立能力向量；
30、对最终任务结构图中的每个任务节点，计算其与每个数字人能力向量的匹配度，表达式为：
31、；
32、其中，表示任务节点与数字人能力向量的适配程度，表示第个任务节点，表示任务节点索引，表示数字人能力向量，表示任务节点在第个领域上的重要性，表示任务领域的索引，表示任务领域的数量，表示数字人在第个领域的能力值，表示调整因子，表示第个领域上的需求复杂度；
33、根据匹配度，将任务节点分配给匹配度最高的数字人，生成任务分配表；
34、将任务分配表中的子任务发送给具备相应能力的数字人，并构建协作机制协调数字人之间的数据传递顺序。
35、作为本专利技术所述基于人工智能的虚拟数字人交互管理方法的一种优选方案，其中：各数字人根据接收到的子任务，检索历史上下文数据并执行任务，生成子任务执行结果包括以下步骤，
36、数字人从任务需求描述中提取与子任务相关的上下文数据，并通过知识图谱进行检索；
37、根据检索出的上下文数据，构造api查询参数获取实时数据；
38、分析知识图谱中与子任务相关的节点，通过图神经网络进行节点推理，表达式为：
39、；
40、其中，表示节点的在第层的节点特征表示，表示对线性变换后的结果加入非线性特性的激活函数，表示第层的权重矩阵，表示邻居节点，表示节点的邻居节点集合，表示与节点相连的邻居节点在第层的特征表示，表示图神经网络在第层的偏置向量，表示图中的一个节点，表示图神经网络中的当前层数；
41、根据任务需求，选择与当前推理任务目标相关的节点，并在知识图谱中通过查询条件筛选出用户需求特征，并使用节点特征表示进行打分，表达式为：
42、；
43、其中，表示节点与任务用户需求特征的相关性得分，表示用户需求特征，表示上下文权重，表示上下文特征；
44、基于相关性得分对节点进行排序，并根据排序结果生成推荐内容；
45、数字人根据推荐内容调整策略，筛选出符合条件的方案；
46、根据筛选出的符合条件的方案，生成个性化的子任务执行结果。
47、作为本专利技术所述基于人工智能的虚拟数字人交互管理方法的一种优选方案，其中：根据用户情绪状态调整任务执行结果的优先级和输出形式，生成整合后的协作输出结果包括以下步骤，
48、将各数字人的本文档来自技高网...
【技术保护点】
1.一种基于人工智能的虚拟数字人交互管理方法，其特征在于：包括，
2.如权利要求1所述的基于人工智能的虚拟数字人交互管理方法，其特征在于：所述多模态数据包括用户的语音信号、面部表情数据和手势轨迹数据；
3.如权利要求2所述的基于人工智能的虚拟数字人交互管理方法，其特征在于：通过自然语言处理技术，对标准化处理后的多模态数据进行解析，生成用户意图和情绪状态的任务需求描述包括如下步骤，
4.如权利要求3所述的基于人工智能的虚拟数字人交互管理方法，其特征在于：各数字人根据接收到的子任务，检索历史上下文数据并执行任务，生成子任务执行结果包括以下步骤，
5.如权利要求4所述的基于人工智能的虚拟数字人交互管理方法，其特征在于：根据用户情绪状态调整任务执行结果的优先级和输出形式，生成整合后的协作输出结果包括以下步骤，
6.如权利要求5所述的基于人工智能的虚拟数字人交互管理方法，其特征在于：基于协作输出结果，主数字人分析用户实时情绪波动，动态调整主数字人的输出方式包括以下步骤，
7.一种基于人工智能的虚拟数字人交互管理系统，基
...【技术特征摘要】
1.一种基于人工智能的虚拟数字人交互管理方法，其特征在于：包括，
2.如权利要求1所述的基于人工智能的虚拟数字人交互管理方法，其特征在于：所述多模态数据包括用户的语音信号、面部表情数据和手势轨迹数据；
3.如权利要求2所述的基于人工智能的虚拟数字人交互管理方法，其特征在于：通过自然语言处理技术，对标准化处理后的多模态数据进行解析，生成用户意图和情绪状态的任务需求描述包括如下步骤，
4.如权利要求3所述的基于人工智能的虚拟数字人交互管理方法，其特征在于：各数字人根据接收到的子任务，检索历史上下文数据...
【专利技术属性】
技术研发人员：孙宇，邓学晖，刘刚，廉贵清，
申请(专利权)人：中仪英斯泰克科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。