本发明专利技术实施例公开了智能数字人营销交互方法、装置、计算机设备及存储介质。所述方法包括：获取各类营销产品素材；根据所述营销产品素材生成智能营销对话逻辑知识库；采集用户视觉信息；将所述用户视觉信息转化为语音信息以及肢体信息；对所述语音信息以及所述肢体信息进行语义文本解析，并结合所述智能营销对话逻辑知识库生成响应文本；根据所述响应文本进行语音合成和数字人肢体表情合成，以得到交互结果；反馈所述交互结果至终端，以在终端显示所述交互结果。通过实施本发明专利技术实施例的方法可实现提供更为丰富视觉、听觉、文本图表信息的营销交互形式，提高最终营销体验和转化率。提高最终营销体验和转化率。提高最终营销体验和转化率。
【技术实现步骤摘要】
智能数字人营销交互方法、装置、计算机设备及存储介质
[0001]本专利技术涉及营销交互方法，更具体地说是指智能数字人营销交互方法、装置、计算机设备及存储介质。
技术介绍
[0002]随着AI(人工智能，Artificial Intelligence)技术的不断发展，特别是语音识别与合成、语义理解、视觉识别与合成技术的发展，智能数字人在越来越多的场景中崭露头角，各种虚拟主播层出不穷。
[0003]以面向银行智能营销为例，原先的营销单纯以电话、WEB网页式等形式的营销方式，由于与用户交互形式较为单一，在新技术与形式不断迭代产出的当下，由于不能调动用户全面位的情感交流需求，最终营销转化也逐渐走低。
[0004]因此，有必要设计一种新的方法，实现提供更为丰富视觉、听觉、文本图表信息的营销交互形式，提高最终营销体验和转化率。
技术实现思路
[0005]本专利技术的目的在于克服现有技术的缺陷，提供智能数字人营销交互方法、装置、计算机设备及存储介质。
[0006]为实现上述目的，本专利技术采用以下技术方案：智能数字人营销交互方法，包括：
[0007]获取各类营销产品素材；
[0008]根据所述营销产品素材生成智能营销对话逻辑知识库；
[0009]采集用户视觉信息；
[0010]将所述用户视觉信息转化为语音信息以及肢体信息；
[0011]对所述语音信息以及所述肢体信息进行语义文本解析，并结合所述智能营销对话逻辑知识库生成响应文本；
[0012]根据所述响应文本进行语音合成和数字人肢体表情合成，以得到交互结果；
[0013]反馈所述交互结果至终端，以在终端显示所述交互结果。
[0014]其进一步技术方案为：所述根据所述营销产品素材生成智能营销对话逻辑知识库，包括：
[0015]对所述营销产品素材进行文档内容的特征抽取，以得到营销产品特征；
[0016]将所述营销产品特征转化为问句与答案的形式，以得到转化结果；
[0017]整理通用常见问答对；
[0018]采用树形状态图结构根据转化结果以及所述通用常见问答对整理对话逻辑流程，以得到智能营销对话逻辑知识库。
[0019]其进一步技术方案为：所述将所述用户视觉信息转化为语音信息以及肢体信息，包括：
[0020]对所述用户视觉信息进行语音识别，以得到语音信息；
[0021]对所述用户视觉信息进行用户肢体动作识别，以得到肢体信息。
[0022]其进一步技术方案为：所述对所述用户视觉信息进行语音识别，以得到语音信息，包括：
[0023]对所述用户视觉信息内的声音进行分帧，以得到语音帧；
[0024]对所述语音帧进行预处理，以得到预处理结果；
[0025]对所述预处理结果进行声音特征提取，以得到多维声音特征向量；
[0026]采用声学模型将所述多维声音特征向量转化为音素信息序列；
[0027]对所述音素信息序列进行因素信息字典映射，以得到映射结果；
[0028]构建语言模型；
[0029]将多维声音特征向量转化为文字，以得到语音信息。
[0030]其进一步技术方案为：所述对所述用户视觉信息进行用户肢体动作识别，以得到肢体信息，包括：
[0031]对所述用户视觉信息内的视觉内容进行分帧，以得到若干帧图片信息；
[0032]对每帧图片信息进行灰度图二值化处理，以得到处理结果；
[0033]对所述处理结果进行标准化处理，以得到标准图像；
[0034]计算所述标准图像的每个像素的梯度，以得到像素梯度；
[0035]对所述标准图像进行分块以及特征抽取，以得到图片块以及对应的特征；
[0036]根据所述图片块以及对应的特征计算每帧图片时序间的关联语义信息，以得到肢体语义向量；
[0037]根据所述肢体语义向量进行分类处理，以得到肢体信息。
[0038]其进一步技术方案为：所述对所述语音信息以及所述肢体信息进行语义文本解析，并结合所述智能营销对话逻辑知识库生成响应文本，包括：
[0039]对所述语音信息以及所述肢体信息进行语义文本解析，以得到语义信息；
[0040]根据所述语义信息结合所述智能营销对话逻辑知识库按照对话逻辑状态树进行对话引导或就营销产品信息进行问答，以形成响应文本。
[0041]其进一步技术方案为：所述根据所述响应文本进行语音合成和数字人肢体表情合成，以得到交互结果，包括：
[0042]根据所述响应文本采用语音合成技术生成语音内容；
[0043]根据所述响应文本采用视觉合成模型进行肢体表情合成，以得到数字人肢体表情内容；
[0044]整合所述语音内容以及所述数字人肢体表情内容，以得到交互结果。
[0045]本专利技术还提供了智能数字人营销交互装置，包括：
[0046]素材获取单元，用于获取各类营销产品素材；
[0047]知识库生成单元，用于根据所述营销产品素材生成智能营销对话逻辑知识库；
[0048]信息采集单元，用于采集用户视觉信息；
[0049]转化单元，用于将所述用户视觉信息转化为语音信息以及肢体信息；
[0050]响应内容生成单元，用于对所述语音信息以及所述肢体信息进行语义文本解析，并结合所述智能营销对话逻辑知识库生成响应文本；
[0051]合成单元，用于根据所述响应文本进行语音合成和数字人肢体表情合成，以得到
交互结果；
[0052]反馈单元，用于反馈所述交互结果至终端，以在终端显示所述交互结果。
[0053]本专利技术还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
[0054]本专利技术还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
[0055]本专利技术与现有技术相比的有益效果是：本专利技术通过根据各类营销产品素材整理形成智能营销对话逻辑知识库，在交互过程中，根据采集的用户视觉信息转化为语音信息以及肢体信息，且进行语义文本解析，并生成响应文本，再将响应文本形成语音合成和数字人肢体表情合成，反馈给终端，实现能从多模态跟用户交互，提供更为丰富视觉、听觉、文本图表信息，提高最终营销体验和转化率。
[0056]下面结合附图和具体实施例对本专利技术作进一步描述。
附图说明
[0057]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0058]图1为本专利技术实施例提供的智能数字人营销交互方法的应用场景示意图；
[0059]图2为本专利技术实施例提供的智能数字人营销交互方法的流程示本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.智能数字人营销交互方法，其特征在于，包括：获取各类营销产品素材；根据所述营销产品素材生成智能营销对话逻辑知识库；采集用户视觉信息；将所述用户视觉信息转化为语音信息以及肢体信息；对所述语音信息以及所述肢体信息进行语义文本解析，并结合所述智能营销对话逻辑知识库生成响应文本；根据所述响应文本进行语音合成和数字人肢体表情合成，以得到交互结果；反馈所述交互结果至终端，以在终端显示所述交互结果。2.根据权利要求1所述的智能数字人营销交互方法，其特征在于，所述根据所述营销产品素材生成智能营销对话逻辑知识库，包括：对所述营销产品素材进行文档内容的特征抽取，以得到营销产品特征；将所述营销产品特征转化为问句与答案的形式，以得到转化结果；整理通用常见问答对；采用树形状态图结构根据转化结果以及所述通用常见问答对整理对话逻辑流程，以得到智能营销对话逻辑知识库。3.根据权利要求1所述的智能数字人营销交互方法，其特征在于，所述将所述用户视觉信息转化为语音信息以及肢体信息，包括：对所述用户视觉信息进行语音识别，以得到语音信息；对所述用户视觉信息进行用户肢体动作识别，以得到肢体信息。4.根据权利要求3所述的智能数字人营销交互方法，其特征在于，所述对所述用户视觉信息进行语音识别，以得到语音信息，包括：对所述用户视觉信息内的声音进行分帧，以得到语音帧；对所述语音帧进行预处理，以得到预处理结果；对所述预处理结果进行声音特征提取，以得到多维声音特征向量；采用声学模型将所述多维声音特征向量转化为音素信息序列；对所述音素信息序列进行因素信息字典映射，以得到映射结果；构建语言模型；将多维声音特征向量转化为文字，以得到语音信息。5.根据权利要求3所述的智能数字人营销交互方法，其特征在于，所述对所述用户视觉信息进行用户肢体动作识别，以得到肢体信息，包括：对所述用户视觉信息内的视觉内容进行分帧，以得到若干帧图片信息；对每帧图片信息进行灰度图二值化处理，以得到处理结果；对所述处理结果进行标准化处理，以得到标准图像；计算所述标准图像的每个像素...
【专利技术属性】
技术研发人员：高鹏，康维鹏，袁兰，吴飞，周伟华，高峰，潘晶，
申请(专利权)人：杭州摸象大数据科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。