【技术实现步骤摘要】
本专利技术涉及ai，尤其涉及采用ai数字人替代真人直播的互动方法及系统。
技术介绍
1、随着互联网的发展，网络直播吸引了大量用户，无论是商家还是个人均能够进行网络直播，尤其是商家能够进行网络直播带货，直播介绍商品并实时与用户互动，但缺乏优秀的主播，同时优秀的主播虽业务能力优秀，但体力有限，需要休息，无法长时间地进行工作，替换不同的主播，一方面直播和互动效果有差异，另一方面也加重了商家成本，因此，为了保持直播间的互动性和用户粘性，在ai快速发展的时代，需要设计一种能够在主播休息时，利用ai智能替代该主播进行直播互动的方法，快速响应用户的互动需求和答疑。
技术实现思路
1、本专利技术的目的在于提供一种采用ai数字人替代真人直播的互动方法及系统
2、为实现上述目的，本专利技术采用以下技术方案：
3、一种采用ai数字人替代真人直播的互动方法，包括以下具体步骤：
4、s1、获取主播历史视频以及对应的语音数据，根据主播形象和语音参数构建ai数字人；
5、s2、获取流程数据和互动数据，分析得到事件节点，根据事件节点从视频截取对应的动态片段和静态片段，分析动态片段和静态片段得到对应节点的面部数据和肢体数据，组合得到互动动态组并训练ai数字人；
6、s3、构建互动模型，从互动数据中分析用户与主播的互动内容，生成用户互动文本和主播文本，提取用户关键词和主播关键词，构建用户关键词与主播关键词的触发关系，并组合成触发事件，互动模型并结合ai数字人
7、s4、构建辅助模型，获取问题文本及其对应的回复文本，提取问题文本的问题关键词，在互动界面提取用户关键词并与问题关键词匹配，匹配成功后提取对应的回复文本，生成回复公式并在互动界面展示，当未匹配成功将用户的互动内容生成待解答文本，存储并发送给人工端；
8、s5、开启直播，根据预定流程数据在直播界面展示ai数字人，实时获取互动界面的互动内容，根据互动内容触发互动模型在直播过程衔接展示对应的互动动态组和辅助模型生成回复公式并在互动界面展示。
9、进一步地，所述步骤s2的具体步骤如下：
10、s21、获取流程数据和互动数据，根据流程数据的直播内容、时间节点和互动数据的互动内容，过滤掉与直播产品无关的互动内容，根据用户与主播的互动内容的类型和时间区间分析得到事件节点；
11、s22、根据事件节点的时间区间从视频截取对应的动态片段和静态片段，其中时间区间的始终点为用户在互动界面发布互动信息，到主播结束对应信息的互动回复；
12、s23、分析步骤s22中的动态片段和静态片段，提取主播在直播互动过程中的面部特征和肢体特征，分析在各事件节点中的特征变化参数，根据主播情绪状态切割出不同的数据组进行分类标记，得到主播的面部数据和肢体数据，组合得到互动动态组；
13、s24、构建ai数字人，根据互动动态组训练ai数字人，生成与主播形象相似的ai数字人，分析并学习主播在不同事件节点的动作特征变化习惯数据，在直播过程中衔接完成整套的动作。
14、进一步地，所述步骤s23还包括：根据主播的面部数据提取口型特征及其变化的口型数据，根据事件节点在语音数据中提取对应时间节点的语音片段，从中分析出语言、音色、语速和音调的数据，得到主播语音包，将主播语音包与口型数据根据字、词和句进行组合，生成用于ai数字人使用的语音口型数据。
15、进一步地，所述步骤s3还包括预置关于产品问答的主播文本，根据主播文本的内容与语音包进行配合，生成用于ai数字人使用的语音口型数据。
16、进一步地，所述步骤s4的回复公式包含：用户名称、用户互动文本、与用户互动文本对应的回复文本和产品特点简介；
17、进一步地，所述步骤s5中的根据触发事件在直播过程衔接展示对应的互动动态组具体为：在ai数字人直播过程中，实时获取互动界面的用户发布的互动内容，生成互动内容的用户互动文本，从中识别出实时关键词，将实时关键词与用户关键词相匹配，当匹配成功后，用户关键词匹配对应的主播关键词，对应的主播文本、互动动态组和语音口型数据，获取当前ai数字人的面部数据和动作数据，将ai数字人的动作动态切换至互动状态，展示互动动态组和播放主播文本对应的语音口型数据，完成衔接后动态切换至当前直播状态；当未匹配成功直播状态不变。
18、一种采用ai数字人替代真人直播的互动系统，该系统基于上述方法实现，包括：
19、ai数字人模块，根据主播的形象生成对应的ai数字人，在直播过程使用ai数字人替代主播直播；
20、语音动作模块，用于分析主播的语音数据和动作数据，生成主播的风格数据库，ai数字人根据风格数据库进行动态变化；
21、主播文本库，用于存储与用户互动的主播文本内容；
22、互动模块，用于实时获取互动界面的互动内容并根据风格数据库和回复文本控制ai数字人在直播过程切换状态进行互动；
23、回复文本库，用于存储解答用户问题的回复文本内容；
24、辅助模块，用于试试获取互动界面的互动内容，提取用户问题并根据问题从回复文本库中提取文本，发送到互动界面回复用户。
25、进一步地，所述辅助模块还连接有一人工端，当所述辅助模块对用户问题无法提取文本后，将用户的互动内容生成待解答文本，存储并发送给人工端，由人工端的工作人员介入答复。
26、采用上述技术方案后，本专利技术与
技术介绍
相比，具有如下优点：
27、本专利技术以主播形象构建ai数字人，ai数字人学习主播面部和肢体动作习惯，学习在直播过程中与用户的互动内容，设定直播流程，在无人互动的时候按计划进行直播，当出现互动时候切换状态进行互动，互动结束后返回直播状态，实现了能够在主播休息时，利用ai智能替代该主播进行直播互动的方法，快速响应用户的互动需求和答疑，保证了直播效果和用户粘性。
本文档来自技高网...【技术保护点】
1.一种采用AI数字人替代真人直播的互动方法，其特征在于，包括以下具体步骤：
2.如权利要求1所述的一种采用AI数字人替代真人直播的互动方法，其特征在于，所述步骤S2的具体步骤如下：
3.如权利要求2所述的一种采用AI数字人替代真人直播的互动方法，其特征在于，所述步骤S23还包括：根据主播的面部数据提取口型特征及其变化的口型数据，根据事件节点在语音数据中提取对应时间节点的语音片段，从中分析出语言、音色、语速和音调的数据，得到主播语音包，将主播语音包与口型数据根据字、词和句进行组合，生成用于AI数字人使用的语音口型数据。
4.如权利要求3所述的一种采用AI数字人替代真人直播的互动方法，其特征在于，所述步骤S3还包括预置关于产品问答的主播文本，根据主播文本的内容与语音包进行配合，生成用于AI数字人使用的语音口型数据。
5.如权利要求1所述的一种采用AI数字人替代真人直播的互动方法，其特征在于：所述步骤S4的回复公式包含：用户名称、用户互动文本、与用户互动文本对应的回复文本和产品特点简介。
6.如权利要求3所述的一种采用AI数
7.一种采用AI数字人替代真人直播的互动系统，其特征在于，包括：
8.如权利要求7所述的一种采用AI数字人替代真人直播的互动系统，其特征在于：所述辅助模块还连接有一人工端，当所述辅助模块对用户问题无法提取文本后，将用户的互动内容生成待解答文本，存储并发送给人工端，由人工端的工作人员介入答复。
...【技术特征摘要】
1.一种采用ai数字人替代真人直播的互动方法，其特征在于，包括以下具体步骤：
2.如权利要求1所述的一种采用ai数字人替代真人直播的互动方法，其特征在于，所述步骤s2的具体步骤如下：
3.如权利要求2所述的一种采用ai数字人替代真人直播的互动方法，其特征在于，所述步骤s23还包括：根据主播的面部数据提取口型特征及其变化的口型数据，根据事件节点在语音数据中提取对应时间节点的语音片段，从中分析出语言、音色、语速和音调的数据，得到主播语音包，将主播语音包与口型数据根据字、词和句进行组合，生成用于ai数字人使用的语音口型数据。
4.如权利要求3所述的一种采用ai数字人替代真人直播的互动方法，其特征在于，所述步骤s3还包括预置关于产品问答的主播文本，根据主播文本的内容与语音包进行配合，生成用于ai数字人使用的语音口型数据。
5.如权利要求1所述的一种采用ai数字人替代真人直播的互动方法，其特征在于：所述步骤s4的回复公式包含：用户名称、用户互动文本、与用户互动文本对应的...
【专利技术属性】
技术研发人员：宋秋照，曹骏邦，李海川，刘望财，
申请(专利权)人：元创者厦门数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。