【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种应用程序的多模态信息展示方法、装置、设备和存储介质。
技术介绍
1、目前，运营商移动端中的应用程序（application，app）主要以页面分发的形式向用户提供主营业务服务，例如传统的查询业务、缴费业务、办理业务等，以及线上售卖流量包业务、套餐业务、终端业务、权益业务等，还有涉及各类生活周边的内容信息、衣食住行等相关服务的探索类业务。
2、通常情况下，通过应用程序向用户提供业务办理时，用户主要通过两种途径实现业务的线上办理。其中，一种途径是通过应用程序内预设的功能页面进行操作，并根据页面引导用户一步一步完成需求业务的办理或商品的订购。另一种途径则是通过首页顶部的搜索栏输入业务关键词，查找到想办理的业务，并点击该业务页面进行办理。
3、但是，采用上述途径实现线上业务办理时，通常需要经过多个步骤才能完成一项简单的业务办理，操作过程繁琐，无法便捷的查找到所需功能页面，从而导致业务的办理效率较低。因此，如何智能地向用户显示相关的业务信息，以提高业务的办理效率是本领域技术人员亟待解决的技术问题。
技术实现思路
1、本申请提供一种应用程序的多模态信息展示方法、装置、设备和存储介质，用以解决现有技术中如何智能地向用户显示相关的业务信息，以提高业务的办理效率的缺陷，可以基于感知的用户意图智能地控制应用程序展示多模态信息，用于用户执行目标业务场景下的业务，从而可以有效地提高业务的办理效率。
2、本申请提供一种应用程序的多模态信息展示
3、获取应用程序的当前视图信息，以及用户基于所述当前视图信息输入目标业务场景下的用户操作序列；
4、基于所述当前视图信息和所述用户操作序列，确定所述用户的用户需求感知；
5、基于所述用户需求感知、所述应用程序的统一视图信息和所述用户的用户全景信息，确定用户意图序列；其中，所述统一视图信息用于对所述目标业务场景下的所有功能点对应的页面视图进行汇总展示，所述用户全景信息用于表征所述用户的特征信息和行为信息；
6、基于所述用户意图序列控制所述应用程序展示多模态信息，所述多模态信息用于所述用户执行所述目标业务场景下的业务。
7、根据本申请提供的一种应用程序的多模态信息展示方法，所述基于所述当前视图信息和所述用户操作序列，确定所述用户的用户需求感知，包括：
8、对所述当前视图信息中包括的不同模态信息进行多模态融合，得到多模态视图融合感知信息；
9、基于所述用户操作序列中包括的时间维度的行为序列和空间维度的交互上下文序列，得到时空序列行为感知信息；
10、基于所述多模态视图融合感知信息和所述时空序列行为感知信息，确定所述用户的用户需求感知。
11、根据本申请提供的一种应用程序的多模态信息展示方法，所述基于所述用户需求感知、所述应用程序的统一视图信息和所述用户的用户全景信息，确定用户意图序列，包括：
12、基于所述用户需求感知、所述应用程序的统一视图信息和所述用户的用户全景信息，确定所述用户的目标潜在意图信息；
13、基于所述目标潜在意图信息和预设的意图序列模板，生成所述用户意图序列；其中，所述意图序列模板用于表征潜在意图信息与用户意图之间的映射关系。
14、根据本申请提供的一种应用程序的多模态信息展示方法，所述基于所述用户意图序列控制所述应用程序展示多模态信息，包括：
15、针对所述用户意图序列中的各用户意图，基于所述用户意图在不同分类维度下对应的权重和所述用户意图被感知的时刻，确定所述用户意图对应的兴趣分数；
16、按照兴趣分数由大到小的顺序对所述用户意图序列中的用户意图进行排序，得到目标用户意图序列；
17、基于所述目标用户意图序列控制所述应用程序展示多模态信息。
18、根据本申请提供的一种应用程序的多模态信息展示方法，所述基于所述目标用户意图序列控制所述应用程序展示多模态信息，包括：
19、基于所述目标用户意图序列和所述目标业务场景，生成潜在交互策略矩阵；
20、基于大模型对所述潜在交互策略矩阵进行分析，生成所述目标业务场景下的业务对应的多条可执行路径，并基于所述大模型对各可执行路径的可行性和执行效率进行预测，得到各所述可执行路径的预测结果；
21、基于各所述可执行路径的预测结果，控制所述应用程序展示多模态信息。
22、根据本申请提供的一种应用程序的多模态信息展示方法，所述基于大模型对所述潜在交互策略矩阵进行分析，生成所述目标业务场景下的业务对应的多条可执行路径，包括：
23、获取所述目标业务场景下的业务的全局视图信息、特定领域知识信息和特定技能执行能力信息；
24、将所述全局视图信息、所述特定领域知识信息、所述特定技能执行能力信息和所述潜在交互策略矩阵输入至所述大模型中，生成所述多条可执行路径。
25、根据本申请提供的一种应用程序的多模态信息展示方法，所述基于各所述可执行路径的预测结果，控制所述应用程序展示多模态信息，包括：
26、将最优预测结果对应的可执行路径，确定为目标可执行路径；
27、基于所述目标可执行路径生成所述多模态指令，所述多模态指令用于控制所述应用程序基于所述多模态信息各自对应的独立传输通道，展示所述多模态信息。
28、本申请还提供一种应用程序的多模态信息展示装置，包括：
29、获取单元，用于获取应用程序的当前视图信息，以及用户基于所述当前视图信息输入目标业务场景下的用户操作序列；
30、第一处理单元，用于基于所述当前视图信息和所述用户操作序列，确定所述用户的用户需求感知；
31、第二处理单元，用于基于所述用户需求感知、所述应用程序的统一视图信息和所述用户的用户全景信息，确定用户意图序列；其中，所述统一视图信息用于对所述目标业务场景下的所有功能点对应的页面视图进行汇总展示，所述用户全景信息用于表征所述用户的特征信息和行为信息；
32、控制单元，用于基于所述用户意图序列控制所述应用程序展示多模态信息，所述多模态信息用于所述用户执行所述目标业务场景下的业务。
33、本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述的应用程序的多模态信息展示方法。
34、本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的应用程序的多模态信息展示方法。
35、本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的应用程序的多模态信息展示方法。
36、本申请提供一种应用程序的多模态信息展示方法、装置、设备和存储介质，通过获取应用程序的当前本文档来自技高网...
【技术保护点】
1.一种应用程序的多模态信息展示方法，其特征在于，包括：
2.根据权利要求1所述的应用程序的多模态信息展示方法，其特征在于，所述基于所述当前视图信息和所述用户操作序列，确定所述用户的用户需求感知，包括：
3.根据权利要求1或2所述的应用程序的多模态信息展示方法，其特征在于，所述基于所述用户需求感知、所述应用程序的统一视图信息和所述用户的用户全景信息，确定用户意图序列，包括：
4.根据权利要求1或2所述的应用程序的多模态信息展示方法，其特征在于，所述基于所述用户意图序列控制所述应用程序展示多模态信息，包括：
5.根据权利要求4所述的应用程序的多模态信息展示方法，其特征在于，所述基于所述目标用户意图序列控制所述应用程序展示多模态信息，包括：
6.根据权利要求5所述的应用程序的多模态信息展示方法，其特征在于，所述基于大模型对所述潜在交互策略矩阵进行分析，生成所述目标业务场景下的业务对应的多条可执行路径，包括：
7.根据权利要求5所述的应用程序的多模态信息展示方法，其特征在于，所述基于各所述可执行路径的预测结果，控制
8.一种应用程序的多模态信息展示装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的应用程序的多模态信息展示方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的应用程序的多模态信息展示方法。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的应用程序的多模态信息展示方法。
...【技术特征摘要】
1.一种应用程序的多模态信息展示方法，其特征在于，包括：
2.根据权利要求1所述的应用程序的多模态信息展示方法，其特征在于，所述基于所述当前视图信息和所述用户操作序列，确定所述用户的用户需求感知，包括：
3.根据权利要求1或2所述的应用程序的多模态信息展示方法，其特征在于，所述基于所述用户需求感知、所述应用程序的统一视图信息和所述用户的用户全景信息，确定用户意图序列，包括：
4.根据权利要求1或2所述的应用程序的多模态信息展示方法，其特征在于，所述基于所述用户意图序列控制所述应用程序展示多模态信息，包括：
5.根据权利要求4所述的应用程序的多模态信息展示方法，其特征在于，所述基于所述目标用户意图序列控制所述应用程序展示多模态信息，包括：
6.根据权利要求5所述的应用程序的多模态信息展示方法，其特征在于，所述基于大模型对所述潜在交互策略矩阵进行分析，生...
【专利技术属性】
技术研发人员：杨斌哲，鲍子林，唐向辉，王金波，杨默涵，田丰，屈凡，黄健，池玉祥，陈聪，李心，刘晓川，
申请(专利权)人：中移在线服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。