【技术实现步骤摘要】
本公开涉及人工智能辅助，尤其涉及一种基于ar的用户辅助方法、装置、设备及存储介质。
技术介绍
1、现有的基于增强现实(augmented reality，ar)的客服系统，能够为用户提供无人上门的高科技客服体验，例如当用户的设备无法正常工作时，用户只需使用移动设备上的app，即可在画面上同时看到设备影像以及利用ar技术附加于其上的各类信息。
2、然而，目前基于ar的客服系统，仍然需要云端有人值守，也就是说，客户专员尽管无需到客户处现场解决问题，但是在云端通过网络与客户隔空互动依然无法避免，这一方面影响客户的沟通效率(客户专员坐席有限)，一方面增加运营商成本。人工智能(artificial intelligence，ai)加持的语言大模型技术能够构建有效的对话应用，但是由于大模型的智能化程度尚未达到理想状态，与需求参差不齐的客户直接使用自然语言进行交流还存在着准确性的问题。
3、因此，目前的ar客服系统，存在着及时性和准确性较差的问题。
技术实现思路
1、本公开提供了一种基于ar的用户辅助方法、装置、设备及存储介质。
2、根据本公开的第一方面，提供了一种基于ar的用户辅助方法，该方法包括：
3、对产品ar模型画面进行检测；
4、若检测到产品ar模型画面中出现用户所添加的ar标记，则根据带有ar标记的帧图像确定满足语言大模型的语言规范要求的用户意图描述文本；
5、将用户意图描述文本输入语言大模型，由语言大模型对用户
6、基于用户协助文本确定目标图像，并对产品ar模型进行调整；
7、基于目标图像和调整后的产品ar模型，生成ar用户辅助图像。
8、在第一方面的一些实现方式中，ar标记是通过以下步骤添加的：
9、接收用户在产品ar模型画面中针对ar模型标记选项的选中操作；
10、响应于选中操作，在产品ar模型画面中以用户指定的相对于产品ar模型的位姿添加选中的ar模型标记。
11、在第一方面的一些实现方式中，ar标记是通过以下步骤添加的：
12、接收用户对产品ar模型画面的手绘操作；
13、响应于手绘操作，在产品ar模型画面中以手绘操作对应的相对于产品ar模型的位姿添加ar手绘标记。
14、在第一方面的一些实现方式中，根据带有ar标记的帧图像获取满足语言大模型的语言规范要求的用户意图描述文本，包括：
15、将带有ar标记的帧图像输入意图识别模型，由意图识别模型中的编码器对带有ar标记的帧图像进行ar标记识别，提取识别到的ar标记的位姿和属性，以此生成用户意图描述字，并由意图识别模型中的解码器将用户意图描述字转换为满足语言大模型的语言规范要求的用户意图描述文本。
16、在第一方面的一些实现方式中，基于用户协助文本确定目标图像，并对产品ar模型进行调整，包括：
17、基于用户协助文本利用图像获取设备获取ar标记对应区域中目标对象的当前实景图像，或者，基于用户协助文本从图像数据库中获取目标对象对应的标准图像；
18、将当前实景图像或标准图像作为目标图像；
19、基于用户协助文本和目标图像确定产品ar模型的调整参数，并基于调整参数对产品ar模型进行调整。
20、在第一方面的一些实现方式中，基于用户协助文本和目标图像确定产品ar模型的调整参数，包括：
21、基于用户协助文本，确定目标对象的目标描述部位；
22、根据目标描述部位在产品ar模型中的位置、目标图像的画面中目标对象的尺寸和位姿信息，确定ar模型中各个部件模型的移动方向以及各个部件模型的移动距离；
23、基于ar模型中各个部件模型的移动方向以及移动距离，确定产品ar模型的调整参数。
24、在第一方面的一些实现方式中，该方法还包括：
25、基于用户协助文本以及目标图像，确定对应的文字信息，确定ar标记对应区域中目标对象在目标图像中的位置、标识图案以及标识图案对应的显示效果；
26、基于目标图像和调整后的产品ar模型，生成ar用户辅助图像，包括：
27、基于用户协助文本对应的文字信息、目标对象在目标图像中的位置、目标对象在目标图像中的标识图案以及标识图案对应的显示效果确定ar用户辅助图像中的标识信息；
28、基于目标图像、调整后的产品ar模型和标识信息，生成ar用户辅助图像。
29、根据本公开的第二方面，提供了一种基于ar的用户辅助装置，该装置包括：
30、检测模块，用于对产品ar模型画面进行检测；
31、获取模块，用于若检测到产品ar模型画面中出现用户所添加的ar标记，则根据带有ar标记的帧图像确定满足语言大模型的语言规范要求的用户意图描述文本；
32、响应模块，用于将用户意图描述文本输入语言大模型，由语言大模型对用户意图描述文本进行响应，得到用户协助文本；
33、调整模块，用以基于用户协助文本确定目标图像，并对产品ar模型进行调整；
34、生成模块，用于基于目标图像和调整后的产品ar模型，生成ar用户辅助图像。
35、根据本公开的第三方面，提供了一种电子设备，该电子设备包括：存储器和处理器，存储器上存储有计算机程序，处理器执行程序时实现如以上的方法。
36、根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现如根据本公开的第一方面的方法。
37、本公开，通过对产品ar模型画面中添加的ar标记进行分析，得到用户意图，然后基于语言模型对用户意图进行分析得到用户协助文本，之后再结合得到用户协助文本对产品ar模型进行调整，并基于目标图像得到ar用户辅助图像。通过使用人工智能的方式，从而可以准确高效地对用户进行引导和指示。
38、应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
【技术保护点】
1.一种基于AR的用户辅助方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述AR标记是通过以下步骤添加的：
3.根据权利要求1所述的方法，其特征在于，所述AR标记是通过以下步骤添加的：
4.根据权利要求1所述的方法，其特征在于，所述根据带有AR标记的帧图像获取满足语言大模型的语言规范要求的用户意图描述文本，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述用户协助文本确定目标图像，并对产品AR模型进行调整，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述用户协助文本和目标图像确定产品AR模型的调整参数，包括：
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
8.一种基于AR的用户辅助装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括：
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，
【技术特征摘要】
1.一种基于ar的用户辅助方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述ar标记是通过以下步骤添加的：
3.根据权利要求1所述的方法，其特征在于，所述ar标记是通过以下步骤添加的：
4.根据权利要求1所述的方法，其特征在于，所述根据带有ar标记的帧图像获取满足语言大模型的语言规范要求的用户意图描述文本，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述用户...
【专利技术属性】
技术研发人员：肖东晋，张立群，刘顺宗，
申请(专利权)人：阿依瓦北京技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。