【技术实现步骤摘要】
本专利技术涉及软件管理，尤其是涉及基于交互大模型的智能设备使用场景动态帮助方法及系统。
技术介绍
1、目前对于一些智能设备产品，如汽车、数控机床等，配套给用户的产品手册，大部分为印刷的手册或是内容固定的视频。
2、对于较为复杂的智能设备的使用，例如复杂的设备操作或包含复杂界面的软件系统，其使用手册方案存在如下问题：
3、1.内容很多，用户在不熟悉的情况下，查找效率较低；
4、2.有些甚至需要专门的一个培训过程，对人力和资源的消耗较大；
5、3.有一些产品使用电话客服或安排专门的售后人员对接的方式对用户的使用过程进行答疑，对资源的投入也较大。
6、4.有时候产品手册没有及时和最新的产品型号更新一致，也导致用户无法获取正确的信息。
7、因此亟需设计智能设备使用场景动态帮助方法及系统解决上述现有技术问题。
技术实现思路
1、为了解决上述智能设备产品使用手册的技术问题，本专利技术提供基于交互大模型的智能设备使用场景动态帮助方法及系统。采用如下的技术方案：
2、基于交互大模型的智能设备使用场景动态帮助方法，包括以下步骤：
3、步骤1，在智能手持设备上安装产品运维应用程序；
4、步骤2，启动产品运维应用程序，产品运维应用程序提示用户用智能手持设备的摄像头对准需要获取帮助信息操作的设备或软件界面；
5、步骤3，产品运维应用程序的主界面显示摄像头中拍摄到的需要提供帮助的设备和用户
6、步骤4，在产品运维应用程序的主界面上，用文字或合成的语音方式提示用户说出问题；
7、步骤5，产品运维应用程序通过语音识别技术，基于本地或云端的大模型理解用户的问题，并生成解决用户问题的操作步骤；
8、步骤6，产品运维应用程序根据步骤5生成的操作步骤，用合成的语音告诉用户在当前界面上需要进行的操作，并根据操作步骤和视频分析获取的信息，由大模型生成相关图形或动画提示，并将相关图形或动画提示采用增强现实技术叠加到拍摄的设备或软件界面对应操作位置上。
9、通过采用上述技术方案，突破传统使用手册在具体应用的查询使用方式瓶颈，使用时只需下载并安装对应的产品运维应用程序，通常也就是app程序，将带有摄像头和麦克风的智能手持设备对准需要获取帮助信息操作的设备或软件界面，通过语音描述或者文字输入的方式描述帮助需求；
10、语音转文本的方案已经非常成熟，可以部署在设备上，也可以连接云端识别，有些大模型方案也可以直接输入语音，问题描述(以文本或语音的方式)输入大模型后，通过大模型生成解决用户问题的操作步骤，
11、在分析得到用户的帮助需求后，用合成的语音告诉用户在当前界面上需要进行的操作，可以同时给出该操作的理由。根据以上操作步骤和视频分析获取的信息，由大模型生成相关的图形或动画提示，并叠加到拍摄的设备或软件界面上(增强现实ar技术)，并用语音的方式告诉用户，根据生成的图像或动画指示操作设备，从而快捷地实现了准确应对用户需求的操作步骤，且通过叠加到拍摄的设备或软件界面上的方式进行交互，用户可快速了解并实现对设备的操作；省去用户查阅软件或设备用户手册的耗时过程，省去对复杂软件系统和设备的用户的培训过程，节约为解答用户疑问的电话客服的人力，较高效且直观地解决用户的问题，通过ar技术，叠加到用户看到的现场，一步一步地指引用户达到目的，大幅提升用户对新产品的使用体验，可以方便地通过更新云端的配置和大模型方案，持续提升用户的体验；
12、不仅仅适用于软件或设备的帮助，也可以用于基于视频的信息导航等，如场馆，景点等。
13、可选的，还包括步骤7，根据用户的操作，用户用智能手持设备的摄像头持续拍摄设备或软件界面的视频画面反馈给视觉大模型，视觉大模型判断用户是否进行了正确的操作，以及是否完成了所有的操作步骤，达到了用户的目的；
14、若操作步骤还没有完成，则持续拍摄设备或软件界面视频，反馈给大模型重复步骤6，若所有操作步骤已经完成，则场景动态帮助过程结束。
15、通过采用上述技术方案，根据用户的操作，拍摄相关视频反馈给大模型，大模型判断用户是否进行了正确的操作，以及是否完成了所有的操作步骤，达到了用户的目的。如果步骤还没有完成，则持续拍摄设备或软件界面视频，反馈给大模型重复步骤6。若所有步骤已经完成，则过程结束，可以高效地实现智能设备使用场景动态帮助。
16、可选的，步骤5中，所述操作步骤从app摄像头拍摄到并显示的设备或软件界面状态开始。
17、通过采用上述技术方案，这个流程是从app摄像头拍摄到并显示的设备或软件界面状态开始，原因是这样才能直观地帮助和提示用户如何从当前的操作界面状态开始，进行一步步的后续操作，以解决他遇到的问题。因为用户可能并非对某些产品的使用完全一无所知，可能开始的步骤知道，但操作在中间某个状态不清楚，于是使用本专利技术的应用程序求助，从用户当前的状态拍摄状态开始，实用性更大。
18、可选的，步骤5中，生成操作步骤的同时生成对应操作步骤的理由，并在步骤6中用合成的语音告诉用户在当前界面上需要进行的操作的同时同步告知理由。
19、可选的，步骤6中视频分析获取的信息采用视觉大模型对设备或软件界面的拍摄画面进行分析获得。
20、可选的，生成相关图形或动画提示的大模型是具有图像生成能力的大模型或是直接使用产品运维应用程序内置的相关图案或动画，通过搜索形成操作步骤。
21、通过采用上述技术方案，通过大模型查找该设备或软件相关的知识库，搜索并形成解决的步骤，具体的方案可以用本地知识库，大模型领域微调，并结合agent的方式实现。该大模型可以部署在云端，app通过网络访问，或是微调参数较少的大模型，部署在设备本地也是可以的。搜索并形成操作步骤的方式可以结合大模型+本地知识库+agent的方案。
22、可选的，步骤6中的，将相关图形或动画提示采用增强现实技术叠加到拍摄的设备或软件界面对应操作位置上的具体实现方法是：
23、步骤a，识别环境，增强现实系统识别当前环境特征，环境特征包括图像特征和位置特征，环境识别方案可以使用视觉大模型分析图像；
24、步骤b，依据环境特征，增强现实系统从数据库或网络中检索相关信息和虚拟物体；
25、步骤c，增强现实系统将物理环境和虚拟信息进行合并，生成增强的现实效果。
26、通过采用上述技术方案，增强现实技术(augmentedreality，简称ar)，通过将数字信息和虚拟物体混合到现有的物理环境中，使其变得更加丰富和交互性。
27、具体应用时增强现实将指示标记的图案或动画叠加到屏幕实时捕获的视频中对应的操作器件的位置上，提示用户对相应的位置的器件进行相关操作，相关的操作信息可以部分反映在图案或动画上，比如用动画表示按下，敲击，旋转等。
28、可选的，智能手持本文档来自技高网...
【技术保护点】
1.基于交互大模型的智能设备使用场景动态帮助方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于交互大模型的智能设备使用场景动态帮助方法，其特征在于：还包括步骤7，根据用户的操作，用户用智能手持设备的摄像头持续拍摄设备或软件界面的视频画面反馈给视觉大模型，视觉大模型判断用户是否进行了正确的操作，以及是否完成了所有的操作步骤，达到了用户的目的；
3.根据权利要求1所述的基于交互大模型的智能设备使用场景动态帮助方法，其特征在于：步骤5中，所述操作步骤从App摄像头拍摄到并显示的设备或软件界面状态开始。
4.根据权利要求1所述的基于交互大模型的智能设备使用场景动态帮助方法，其特征在于：步骤5中，生成操作步骤的同时生成对应操作步骤的理由，并在步骤6中用合成的语音告诉用户在当前界面上需要进行的操作的同时同步告知理由。
5.根据权利要求1所述的基于交互大模型的智能设备使用场景动态帮助方法，其特征在于：步骤6中视频分析获取的信息采用视觉大模型对设备或软件界面的拍摄画面进行分析获得。
6.根据权利要求1所述的基于交互大模型的智
7.根据权利要求1所述的基于交互大模型的智能设备使用场景动态帮助方法，其特征在于：步骤6中的，将相关图形或动画提示采用增强现实技术叠加到拍摄的设备或软件界面对应操作位置上的具体实现方法是：
8.根据权利要求1所述的基于交互大模型的智能设备使用场景动态帮助方法，其特征在于：智能手持设备是智能手机或平板电脑，具有摄像头和麦克风，且智能手机或平板电脑处于联网状态。
9.基于交互大模型的智能设备使用场景动态帮助系统，其特征在于：包括智能手持设备和产品运维服务器，所述智能手持设备通过扫描二维码或下载链接的方式与产品运维服务器通信下载并安装产品运维应用程序，所述产品运维应用程序采用权利要求1-8任一项所述基于交互大模型的智能设备使用场景动态帮助方法设计，用户手持智能手持设备拍摄需要获取帮助信息操作的设备或软件界面，产品运维应用程序提供智能设备使用场景动态帮助。
...【技术特征摘要】
1.基于交互大模型的智能设备使用场景动态帮助方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于交互大模型的智能设备使用场景动态帮助方法，其特征在于：还包括步骤7，根据用户的操作，用户用智能手持设备的摄像头持续拍摄设备或软件界面的视频画面反馈给视觉大模型，视觉大模型判断用户是否进行了正确的操作，以及是否完成了所有的操作步骤，达到了用户的目的；
3.根据权利要求1所述的基于交互大模型的智能设备使用场景动态帮助方法，其特征在于：步骤5中，所述操作步骤从app摄像头拍摄到并显示的设备或软件界面状态开始。
4.根据权利要求1所述的基于交互大模型的智能设备使用场景动态帮助方法，其特征在于：步骤5中，生成操作步骤的同时生成对应操作步骤的理由，并在步骤6中用合成的语音告诉用户在当前界面上需要进行的操作的同时同步告知理由。
5.根据权利要求1所述的基于交互大模型的智能设备使用场景动态帮助方法，其特征在于：步骤6中视频分析获取的信息采用视觉大模型对设备或软件界面的拍摄画面进行分析获得。
6.根据权利要求1所述的基于...
【专利技术属性】
技术研发人员：杨华坤，谢乾，付静雅，杨晓东，王雷，谢智，强豪，
申请(专利权)人：江苏卓易信息科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。