【技术实现步骤摘要】
本专利技术涉及人工智能，具体地说是一种基于知识增强型级联ai专家的远程协助方法。
技术介绍
1、远程协助系统是一种通过网络连接用户和技术人员，实现远程查看并帮助用户快速解决问题的系统，其显著提升了技术团队的响应速度和问题解决效率，进而也减少了差旅成本，提升了生产力和客户满意度。尽管现有的远程协助系统具有诸多优点，但其仍旧依赖于技术人员的实际操作，能够同时支持的业务量受限于技术人员的数量。
2、近来，大语言模型（llm）的发展取得了长足进步，其在参数量和训练样本方面远超其他ai模型，通常达到数百亿甚至上千亿级别，展现出强大的知识涌现能力，使得利用llm扮演技术人员进行远程协助成为可能。但现有技术中利用llm应用于远程协助时，由于其是一种概率模型，即使面对相同问题，每次生成的回答可能不同，这就导致很难理解和定位问题，导致进行针对性调优的难度和成本极高。同时由于其可能生成不准确或虚假的信息，这在远程协助中是无法解决的，也会造成远程协助的效率低下，无法解决客户问题的情况。
3、基于以上原因，本专利技术设计了一种基于知识增强型级联ai专家的远程协助方法，通过级联ai模型和知识增强生成的结合，有效避免了llm生成错误信息和误答问题，增强了系统的解释性和稳定性，便于优化和调整，为用户提供更准确的解决方案。
技术实现思路
1、本专利技术的目的是克服现有技术的不足，提供一种基于知识增强型级联ai专家的远程协助方法，通过级联ai模型和知识增强生成的结合，有效避免了llm生成错误
2、为了达到上述目的，本专利技术提供一种基于知识增强型级联ai专家的远程协助方法，包括s1训练阶段、s2优化阶段和s3运行阶段；
3、训练阶段具体为：
4、s1-1，利用ai视觉检测模型、ai声纹识别模型、ai分类模型和可检索的知识库实现人工技术专家对远程协助任务的视觉诊断、听觉诊断、经验诊断并给出解决方案；
5、s1-2，ai视觉检测模型、ai声纹识别模型和ai分类模型通过历史数据、数字资产和归档资料中收集和标注图像-问题映射、声音-问题映射和问题-错误码映射作为样本，对相关ai模型进行训练；
6、s1-3，可检索的知识库通过历史数据、数字资产和归档资料中收集错误码-解决方案映射并对其进行建立；
7、优化阶段具体为：
8、s2-1，部署ai模型建立测试环境：
9、将llm、ai视觉检测模型、ai声纹识别模型、ai分类模型、可检索知识库以级联的方式进行部署来建立测试环境，具体步骤为：
10、s2-1-1，首先调用llm引导用户对问题现场进行拍照，并调用ai视觉检测模型初步判断问题所在；
11、s2-1-2，调用llm引导用户对问题现场进行录音，并调用ai声纹识别模型再次判断问题所在；
12、s2-1-3，将两次判断结果及用户对问题的描述，输入到ai分类模型中可得出用户此次问题对应的错误码；
13、s2-1-4，系统根据错误码在可检索的知识库中查到问题的解决方案，并由llm根据用户求助的上下文做内容个性化后完成输出；
14、s2-2，技术专家研判系统结果：
15、人工技术专家根据协助任务的内容判断s2-1-4得到的结果是否准确，若正确则此任务完成，若未解决则需要人工技术专家对问题倒查，通过每一步的输入输出来定位ai视觉检测模型、ai声纹识别模型、ai分类模型以及可检索的知识库中的错误；
16、s2-3，优化ai模型：
17、s2-3-1，通过增加对应的训练样本来提高ai模型在类似案例中的预测精度，并重新进行部署并跳转到s2-1重启优化测试；
18、s2-3-2，持续运行s2-1～s2-2，直至对所有的远程协助任务均给出正确的解决方案；
19、运行阶段具体为：
20、s3-1，部署ai模型建立生成环境：
21、将llm、ai视觉检测模型、ai声纹识别模型、ai分类模型和可检索知识库以级联的方式进行部署来建立生成环境，具体步骤为：
22、s3-1-1，调用llm引导用户对问题现场进行拍照，并调用ai视觉检测模型初步判断问题所在；
23、s3-1-2，调用llm引导用户对问题现场进行录音，并调用ai声纹识别模型再次判断问题所在；
24、s3-1-3，将s3-1-1和s3-1-2两次判断的结果输入到ai分类模型中得出此次问题对应的错误码；
25、s3-1-4，根据错误码在可检索的知识库中查到问题的解决方案，并由llm根据远程协助求助的上下文做内容个性化后完成输出；
26、s3-2，技术专家介入解决未知案例：
27、对于未收录的案例，无法根据错误码在可检索的知识库中查到对应的解决方案时，通过呼叫技术专家介入，按照传统的方式解决远程协助的问题，并全程记录这类未知案例的解决过程，并周期性的利用此类运行记录对ai视觉检测模型、ai声纹识别模型、ai分类模型和可检索的知识库进行优化。
28、ai视觉检测模型的训练包括：
29、数据收集与标注：收集大量服务器故障图像，包括正常和异常状态的图像，然后标注每张图像的故障类型和位置；
30、数据预处理：对图像进行归一化、裁剪、旋转预处理操作，用于统一图像格式，然后分割数据集为训练集、验证集和测试集；
31、模型选择与训练：通过yolov8或faster r-cnn进行图像分类和检测，使用标注的数据进行模型训练，通过监督学习的方式优化模型参数，同时采用数据增强技术提高模型的泛化能力；
32、模型验证与优化：使用验证集评估模型性能，重点观察准确率、召回率、f1-score指标，通过调整模型超参数、增加训练样本、增加模型参数来提高模型指标直到满足业务需求。
33、ai声纹识别模型的训练包括：
34、数据收集与标注：收集服务器在正常和异常状态下的运行声音，标注每段声音对应的故障类型；
35、数据预处理：对声音数据进行降噪、归一化处理，将声音信号转换为梅尔频谱图以供模型使用；
36、模型选择与训练：选择yamnet、whisper或kaldi进行声纹识别，使用标注的数据进行模型训练，通过监督学习的方式优化模型参数；
37、模型验证与优化：使用验证集评估模型性能，观察准确率、召回率指标；通过调整模型超参数、增加训练样本、增加模型参数来提高模型指标直到满足业务需求。
38、ai分类模型的训练包括：
39、数据收集与标注：收集用户报告的故障描述和相应的图像声音对应故障类型，标注每组数据对应的错误码类型；
40、数据预处理：对文本数据进行分词、去停用词预处理操作，利用word2vec将文本数据转换本文档来自技高网...
【技术保护点】
1.一种基于知识增强型级联AI专家的远程协助方法，其特征在于，包括S1训练阶段、S2优化阶段和S3运行阶段；
2.根据权利要求1所述的基于知识增强型级联AI专家的远程协助方法，其特征在于，所述AI视觉检测模型的训练包括：
3.根据权利要求1所述的基于知识增强型级联AI专家的远程协助方法，其特征在于，所述AI声纹识别模型的训练包括：
4.根据权利要求1所述的基于知识增强型级联AI专家的远程协助方法，其特征在于，所述AI分类模型的训练包括：
5.根据权利要求1所述的基于知识增强型级联AI专家的远程协助方法，其特征在于，所述可检索知识库的训练包括：
6.数据标注与整理：通过专业人员对收集的数据进行标注，确保每条数据都清晰对应故障描述、错误码和解决方案；将标注后的数据整理为“故障描述-错误码-解决方案”三元组格式，并确保数据的一致性和准确性；
7.根据权利要求1所述的基于知识增强型级联AI专家的远程协助方法，其特征在于，所述S2-3还包括：
8.根据权利要求1所述的基于知识增强型级联AI专家的远程协助方法
...【技术特征摘要】
1.一种基于知识增强型级联ai专家的远程协助方法，其特征在于，包括s1训练阶段、s2优化阶段和s3运行阶段；
2.根据权利要求1所述的基于知识增强型级联ai专家的远程协助方法，其特征在于，所述ai视觉检测模型的训练包括：
3.根据权利要求1所述的基于知识增强型级联ai专家的远程协助方法，其特征在于，所述ai声纹识别模型的训练包括：
4.根据权利要求1所述的基于知识增强型级联ai专家的远程协助方法，其特征在于，所述ai分类模型的训练包括：
5.根据权利要求1所述的基于知识增强型...
【专利技术属性】
技术研发人员：石峰，
申请(专利权)人：火离科技上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。