【技术实现步骤摘要】
本专利技术涉及计算机系统运行分析领域，具体为一种基于呼叫场景大模型和日志收集的性能分析方法。
技术介绍
1、随着计算机技术的快速发展，系统整体运行情况成为了一个重要的研究方向。传统的性能分析方法往往依赖于人工经验和简单的统计手段，无法全面、准确地反映系统性能状况。近年来，随着大数据和人工智能技术的不断发展，大模型在性能分析领域的应用逐渐受到关注。
2、然而，如何有效地收集和利用日志数据，以支持大模型进行性能分析，仍然是一个亟待解决的问题。
技术实现思路
1、本专利技术的目的在于提供一种基于呼叫场景大模型和日志收集的性能分析方法，解决现有运维日志分析方法在处理大规模数据时的效率问题，以及在可预测性、性能指标统计、运营指标统计和后台审计等场景下不足。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种基于呼叫场景大模型和日志收集的性能分析方法，包括如下步骤：
4、1）日志采集，收集来自各个呼叫场景的日志数据，包括系统日志、应用日志、安全日志；
5、2）日志处理与存储，采集到的日志数据采用pandas或datacleaner经过清洗、过滤转换处理，消除冗余信息、使数据格式标准化、提取出有价值信息，处理后的数据存储在数据库或分布式存储系统中；
6、3）日志模型训练，使用k-均值聚类或dbscan算法对处理后的日志数据进行训练：dbscan算法步骤：
7、初始化：假设有一个包含多个数据点的数据集。设定
8、核心点识别：遍历数据集中的每个点，计算其eps邻域内的点数；如果某个点的eps邻域内点数大于等于minpts，则将该点标记为核心点。
9、聚类开始：随机选择一个核心点作为起始点，开始一个新的聚类过程；将该核心点的eps邻域内的所有点加入到当前聚类簇中；密度可达与密度相连：从已加入聚类簇的点出发，寻找所有密度可达的点；如果两个点之间存在一个核心点序列，使得它们都能通过该序列密度可达，则称这两个点是密度相连的，将所有密度相连的点都加入到当前聚类簇中；
10、继续聚类：重复上述过程，直到所有的核心点都被访问过，并且它们所属的聚类簇都已确定，剩余的点被标记为噪声点；
11、结果展示：最终，数据集被划分为多个聚类簇和一组噪声点。聚类簇由密度相连的点组成；
12、4）数据注入，通过数据注入来补充缺失的数据或模拟某些特定场景下的日志数据；
13、5）日志推理与训练，通过日志推理，可以对系统性能进行深入的剖析，性能分析指标包括响应时间、吞吐量、cpu利用率、内存利用率；
14、6）性能看板与交互问答，使用grafana构建性能看板，构建性能看板的步骤包括需求分析、数据源准备、看板设计、性能监控、用户交互、优化与迭代，其中看板设计的步骤为在grafana中创建新的dashboard，设计看板的布局，包括面板的排列、大小、颜色，为每个性能指标创建对应的panel，配置数据源、查询语句、图表类型。
15、优选的，所述2）中提取有用信息通过使用正则表达式、日志分析工具或自定义脚本解析数据，日志分析工具采用elk或splunk。
16、优选的，所述3）模型需要评估、超参数调优，在训练过程中，需要使用验证集对模型进行评估，以确保模型的泛化能力；通过调整模型的超参数来优化模型的性能，超参数包括学习率、批处理大小、迭代次数，模型选择根据问题的具体需求和数据的特性。
17、优选的，所述6）中构架性能看板：
18、需求分析的性能指标包括响应时间、吞吐量、cpu使用率、内存使用率；
19、数据源准备是将日志分析的结果整理成grafana支持的时间序列或json数据格式；配置数据源是将grafana连接到存储日志分析结果的数据库或系统，包括elasticsearch、prometheus、mysql；
20、性能监控：实时更新panel中的数据，展示系统的实时运行状态；设置警报，当性能指标超出预设阈值时，及时通知相关人员；
21、用户交互：通过grafana的变量和链接功能，实现跨panel或跨dashboard的交互。
22、与现有技术相比，本专利技术的有益效果是：
23、自动化程度高：通过日志采集工具和大模型的自动化处理，实现了对系统日志数据的自动化收集和分析，提高了性能分析的效率和准确性；
24、分析全面准确：大模型具有深度学习和自然语言处理能力，能够自动识别和分析日志数据中的关键信息，为运维人员提供全面、准确的性能分析依据；
25、可扩展性强：本专利技术的方法可以应用于不同类型的系统和场景，只需根据实际需求调整日志采集工具和大模型的配置即可。
本文档来自技高网...【技术保护点】
1.一种基于呼叫场景大模型和日志收集的性能分析方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于呼叫场景大模型和日志收集的性能分析方法，其特征在于，所述2）中提取有用信息通过使用正则表达式、日志分析工具或自定义脚本解析数据，日志分析工具采用ELK或Splunk。
3.根据权利要求1所述的一种基于呼叫场景大模型和日志收集的性能分析方法，其特征在于，所述3）模型需要评估、超参数调优，在训练过程中，需要使用验证集对模型进行评估，以确保模型的泛化能力；通过调整模型的超参数来优化模型的性能，超参数包括学习率、批处理大小、迭代次数，模型选择根据问题的具体需求和数据的特性。
4.根据权利要求1所述上的一种基于呼叫场景大模型和日志收集的性能分析方法，其特征在于，所述6）中构架性能看板：
【技术特征摘要】
1.一种基于呼叫场景大模型和日志收集的性能分析方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于呼叫场景大模型和日志收集的性能分析方法，其特征在于，所述2）中提取有用信息通过使用正则表达式、日志分析工具或自定义脚本解析数据，日志分析工具采用elk或splunk。
3.根据权利要求1所述的一种基于呼叫场景大模型和日志收集的性能...
【专利技术属性】
技术研发人员：刘传勇，何绵大，张红，
申请(专利权)人：八度云计算安徽有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。