【技术实现步骤摘要】
本专利技术涉及计算机，具体为一种自动化日志解析及特征提取的芯片验证方法和装置。
技术介绍
1、芯片验证(chip verification)是指在芯片设计完成后，通过各种方法和工具，验证芯片是否按照设计要求和规格正确工作。验证的目的是确保芯片的逻辑功能、性能、接口、时序等各方面都符合设计预期，然而，随着芯片设计的复杂性增加，每一代芯片上用于验证阶段的时间和资源占比均呈现不断增加的态势，验证阶段工作的增长速度超过了芯片开发项目的其他阶段，并且面临着越来越多的挑战，特别是在处理uvm(通用验证方法学)日志时。
2、但在实际验证过程中，由于uvm日志具有大规模性和异构型，且格式不统一，且在每次回归失败时，验证团队都必须检查uvm日志并调试失败的原因，日志数据也并未进行标签化处理，因此使得日志解析和特征提取变得异常困难。
3、现有的芯片验证日志分类方法，例如公开号cn114357918a公开的一种芯片验证方法及装置、电子设备、存储介质，该方法使用脚本对测试用例进行验证遍历所有测试用例目录，首先查找仿真日志中是否包含关键词“passed”，以判断用例是否通过。然后统计通过用例数量，记录通过用例的数量。对于未通过的用例，提取仿真日志中的错误信息，并进行分类。将错误信息分类，并统计每类错误下的用例数量，最后计算总的通过率，根据每类错误的用例数量对错误类型的严重级别进行排序。
4、上述的技术方案在一定程度上提高了自动化程度，但仍需要手动定义分类规则，缺乏灵活性和自适应性。且维护成本高，需要定期维护和更新脚本，
技术实现思路
1、针对现有技术的不足，本专利技术提供了一种自动化日志解析及特征提取的芯片验证方法和装置，解决了现有技术中芯片验证过程需要消耗大量的时间以及资源的问题。
2、为实现以上目的，本专利技术通过以下技术方案予以实现：一种自动化日志解析及特征提取的芯片验证方法，包括以下步骤：
3、s1：日志收集，获取原始数据并进行预处理，将日志数据中的无效信息进行剔除，包括重复信息、无用信息；
4、s2：异常检测，主要是使用机器学习的方法，对特征向量进行学习，产生一个异常检测模型；
5、s3：多类型异常诊断，根据训练时使用的数据集内各个日志文件的异常类型原因建立模型，输入是来自模拟的日志文件，相应的输出是测试失败的根本原因；
6、s4：针对不同用户的模型更新及优化，探索增量学习方法，使训练完毕的模型能够接受新的数据集和标签，并在已有模型基础上进行训练和调整。
7、优选的，所述s1基于uvm的日志数据解析及特征提取中包括：
8、s1.1：分析日志结构与信息，获取日志针对每个事件的模板；
9、s1.2：针对uvm日志文件中混杂了所有的uvm_info、uvm_warning、uvm_error及uvm_fatal的情况，对应提取有意义的特征。
10、优选的，所述s2基于芯片验证的日志异常检测中涉及的机器学习算法包括聚类分析、决策树、深度学习，并通过机器学习算法建立异常信息检测模型步骤包括：
11、s2.1：将提取的日志特征性信息转换为特征向量，供机器学习算法进行处理；
12、s2.2：利用提取的特征向量和已知的正常以及异常日志数据，训练异常检测模型，并通过建立的异常检测模型区分正常和异常行为；
13、s2.3：通过交叉验证以及数据置信度评分的方法评估模型的准确性和泛化能力，并根据评估结果对模型进行优化迭代。
14、优选的，所述s3基于芯片验证的日志多类型异常诊断中，主要使用s2中建立的异常信息检测模型对训练过程中使用的数据集文件内的模拟日志文件进行异常原因的分析，并以此建立异常判断模型，其中输入为模拟的日志文件，输出为测试失败的根本原因。
15、优选的，所述s4基于增量学习的个性化模型更新中，用于探索增量学习方法，包括以下步骤：
16、s4.1：将已经训练好的模型作为起点，同时导入在旧数据集上所使用的学习模型；
17、s4.2：根据模型数据的算法特性进行模块化拆分，并支持对拆分后的模块化数据进行数据调整重组；
18、s4.3：设计新的模型和接口，并支持用户在一定范围内根据自定义方式调整标签。
19、优选的，所述s1.2日志特征性信息提取中，采用字符串匹配以及哈希函数处理方式并比较信息的哈希值，同时针对相同哈希值的信息，采用时间戳判断的方式进行辅助判断。
20、优选的，所述s2.3过程中采用置信度数据对模型的准确度以及泛化能力进行判定，首先，需要定义概率数作为置信度的评分标准，同时针对置信度的判定结果将其分为划分为“可信”、“数据存疑”、“数据异常”三组判定范围并定义其范围区间，并在实际运算得到置信度数据后根据定义的结果区间输出判定结论。
21、优选的，所述s3基于芯片验证的日志多类型异常诊断中，根据芯片验证过程中所可能存在的异常状态建立异常状态数据库，并针对不同的异常数据进行编码分类，当得到验证过程中的异常数据时，将该异常数据与异常数据库中的异常类型进行数据匹配，同时根据匹配相似程度得到最近似的三组异常数据编码输出至前台。
22、优选的，所述s4.3自定义标签和接口过程中，将针对s4.2中被模块化拆分重组的模型数据进行重组，并判断其是否能够执行运行程序，并使用自适应增强模型对运行程序过程中所可能涉及的异常情况进行校准以及报错。
23、本专利技术的第二个方面涉及一种自动化日志解析及特征提取的芯片验证装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现本专利技术的自动化日志解析及特征提取的芯片验证方法。
24、本专利技术的第三个方面涉及一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现本专利技术的的自动化日志解析及特征提取的芯片验证方法。
25、本专利技术解决了现有技术中芯片验证过程需要消耗大量的时间以及资源的问题。主要创新点如下：
26、(1)本专利技术通过在bug的检测及定位领域中，使用半结构化的模拟日志文件为输入，通过日志数据解析及特征提取，日志异常检测，日志多类型异常诊断，个性化模型更新及优化等方面的研究，使验证开发人员能够及时并快速地修复bug，减少人力成本。
27、(2)本专利技术通过使用增量学习方法，使模型能够适应新的数据集和标签，使用已经训练好的模型对旧数据进行增量学习。结合多类型异常诊断，针对不同类型的异常数据进行异常类型匹配，并生成异常检测结果和对应的处理建议。此外，通过自定义标签和接口，用户可以根据自身需求调整模型。
28、(3)本专利技术通过模块化拆分和重组模型数据，例如对于特征向量生成模块，可以根据新本文档来自技高网...
【技术保护点】
1.一种自动化日志解析及特征提取的芯片验证方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种自动化日志解析及特征提取的芯片验证方法，其特征在于，所述S1基于UVM的日志数据解析及特征提取中包括：
3.根据权利要求1所述的一种自动化日志解析及特征提取的芯片验证方法，其特征在于，所述S2基于芯片验证的日志异常检测中涉及的机器学习算法包括聚类分析、决策树、深度学习，并通过机器学习算法建立异常信息检测模型步骤包括：
4.根据权利要求1所述的一种自动化日志解析及特征提取的芯片验证方法，其特征在于，所述S3基于芯片验证的日志多类型异常诊断中，主要使用S2中建立的异常信息检测模型对训练过程中使用的数据集文件内的模拟日志文件进行异常原因的分析，并以此建立异常判断模型，其中输入为模拟的日志文件，输出为测试失败的根本原因。
5.根据权利要求1所述的一种自动化日志解析及特征提取的芯片验证方法，其特征在于，所述S4基于增量学习的个性化模型更新中，用于探索增量学习方法，包括以下步骤：
6.根据权利要求2所述的一种自动化日志解析及特征提
7.根据权利要求3所述的一种自动化日志解析及特征提取的芯片验证方法，其特征在于，所述S2.3过程中采用置信度数据对模型的准确度以及泛化能力进行判定，首先，需要定义概率数作为置信度的评分标准，同时针对置信度的判定结果将其分为划分为“可信”、“数据存疑”、“数据异常”三组判定范围并定义其范围区间，并在实际运算得到置信度数据后根据定义的结果区间输出判定结论。
8.根据权利要求4所述的一种自动化日志解析及特征提取的芯片验证方法，其特征在于，所述S3基于芯片验证的日志多类型异常诊断中，根据芯片验证过程中所可能存在的异常状态建立异常状态数据库，并针对不同的异常数据进行编码分类，当得到验证过程中的异常数据时，将该异常数据与异常数据库中的异常类型进行数据匹配，同时根据匹配相似程度得到最近似的三组异常数据编码输出至前台。
9.根据权利要求5所述的一种自动化日志解析及特征提取的芯片验证方法，其特征在于，所述S4.3自定义标签和接口过程中，将针对S4.2中被模块化拆分重组的模型数据进行重组，并判断其是否能够执行运行程序，并使用自适应增强模型对运行程序过程中所可能涉及的异常情况进行校准以及报错。
10.一种自动化日志解析及特征提取的芯片验证装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-9中任一项所述的自动化日志解析及特征提取的芯片验证方法。
...【技术特征摘要】
1.一种自动化日志解析及特征提取的芯片验证方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种自动化日志解析及特征提取的芯片验证方法，其特征在于，所述s1基于uvm的日志数据解析及特征提取中包括：
3.根据权利要求1所述的一种自动化日志解析及特征提取的芯片验证方法，其特征在于，所述s2基于芯片验证的日志异常检测中涉及的机器学习算法包括聚类分析、决策树、深度学习，并通过机器学习算法建立异常信息检测模型步骤包括：
4.根据权利要求1所述的一种自动化日志解析及特征提取的芯片验证方法，其特征在于，所述s3基于芯片验证的日志多类型异常诊断中，主要使用s2中建立的异常信息检测模型对训练过程中使用的数据集文件内的模拟日志文件进行异常原因的分析，并以此建立异常判断模型，其中输入为模拟的日志文件，输出为测试失败的根本原因。
5.根据权利要求1所述的一种自动化日志解析及特征提取的芯片验证方法，其特征在于，所述s4基于增量学习的个性化模型更新中，用于探索增量学习方法，包括以下步骤：
6.根据权利要求2所述的一种自动化日志解析及特征提取的芯片验证方法，其特征在于，所述s1.2日志特征性信息提取中，采用字符串匹配以及哈希函数处理方式并比较信息的哈希值，同时针对相同哈希值的信息，采用时间戳判断的方式进行辅助判断。
7.根据权利要求3所述的一种自动化日志解...
【专利技术属性】
技术研发人员：谢幼群，蒋天依，汪泽钰，俞山青，宣琦，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。