System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及智能终端,尤其涉及的是一种自动化数据分析和归因分析方法、装置、智能终端及存储介质。
技术介绍
1、在数据分析领域,传统的分析方法通常依赖于手动特征提取和模型训练,这些方法耗时且效率不高。随着大型机器学习模型的发展,自动化分析成为可能,但现有技术缺乏有效的数据归因分析手段,难以解释模型的决策过程。
技术实现思路
1、本专利技术要解决的技术问题在于,针对上述现有技术的问题缺陷,提供一种自动化数据分析和归因分析方法、装置、智能终端及存储介质,本专利技术使用预训练的大型模型来自动执行数据分析任务,并提供高效的数据归因分析手段,以准确识别影响结果的关键因素。
2、本专利技术解决问题所采用的技术方案如下:
3、一种自动化数据分析和归因分析方法,其中,包括:
4、收集获取需要分析的数据,以及对获取的数据进行预处理,得到预处理后的数据;
5、根据需要分析的数据的任务类型和性能指标,选择和加载预设训练模型;
6、将预处理后的数据输入到所述预设训练模型,进行数据特征提取,提取出代表数据特性的特征数据;
7、对提取的特征数据,进行自动化分析,生成预测或分类结果;
8、对生成的预测或分类结果,应用归因方法进行自动分析,识别出影响结果的关键因素。
9、所述的自动化数据分析和归因分析方法,其中,所述识别影响结果的关键因素的步骤之后包括:
10、根据识别出的影响结果的关键因素,生成可视化报告
11、所述的自动化数据分析和归因分析方法,其中,所述收集获取需要分析的数据的步骤之前包括:
12、预先定义需要分析的数据类型和分析的数据类型的目标。
13、所述的自动化数据分析和归因分析方法,其中,所述收集获取需要分析的数据,以及对获取的数据进行预处理,得到预处理后的数据的步骤包括:
14、收集获取需要分析的数据,并利用数据清洗技术的统计方法识别并处理异常值;
15、对处理异常值的数据,应用z-score标准化或min-max归一化,调整数据范围;
16、对调整数据范围的数据,通过特征选择算法,选择有信息量的数据特征。
17、所述的自动化数据分析和归因分析方法,其中,所述根据需要分析的数据的任务类型和性能指标,选择和加载预设训练模型的步骤包括:
18、预先提供一预设训练模型库,包含多种预训练模型的元数据;
19、根据需要分析的数据的任务类型和性能指标,确定匹配的预设训练模型;
20、对确定匹配的预设训练模型加载对应的模型参数,用于确保模型在分析中可复现训练时的性能。
21、所述的自动化数据分析和归因分析方法,其中,所述将预处理后的数据输入到所述预设训练模型,进行数据特征提取,提取出代表数据特性的特征数据的步骤包括:
22、将预处理后的数据输入到所述预设训练模型,进行数据特征提取;
23、并根据需要的模型的中间层的输出,修改模型结构;
24、基于修改模型结构,选择代表数据特性的层作为特征提取的依据,提取出代表数据特性的特征数据。
25、所述的自动化数据分析和归因分析方法,其中,所述对生成的预测或分类结果,应用归因方法进行自动分析,识别出影响结果的关键因素的步骤包括:
26、对生成的预测或分类结果,应用归因方法,量化输入特征对模型输出的贡献率;并进行归因结果分析,识别出对模型决策影响关键的数据特征,以识别出影响结果的关键因素;并输出帮助理解模型预测的归因结果解释。
27、一种自动化数据分析和归因分析装置,其中,所述装置包括:
28、预先设置模块,用于预先定义需要分析的数据类型和分析的数据类型的目标;
29、数据采集与预处理模块,用于收集获取需要分析的数据,以及对获取的数据进行预处理,得到预处理后的数据;
30、加载模块,用于根据需要分析的数据的任务类型和性能指标,选择和加载预设训练模型;
31、特征提取模块,用于将预处理后的数据输入到所述预设训练模型,进行数据特征提取,提取出代表数据特性的特征数据;
32、分析模块,用于对提取的特征数据,进行自动化分析,生成预测或分类结果;
33、归因分析模块,用于对生成的预测或分类结果,应用归因方法进行自动分析,识别出影响结果的关键因素;
34、可视化生成模块,用于根据识别出的影响结果的关键因素,生成可视化报告并输出。
35、一种智能终端,其中,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行任意一项所述的方法。
36、一种计算机可读存储介质,其中,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行任意一项所述的方法。
37、本专利技术的有益效果:本专利技术提供了一种自动化数据分析和归因分析方法、装置、智能终端及存储介质,本专利技术为实现自动化的数据分析及归因分析,需要使用预训练的模型来自动分析数据。这一过程包含了数据预处理、模型加载、特征提取、自动化分析、归因分析、结果可视化等步骤。
本文档来自技高网...【技术保护点】
1.一种自动化数据分析和归因分析方法,其特征在于,包括:
2.根据权利要求1所述的自动化数据分析和归因分析方法,其特征在于,所述识别出影响结果的关键因素的步骤之后包括:
3.根据权利要求1所述的自动化数据分析和归因分析方法,其特征在于,所述收集获取需要分析的数据的步骤之前包括:
4.根据权利要求1所述的自动化数据分析和归因分析方法,其特征在于,所述收集获取需要分析的数据,以及对获取的数据进行预处理,得到预处理后的数据的步骤包括:
5.根据权利要求1所述的自动化数据分析和归因分析方法,其特征在于,所述根据需要分析的数据的任务类型和性能指标,选择和加载预设训练模型的步骤包括:
6.根据权利要求1所述的自动化数据分析和归因分析方法,其特征在于,所述将预处理后的数据输入到所述预设训练模型,进行数据特征提取,提取出代表数据特性的特征数据的步骤包括:
7.根据权利要求1所述的自动化数据分析和归因分析方法,其特征在于,所述对生成的预测或分类结果,应用归因方法进行自动分析,识别出影响结果的关键因素的步骤包括:
8
9.一种智能终端,其特征在于,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-7中任意一项所述的方法。
10.一种计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1-7中任意一项所述的方法。
...【技术特征摘要】
1.一种自动化数据分析和归因分析方法,其特征在于,包括:
2.根据权利要求1所述的自动化数据分析和归因分析方法,其特征在于,所述识别出影响结果的关键因素的步骤之后包括:
3.根据权利要求1所述的自动化数据分析和归因分析方法,其特征在于,所述收集获取需要分析的数据的步骤之前包括:
4.根据权利要求1所述的自动化数据分析和归因分析方法,其特征在于,所述收集获取需要分析的数据,以及对获取的数据进行预处理,得到预处理后的数据的步骤包括:
5.根据权利要求1所述的自动化数据分析和归因分析方法,其特征在于,所述根据需要分析的数据的任务类型和性能指标,选择和加载预设训练模型的步骤包括:
6.根据权利要求1所述的自动化数据分析和归因分析方法,其特征在于,所述将预处理后的数据输...
【专利技术属性】
技术研发人员:谭洪钊,
申请(专利权)人:深圳市酷开网络科技股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。