一种大气污染源数据分析方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种大气污染源数据分析方法、装置、设备及存储介质。所述方法包括：基于大气污染源数据确定训练数据集和测试数据集；基于所述训练数据集对随机森林模型进行训练得到已训练模型；通过分布式计算框架，基于所述测试数据集和所述已训练模型确定目标模型；将待分析的大气污染源数据进行特征选取后得到的特征输入所述目标模型，得到分析结果，所述分析结果包括大气污染元素排放量。该方法中的目标模型可以直接集成在主流服务端应用，能够有效避免兼容问题，该方法还能够高效处理海量的大气污染源数据。量的大气污染源数据。量的大气污染源数据。

【技术实现步骤摘要】
一种大气污染源数据分析方法、装置、设备及存储介质


[0001]本专利技术实施例涉及人工智能
，尤其涉及一种大气污染源数据分析 方法、装置、设备及存储介质。

技术介绍

[0002]随着经济的飞速发展，大气污染问题愈加突出，大气污染源数据的高效分 析，可以帮助环境保护人员全面了解污染态势，合理制定污染防控策略。
[0003]在现有技术中，一般通过构建模型对大气污染源数据进行分析，该方法首 先训练出预测模型，然后通过适配接口将预测程序集成到应用系统中。
[0004]但是，该方法采用集中式计算方式，难以处理海量数据下的数据分析，存 在效率低、耗时长的问题；传统的机器学习框架构建出的模型需要通过特定的 适配工具集成到主流的服务端应用中，容易出现兼容性问题。

技术实现思路

[0005]本专利技术实施例提供了一种大气污染源数据分析方法、装置、设备及存储介 质，能够有效避免兼容问题，还能够高效处理海量的大气污染源数据。
[0006]第一方面，本专利技术实施例提供了一种大气污染源数据分析方法，包括：
[0007]基于大气污染源数据确定训练数据集和测试数据集；
[0008]基于所述训练数据集对随机森林模型进行训练得到已训练模型；
[0009]通过分布式计算框架，基于所述测试数据集和所述已训练模型确定目标模 型；
[0010]将待分析的大气污染源数据进行特征选取后得到的特征输入所述目标模型， 得到分析结果，所述分析结果包括大气污染元素排放量。
[0011]第二方面，本专利技术实施例还提供了一种大气污染源数据分析装置，包括：
[0012]第一确定模块，用于基于大气污染源数据确定训练数据集和测试数据集；
[0013]训练模型，用于基于所述训练数据集对随机森林模型进行训练得到已训练 模型；
[0014]第二确定模块，用于通过分布式计算框架，基于所述测试数据集和所述已 训练模型确定目标模型；
[0015]分析模型，用于将待分析的大气污染源数据进行特征选取后得到的特征输 入所述目标模型，得到分析结果，所述分析结果包括大气污染元素排放量。
[0016]第三方面，本专利技术实施例还提供了一种电子设备，包括：
[0017]一个或多个处理器；
[0018]存储装置，用于存储一个或多个程序；
[0019]所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个 处理器用于实现本专利技术任意实施例中所述的大气污染源数据分析方法。
[0020]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有 计算机程序，该程序被处理器执行时实现如本专利技术任意实施例所提供的大气污 染源数据分析方
法。
[0021]本专利技术实施例提供了一种大气污染源数据分析方法、装置、设备及存储介 质，首先基于大气污染源数据确定训练数据集和测试数据集；然后基于所述训 练数据集对随机森林模型进行训练得到已训练模型；之后通过分布式计算框架， 基于所述测试数据集和所述已训练模型确定目标模型；最后将待分析的大气污 染源数据进行特征选取后得到的特征输入所述目标模型，得到分析结果，所述 分析结果包括大气污染元素排放量。利用上述技术方案能够有效避免兼容问题， 还能够高效处理海量的大气污染源数据。
附图说明
[0022]图1为本专利技术实施例一所提供的一种大气污染源数据分析方法的流程示意 图；
[0023]图2为本专利技术实施例一所提供的一种随机森林模型的决策过程示意图；
[0024]图3为本专利技术实施例二所提供的一种大气污染源数据分析方法的流程示意 图；
[0025]图4为本专利技术实施例二所提供的一种大气污染源数据分析方法中的特征选 取流程示意图；
[0026]图5为本专利技术实施例二所提供的一种大气污染源数据分析方法中的模型训 练与模型测试的流程示意图；
[0027]图6为本专利技术实施例三所提供的一种大气污染源数据分析装置的结构示意 图；
[0028]图7为本专利技术实施例四所提供的一种电子设备的结构示意图。
具体实施方式
[0029]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施 例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所 描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本发 明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所 有其他实施例，都应当属于本专利技术保护的范围。应当理解，本专利技术的方法实施 方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法 实施方式可以包括附加的步骤和/或省略执行示出的步骤。本专利技术的范围在此方 面不受限制。
[0030]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术 语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”； 术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示
ꢀ“
至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0031]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“目 标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应 该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实 施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包 括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如， 包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地 列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方 法、产品或设备固有的其它步骤或单元。
[0032]需要注意，本专利技术中提及的“一个”、“多个”的修饰是示意性而非限制性 的，本领
域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为
ꢀ“
一个或多个”。
[0033]本专利技术实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说 明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0034]实施例一
[0035]图1为本专利技术实施例一所提供的一种大气污染源数据分析方法的流程示意 图，该方法可适用于通过大气污染源数据分析出大气污染元素的排放量的情况， 该方法可以由大气污染源数据分析装置来执行，其中该装置可由软件和/或硬件 实现，并一般集成在电子设备上，在本实施例中电子设备包括但不限于：计算 机等设备。
[0036]如图1所示，本专利技术实施例一提供的一种大气污染源数据分析，包括如下 步骤：
[0037]S110、基于大气污染源数据确定训练数据集和测试数据集。
[0038]在本实施例中，对大气污染源数据的获取方式不做具体限制，可以通过任 意一种方式获取大气污染源数据，示例性的，可以通过加载的方式获取大气污 染源数据，可以使用loadLibSVMFile()函数加载本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大气污染源数据分析方法，其特征在于，所述方法包括：基于大气污染源数据确定训练数据集和测试数据集；基于所述训练数据集对随机森林模型进行训练得到已训练模型；通过分布式计算框架，基于所述测试数据集和所述已训练模型确定目标模型；将待分析的大气污染源数据进行特征选取后得到的特征输入所述目标模型，得到分析结果，所述分析结果包括大气污染元素排放量。2.根据权利要求1所述的方法，其特征在于，所述基于大气污染源数据确定训练数据集和测试数据集，包括：对大气污染源数据进行特征选取得到多组特征子集；将所述特征子集按照预设比例分为训练数据集和测试数据集。3.根据权利要求2所述的方法，其特征在于，所述对大气污染源数据进行特征选取得到多组特征子集，包括：将大气污染源数据转换为弹性分布式数据；通过预设机器学习库对所述弹性分布式数据分别进行相关性分析以及特征筛选，得到多组特征子集。4.根据权利要求3所述的方法，其特征在于，所述通过预设机器学习库对所述弹性分布式数据分别进行相关性分析以及特征筛选，得到多组特征子集，包括：通过预设机器学习库中的地图函数对所述弹性分布式数据进行解析得到多组特征，并返回多个向量类型的数据，一个向量类型的数据包括一组特征和一个标签，所述标签表征所述特征对应的大气污染元素排放量的目标值；计算所有特征与所有标签的相关性；根据所述相关性确定特征筛选的筛选范围；通过卡方选择器从所述筛选范围内筛选出多个向量类型的目标数据；将所述向量类型的目标数据构成多组特征子集。5.根据权利要求1所述的方法，其特征在于，所述随机森林模型为已进行参数设置的机器学习模型，所述基于所述训练数据集对随机森林模型进行训练得到已训练模型，包括：根据所述训练数据集中的特征以及标签，通过预设的分类器训练方法对随机森林模型中的分类器进行训练，得到已训练模型。6.根据权利要求5所述的方法，其特...

【专利技术属性】
技术研发人员：董兰天，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：