一种基于贝叶斯分类的传统气象数据与感知数据融合的方法技术

本发明专利技术提供了一种基于贝叶斯分类的传统气象数据与感知数据融合的方法，在朴素贝叶斯分类器的基础上，公开了一种1-依赖分类器与属性加权相结合的贝叶斯分类改进算法—ODAWNB(One-dependence?Attribute?Weighted?Naive?Bayes)方法，改进现有的朴素贝叶斯算法，适当放松属性间必须相互独立这一限制，在效率和分类精度之间找到一个折中点，最好地完成雷达数据与用户感知数据之间的融合。本发明专利技术包括如下步骤：数据预处理，根据训练样本数据构造分类器，利用构造的分类器对待分类的样本进行分类。

【技术实现步骤摘要】

本专利技术涉及气象观测和预警
，尤其是涉及一种传统气象数据与用户参与感知数据融合的方法。
技术介绍
气象观测是研究测量和观察地球大气的物理和化学特性以及大气现象的方法和手段的一门学科。观测的对象主要有大气气体成分浓度、气溶胶、温度、湿度、压力、风、大气湍流、蒸发、云、降水、辐射、大气能见度、大气电场、大气电导率以及雷电、虹、晕等现象和参数。大气探测技术的发展为减轻或避免自然灾害造成的损失提供了条件。气象观测记录和依据它编发的气象情报，除了为天气预报提供日常资料外，还通过长期积累和统计，加工成气候资料，为农业、林业、工业、交通、军事、水文、医疗卫生和环境保护等部门进行规划、设计和研究，提供重要的数据。采用大气遥感探测和高速通信传输技术组成的灾害性天气监测网，已经能够十分及时地直接向用户发布龙卷风、强降雨和冰雹等灾害性天气警报。由于传统气象数据(如雷达回波图)提供的信息对应区域较广，不能最全面地为气象预警决策服务，若加之当地实时采集到的数据(如移动终端外接传感器采集装置)，把两者进行融合，则能够得知精确位置的天气信息，使得气象预报更准确。为获得准确的气象数据需要采集多个信息源传递的观测数据，由单个传感器所获得的信息通常是不完整、不连续或不精确的，此时其他的信息源如果可以提供补充数据，融合多种信息源的数据，就能够产生一个有关场景的更一致的解释，而使不确定性大大降低。我们把雷达回波图解析到的数据视为传统数据，多类多源和多平台传感器获取的数据视为感知数据，将这两种数据进行判别处理综合分析，充分利用雷达数据的实时性、宏观性与传感器数据之间的互补关系，考虑传感网条件下的多维、多尺度、高动态、多耦合等复杂的数据与信息关系，对数据处理采用新的策略，实现对多源观测数据的协同处理。通过对参与感知数据提取，统计、分析形成分类的灾害预警规则和预警阈值体系。对于传统气象数据与参与感知数据的处理，即是将两者进行融合。所谓数据融合技术，是指利用计算机对按时序获得的若干观测信息，在一定准则下加以自动分析、综合，以完成所需的决策和评估任务而进行的信息处理技术。数据融合在多信息源、多平台和多用户系统内起着重要的处理和协调作用，保证了数据处理系统各单元与汇集中心间的连通性与及时通信。通过信息融合将多个气象信息传感器检测到的信息与雷达观测事实进行科学、合理的综合处理，可以提高状态监测和灾害智能化程度。而这种数据融合从本质上说是一个参数估计问题，或者说是一个算法问题。贝叶斯分类是统计学分类方法，它是一类利用概率统计知识进行分类的算法。在许多场合，朴素贝叶斯(Naive Bayes, NB)分类算法可以与决策树和神经网络分类算法相媲美，该算法能运用到大型数据库中，且方法简单、分类准确率高、速度快。由于贝叶斯定理假设一个属性值对给定类的影响独立于其它属性的值，而此假设在实际情况中通常是不成立的，因此其分类准确率可能会下降。为此，就出现了许多降低独立性假设的贝叶斯分类算法，如 TAN(Tree Augmented Bayes Network)算法和 LB (Large Bayes)算法。但 TAN 算法也存在缺陷，所需要的数据存储容量过大，计算速度相对而言就会减慢，导致算法效率降低。而LB算法利用了类似Apriori的频繁项集挖掘算法找出训练集中的频繁项集。由于LB仅使用有限项乘积来估计概率，因此必须优先选择那些能为分类提供新信息的项集。为此，LB为每个项集定义了兴趣度。兴趣度用项集所有低一阶的子集来近似估计该项集的偏差来定义，偏差越大代表该项集包含的信息越多。在频繁项集挖掘过程中，加入了兴趣度约束来保证得到的项集包含对分类有用的信息；在分类阶段，同样也优先选择兴趣度高的项集参与分类。但是它仅使用一个分类器，只使用了有限的部分频繁项集，而且引入了兴趣度度量，还有一系列的规则从众多频繁项集中选择一部分来对测试样本进行分类。这种模型选择加大了计算开销，同时浪费了许多对于分类有用的频繁项集。
技术实现思路
为解决上述问题，本专利技术在朴素贝叶斯分类器的基础上，公开了一种I-依赖分类器与属性加权相结合的贝叶斯分类改进算法一ODAWNB(One-dependence AttributeWeighted Naive Bayes)方法,改进现有的朴素贝叶斯算法,适当放松属性间必须相互独立这一限制，在效率和分类精度之间找到一个折中点，最好地完成雷达数据与用户感知数据之间的融合。由于对于每个属性选择它所依赖的属性会带来额外的计算开销，也会增加分类器的易变性，因此为了避免模型选择，我们选择那些被其他所有属性依赖的属性，然后用这些属性构造若干I-依赖分类器，并将这些分类器对每个类别的预测集成起来。同时，为了避免由于样本少而导致概率估值不准确，只选择那些属性取值在训练样本中出现次数大于某个阈值的I-依赖分类器。另外，不同属性对分类结果的影响程度不同，利用属性权值参数的学习来提高分类性能，得到最终的分类器表达式权利要求1 .，其特征在于，包括以下步骤 步骤1，首先对数据进行预处理针对训练样本和待分类样本，对各样本缺失的属性进行补齐和离散化，使各数据项标准化，以便继续其后的运算步骤； 步骤2，根据训练样本数据构造分类器 步骤2. 1，扫描所有训练样本，设每个训练样本具有属性组 ，…，训练样本被分为c个类别;每个训练样本都具有类别，统计训练样本中，类标签力2.根据权利要求I所述的基于贝叶斯分类的传统气象数据与感知数据融合的方法，其特征在于在步骤2. 4中设定m是一个阈值，F(Xi)是属性取值为%的训练样本的数目，如果存在i满足K i，则提供分类计算公式 ;如果不存在i满足IS i < nhF{x) > /h，则使用朴素贝叶斯分类器。3.根据权利要求I或2所述的基于贝叶斯分类的传统气象数据与感知数据融合的方法，其特征在于在步骤I中对数据进行预处理时，对各属性值采用四舍五入取整的方法进行处理。全文摘要本专利技术提供了，在朴素贝叶斯分类器的基础上，公开了一种1-依赖分类器与属性加权相结合的贝叶斯分类改进算法—ODAWNB(One-dependence Attribute Weighted Naive Bayes)方法，改进现有的朴素贝叶斯算法，适当放松属性间必须相互独立这一限制，在效率和分类精度之间找到一个折中点，最好地完成雷达数据与用户感知数据之间的融合。本专利技术包括如下步骤数据预处理，根据训练样本数据构造分类器，利用构造的分类器对待分类的样本进行分类。文档编号G06F17/30GK102956023SQ201210312430公开日2013年3月6日 申请日期2012年8月30日 优先权日2012年8月30日专利技术者杜景林, 孙晓燕, 周杰 申请人:南京信息工程大学本文档来自技高网...

【技术保护点】
一种基于贝叶斯分类的传统气象数据与感知数据融合的方法，其特征在于，包括以下步骤：步骤1，首先对数据进行预处理：针对训练样本和待分类样本，对各样本缺失的属性进行补齐和离散化，使各数据项标准化，以便继续其后的运算步骤；步骤2，根据训练样本数据构造分类器：步骤2.1，扫描所有训练样本,?设每个训练样本具有属性组????????????????????????????????????????????????，训练样本被分为c个类别?；每个训练样本都具有类别，统计训练样本中,?类标签为（，k=1,2,…,?c）,?属性（，i=1,2,…,?n）取值为d的样本个数#(?=d∧)?,?形成属性下的取值d属于类别的样本数量统计表；步骤2.2，概率参数学习：计算所有的先验概率P(=d|)，即在类别中属性的取值为d的概率,?每个属性值d的条件概率P(=d|)=???(k=1,2,…,?c)；计算每个类别中每个属性的每个取值的概率及其估计、、、，和是和在训练数据集上的估计，由此形成各属性值的概率表，其中，是类别中的训练样本数量；步骤2.3，权值参数学习：根据前述的数量统计表,?计算每个属性的权值，其中表示训练样本中属性的取值个数，为训练样本中取值为d的数量，由此生成各属性值的权值列表；步骤2.4，按照ODAWNB方法构造出分类器：选择训练样本属性组中被其他所有属性依赖的属性，然后用这些属性构造1?依赖分类器，并将这些分类器对每个类别的预测集成起来，构造出分类算法公式：；步骤3，利用步骤2中构造的分类器对待分类样本进行分类，将待分类样本作为输入参数，利用分类器进行计算，计算出一个类别，使得分类器得出的值最大。560871dest_path_image001.jpg,898574dest_path_image002.jpg,216292dest_path_image003.jpg,292832dest_path_image003.jpg,299097dest_path_image004.jpg,752075dest_path_image002.jpg,924299dest_path_image005.jpg,171741dest_path_image005.jpg,665301dest_path_image004.jpg,843342dest_path_image001.jpg,620805dest_path_image005.jpg,801599dest_path_image003.jpg,297302dest_path_image005.jpg,75771dest_path_image003.jpg,973320dest_path_image005.jpg,313297dest_path_image003.jpg,30717dest_path_image003.jpg,612877dest_path_image005.jpg,364932dest_path_image005.jpg,875811dest_path_image003.jpg,80527dest_path_image006.jpg,466378dest_path_image007.jpg,72940dest_path_image008.jpg,754719dest_path_image009.jpg,446731dest_path_image010.jpg,636273dest_path_image009.jpg,97341dest_path_image010.jpg,950022dest_path_image007.jpg,129331dest_path_image008.jpg,856984dest_path_image011.jpg,172559dest_path_image003.jpg,461720dest_path_image012.jpg,862746dest_path_image013.jpg,394090dest_path_image005.jpg,564171dest_path_image014.jpg,24234dest_path_image005.jpg,912555dest_path_image015.jpg,608110dest_path_image016.jpg,22911dest_path_image016.jpg...

【技术特征摘要】

【专利技术属性】
技术研发人员：杜景林，孙晓燕，周杰，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：